像線程一樣管理進(jìn)程的Python multiprocessing庫(kù)
要?jiǎng)?chuàng)建一個(gè)進(jìn)程,最簡(jiǎn)單的方式是用一個(gè)目標(biāo)函數(shù)實(shí)例化一個(gè)Process對(duì)象,然后與threading一樣調(diào)用start()函數(shù)讓它工作。示例如下:
import multiprocessingdef worker(): for i in range(3):print(i)if __name__=='__main__': p = multiprocessing.Process(target=worker) p.start()
運(yùn)行之后,效果如下:
需要注意的是,multiprocessing庫(kù)在Windows創(chuàng)建進(jìn)程必須在if __name__=='__main__':中,這是 Windows 上多進(jìn)程的實(shí)現(xiàn)問題。在 Windows 上,子進(jìn)程會(huì)自動(dòng) import 啟動(dòng)它的這個(gè)文件,而在 import 的時(shí)候是會(huì)執(zhí)行這些語(yǔ)句的。如果直接創(chuàng)建就會(huì)無限遞歸創(chuàng)建子進(jìn)程報(bào)錯(cuò)。所以必須把創(chuàng)建子進(jìn)程的部分用那個(gè) if 判斷保護(hù)起來,import 的時(shí)候 __name__ 不是 __main__ ,就不會(huì)遞歸運(yùn)行了。
二、設(shè)置進(jìn)程名在threading線程中,我們可以通過其參數(shù)name設(shè)置線程名,同樣的我們也可以通過name參數(shù)設(shè)置其進(jìn)程的名字。示例如下:
import multiprocessingimport timedef worker(): print(multiprocessing.current_process().name, 'start') time.sleep(2) print(multiprocessing.current_process().name, 'end')if __name__ == '__main__': p1 = multiprocessing.Process(name=’p1’, target=worker) p2 = multiprocessing.Process(name=’p2’, target=worker) p3 = multiprocessing.Process(name=’p3’, target=worker) p1.start() p2.start() p3.start()
運(yùn)行之后,效果如下:
和線程一樣,在所有子進(jìn)程沒有退出之前,主程序是不會(huì)退出的。有時(shí)候,我們可能需要啟動(dòng)一個(gè)后臺(tái)進(jìn)程,它可以一直運(yùn)行而不阻塞主程序退出。
要標(biāo)志一個(gè)守護(hù)進(jìn)程,可以將其添加第3個(gè)參數(shù)daemon,設(shè)置為True。默認(rèn)值為False,不作為守護(hù)進(jìn)程。示例如下:
import multiprocessingimport timedef worker(): print(multiprocessing.current_process().name, 'start') time.sleep(1) print(multiprocessing.current_process().name, 'end')def worker2(): print(multiprocessing.current_process().name, 'start') time.sleep(2) print(multiprocessing.current_process().name, 'end')if __name__ == '__main__': p1 = multiprocessing.Process(name=’p1’, target=worker) p2 = multiprocessing.Process(name=’p2’, target=worker2, daemon=True) p3 = multiprocessing.Process(name=’p3’, target=worker2, daemon=True) p1.start() p2.start() p3.start()
運(yùn)行之后,效果如下:
p2,p3為守護(hù)進(jìn)程,但p1不是所以執(zhí)行1秒之后,就退出主程序了,也就沒有打印p2p3的內(nèi)容。但是其依舊在執(zhí)行中,直到執(zhí)行完成。
四、join()同樣的,如果你期望強(qiáng)制等待一個(gè)守護(hù)進(jìn)程的結(jié)束,可以增加join()函數(shù)。還是上面的代碼,示例如下:
import multiprocessingimport timedef worker(): print(multiprocessing.current_process().name, 'start') time.sleep(1) print(multiprocessing.current_process().name, 'end')def worker2(): print(multiprocessing.current_process().name, 'start') time.sleep(2) print(multiprocessing.current_process().name, 'end')if __name__ == '__main__': p1 = multiprocessing.Process(name=’p1’, target=worker) p2 = multiprocessing.Process(name=’p2’, target=worker2, daemon=True) p3 = multiprocessing.Process(name=’p3’, target=worker2, daemon=True) p1.start() p2.start() p3.start() p1.join() p2.join() p3.join()
運(yùn)行之后,和設(shè)置進(jìn)程名的運(yùn)行結(jié)果一樣,這里不在展示。唯一與守護(hù)進(jìn)程代碼的區(qū)別就是最后三行join()函數(shù)代碼。當(dāng)然,也可以像線程一樣,給join()函數(shù)傳入一個(gè)時(shí)間,超過這個(gè)時(shí)間,主進(jìn)程不再等待。
五、強(qiáng)制結(jié)束進(jìn)程如果一個(gè)進(jìn)程已經(jīng)掛起或者不小心進(jìn)入了死鎖狀態(tài),那么這個(gè)時(shí)候,我們往往會(huì)強(qiáng)制的結(jié)束進(jìn)程。對(duì)一個(gè)進(jìn)程對(duì)象調(diào)用terminate()會(huì)結(jié)束子進(jìn)程。示例如下:
import multiprocessingimport timedef worker(): print(multiprocessing.current_process().name, 'start') time.sleep(5) print(multiprocessing.current_process().name, 'end')if __name__ == '__main__': p1 = multiprocessing.Process(name=’p1’, target=worker) p1.start() print('是否還在運(yùn)行', p1.is_alive()) p1.terminate() print('是否還在運(yùn)行', p1.is_alive()) p1.join() print('是否還在運(yùn)行', p1.is_alive())
運(yùn)行之后,輸出如下:
終止進(jìn)程后要使用join()函數(shù)等待進(jìn)程的退出。使進(jìn)程管理代碼有足夠的時(shí)間更新對(duì)象的狀態(tài),以反應(yīng)進(jìn)程已經(jīng)終止。
六、進(jìn)程退出狀態(tài)碼進(jìn)程退出時(shí),生成的狀態(tài)碼可以通過exitcode屬性訪問。下表就是其狀態(tài)碼的取值范圍以及其意義:
退出碼 含義 0 未生成任何錯(cuò)誤 >0 進(jìn)程有一個(gè)錯(cuò)誤,并以該錯(cuò)誤碼退出 <0 進(jìn)程以一個(gè)-1*exitcodde信號(hào)結(jié)束測(cè)試如下:
import multiprocessingimport timedef worker(): print(multiprocessing.current_process().name, 'start') time.sleep(5) print(multiprocessing.current_process().name, 'end')if __name__ == '__main__': p1 = multiprocessing.Process(name=’p1’, target=worker) p2 = multiprocessing.Process(name=’p2’, target=worker) p1.start() p2.start() print('是否還在運(yùn)行', p1.is_alive()) p1.terminate() print('是否還在運(yùn)行', p1.is_alive()) print(p1.exitcode) p1.join() print('是否還在運(yùn)行', p1.is_alive()) print(p1.exitcode) time.sleep(5.5) print(p2.exitcode)
運(yùn)行之后,效果如下:
可以看到,強(qiáng)制退出的進(jìn)程狀態(tài)碼為負(fù)數(shù),正常退出的進(jìn)程狀態(tài)碼為0。
七、日志調(diào)試并發(fā)問題時(shí),如果能夠訪問multiprocessing所提供對(duì)象的內(nèi)部狀態(tài),那么這會(huì)很有用。在實(shí)際的項(xiàng)目中,我們可以使用一個(gè)方便的模塊級(jí)函數(shù)啟用日志記錄,它使用logging建立一個(gè)日志記錄器對(duì)象,并增加一個(gè)處理器,使日志消息被發(fā)送到標(biāo)準(zhǔn)錯(cuò)誤通道。
示例如下:
import multiprocessingimport loggingimport sysdef worker(): print('運(yùn)行工作進(jìn)程') sys.stdout.flush()if __name__ == '__main__': multiprocessing.log_to_stderr(logging.DEBUG) p1 = multiprocessing.Process(name=’p1’, target=worker) p1.start() p1.join()
運(yùn)行之后,效果如下:
與線程一樣,我們可以自定義進(jìn)程,而不必只是傳入一個(gè)函數(shù)進(jìn)行進(jìn)程的創(chuàng)建。
創(chuàng)建的進(jìn)程的方式也是派生自進(jìn)程類即可。示例如下:
import multiprocessingclass WorkerProcess(multiprocessing.Process): def run(self):print(self.name)returnif __name__ == '__main__': for i in range(5):p = WorkerProcess()p.start()p.join()
運(yùn)行之后,效果如下:
multiprocessing庫(kù)的進(jìn)程知識(shí)與threading一樣長(zhǎng),因?yàn)楸酒膬?nèi)容已經(jīng)夠長(zhǎng)了,剩下的知識(shí)我們將在下一篇博文中接著講解。
到此這篇關(guān)于像線程一樣管理進(jìn)程的Python multiprocessing庫(kù)的文章就介紹到這了,更多相關(guān)Python multiprocessing庫(kù)內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!
相關(guān)文章:
1. js select支持手動(dòng)輸入功能實(shí)現(xiàn)代碼2. PHP橋接模式Bridge Pattern的優(yōu)點(diǎn)與實(shí)現(xiàn)過程3. asp.net core項(xiàng)目授權(quán)流程詳解4. html中的form不提交(排除)某些input 原創(chuàng)5. CSS3中Transition屬性詳解以及示例分享6. bootstrap select2 動(dòng)態(tài)從后臺(tái)Ajax動(dòng)態(tài)獲取數(shù)據(jù)的代碼7. vue使用moment如何將時(shí)間戳轉(zhuǎn)為標(biāo)準(zhǔn)日期時(shí)間格式8. 開發(fā)效率翻倍的Web API使用技巧9. jsp文件下載功能實(shí)現(xiàn)代碼10. ASP常用日期格式化函數(shù) FormatDate()
