python 的生產(chǎn)者和消費(fèi)者模式
python 的生產(chǎn)者和消費(fèi)者模式
一、生產(chǎn)者消費(fèi)者模式概述
在并發(fā)編程中使用生產(chǎn)者和消費(fèi)者模式能夠解決大不多的并發(fā)問(wèn)題。該模式通過(guò)平衡生產(chǎn)線程和消費(fèi)線程的工作能力來(lái)提高程序的整體處理數(shù)據(jù)的速度。
二、為什么使用生產(chǎn)者消費(fèi)者模式
在線程世界里,生產(chǎn)者就是生產(chǎn)數(shù)據(jù)的線程,消費(fèi)者就是消費(fèi)數(shù)據(jù)的線程。在多線程開(kāi)發(fā)中,如果生產(chǎn)者處理速度很快,而消費(fèi)者處理速度很慢,那么生產(chǎn)者就必須等待消費(fèi)者處理完才能繼續(xù)生產(chǎn)數(shù)據(jù)。同樣的道理,如果消費(fèi)者的處理能力大于生產(chǎn)者,那么消費(fèi)者就必須等待生產(chǎn)者。為了解決這個(gè)問(wèn)題引入了生產(chǎn)者和消費(fèi)者模式。
三、什么是生產(chǎn)者消費(fèi)者模式
生產(chǎn)者消費(fèi)者模式是通過(guò)一個(gè)容器來(lái)解決生產(chǎn)者和消費(fèi)者的強(qiáng)耦合問(wèn)題。生產(chǎn)者和消費(fèi)者彼此之間不直接通訊,而通過(guò)阻塞隊(duì)列來(lái)進(jìn)行通訊,所以生產(chǎn)者生產(chǎn)完數(shù)據(jù)之后不用通過(guò)等待消費(fèi)者處理,直接扔給阻塞隊(duì)列,消費(fèi)者不著生產(chǎn)者拿數(shù)據(jù),而是直接從阻塞隊(duì)列中取,阻塞隊(duì)列相當(dāng)于一個(gè)緩沖區(qū),平衡了生產(chǎn)者和消費(fèi)者的處理能力。
四、代碼案例
1、定義一個(gè)生產(chǎn)者
import threading import queue import time #定義一個(gè)生產(chǎn)者 def producer(): count = 0 #判斷隊(duì)列中任務(wù)的數(shù)量 while q.qsize()<5: print('第%s頓飯......',count) q.put(count) count+=1 time.sleep(1)
2、定義一個(gè)消費(fèi)者
import threading import queue import time #定義一個(gè)消費(fèi)者 def consumer(name): while True: print("%s 吃了第%s飯" % (name,q.get()))
3、定義一個(gè)隊(duì)列
import threading import queue import time #定義一個(gè)隊(duì)列 q = queue.Queue(maxsize=4) t1 = threading.Thread(target=producer) t2 = threading.Thread(target=consumer,args=('jibu',)) t1.start() t2.start()
結(jié)果:
第%s頓飯...... 0 jibu 吃了第0飯 第%s頓飯...... 1 jibu 吃了第1飯 第%s頓飯...... 2 jibu 吃了第2飯 第%s頓飯...... 3 jibu 吃了第3飯 第%s頓飯...... 4 jibu 吃了第4飯 第%s頓飯...... 5 jibu 吃了第5飯 第%s頓飯...... 6 jibu 吃了第6飯 第%s頓飯...... 7 jibu 吃了第7飯 第%s頓飯...... 8 # 另外,如果供大于求或者求大于供,可以在相對(duì)小的一方在增加線程的數(shù)量
當(dāng)然如果需要進(jìn)一步優(yōu)化可以讓消費(fèi)者執(zhí)行完隊(duì)列中所有任務(wù)的時(shí)候告訴生產(chǎn)者一聲
import threading import queue import time #定義一個(gè)生產(chǎn)者 def producer(): count = 0 #判斷隊(duì)列中任務(wù)的數(shù)量 for i in range(5): print('第%s頓飯......',count) q.put(count) count+=1 time.sleep(1) q.join() #定義一個(gè)消費(fèi)者 def consumer(name): while True: print("%s 吃了第%s飯" % (name,q.get())) q.task_done() print('消費(fèi)者執(zhí)行完了所有任務(wù)') #定義一個(gè)隊(duì)列 q = queue.Queue(maxsize=4) t1 = threading.Thread(target=producer) t2 = threading.Thread(target=consumer,args=('jibu',)) t1.start() t2.start() 結(jié)果 第0頓飯...... jibu 吃了第0飯 消費(fèi)者執(zhí)行完了所有任務(wù) 第1頓飯...... jibu 吃了第1飯 消費(fèi)者執(zhí)行完了所有任務(wù) 第2頓飯...... jibu 吃了第2飯 消費(fèi)者執(zhí)行完了所有任務(wù) 第3頓飯...... jibu 吃了第3飯 消費(fèi)者執(zhí)行完了所有任務(wù) 第4頓飯...... jibu 吃了第4飯 消費(fèi)者執(zhí)行完了所有任務(wù)
結(jié)論:
生產(chǎn)者消費(fèi)者的2個(gè)主要作用
- 程序的解耦合
- 程序的異步執(zhí)行,提高了程序的運(yùn)行效率(在排隊(duì)的時(shí)候可以做別的事,過(guò)一會(huì)可以回來(lái)拿這個(gè)結(jié)果)
到此這篇關(guān)于python 的生產(chǎn)者和消費(fèi)者模式的文章就介紹到這了,更多相關(guān)python生產(chǎn)者消費(fèi)者模式內(nèi)容請(qǐng)搜索本站以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持本站!
版權(quán)聲明:本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有,歡迎引用、轉(zhuǎn)載,請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像,否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái),僅供學(xué)習(xí)參考,不代表本站立場(chǎng),如有內(nèi)容涉嫌侵權(quán),請(qǐng)聯(lián)系alex-e#qq.com處理。