python迭代器,生成器詳解
迭代器
聊迭代器前我們要先清楚迭代的概念:通常來講從一個(gè)對(duì)象中依次取出數(shù)據(jù),這個(gè)過程叫做遍歷,這個(gè)手段稱為迭代(重復(fù)執(zhí)行某一段代碼塊,并將每一次迭代得到的結(jié)果作為下一次迭代的初始值)。
- 可迭代對(duì)象(iterable):是指該對(duì)象可以被用于for…in…循環(huán),例如:集合,列表,元祖,字典,字符串,迭代器等。
- 在python中如果一個(gè)對(duì)象實(shí)現(xiàn)了 __iter__方法,我們就稱之為可迭代對(duì)象,可以查看set\list\tuple…等源碼內(nèi)部均實(shí)現(xiàn)了__iter__方法
- 如果一個(gè)對(duì)象未實(shí)現(xiàn)__iter__方法,但是對(duì)其使用for…in則會(huì)拋出TypeError: ‘xxx' object is not iterable
- 可以通過isinstance(obj,Iterable)來判斷對(duì)象是否為可迭代對(duì)象。如:
from collections.abc import Iterable a: int = 1 print(isinstance(a, Iterable)) # False b: str = "lalalalala" print(isinstance(b, Iterable)) # True c: set = set([1, 2]) print(isinstance(c, Iterable)) # True
我們也可以自己實(shí)現(xiàn)__iter__來將一個(gè)類實(shí)例對(duì)象變?yōu)榭傻鷮?duì)象:
class MyIterable: def __iter__(self): pass print(isinstance(MyIterable(), Iterable)) # True
- 迭代器:對(duì)可迭代對(duì)象進(jìn)行迭代的方式或容器,并且需要記錄當(dāng)前迭代進(jìn)行到的位置。
- 在python中如果一個(gè)對(duì)象同時(shí)實(shí)現(xiàn)了__iter__和__next__(獲取下一個(gè)值)方法,那么它就是一個(gè)迭代器對(duì)象。
- 可以通過內(nèi)置函數(shù)next(iterator),來獲取當(dāng)前迭代的值
- 迭代器一定是可迭代對(duì)象,可迭代對(duì)象不一定是迭代器。
- 如果可迭代對(duì)象遍歷完后繼續(xù)調(diào)用next(),則會(huì)拋出:StopIteration異常。
- 自己實(shí)現(xiàn)一個(gè)迭代器對(duì)象:
from collections.abc import Iterator, Iterable class MyIterator: def __init__(self, array_list): self.array_list = array_list self.index = 0 def __iter__(self): return self def __next__(self): if self.index < len(self.array_list): val = self.array_list[self.index] self.index += 1 return val else: raise StopIteration # 父類如果是迭代器,子類也將是迭代器 class MySubIterator(MyIterator): def __init__(self): pass myIterator = MyIterator([1, 2, 3, 4]) # 判斷是否為可迭代對(duì)象 print(isinstance(myIterator, Iterable)) # True # 判斷是否為迭代器 print(isinstance(myIterator, Iterator)) # True # 子類實(shí)例化 mySubIterator = MySubIterator() print(isinstance(mySubIterator, Iterator)) # True # 進(jìn)行迭代 print(next(myIterator)) # 1 print(next(myIterator)) # 2 print(next(myIterator)) # 3 print(next(myIterator)) # 4 print(next(myIterator)) # raise StopIteration
迭代器優(yōu)缺點(diǎn):
- 優(yōu)點(diǎn):迭代器對(duì)象表示的是一個(gè)數(shù)據(jù)流,可以在需要時(shí)才去調(diào)用next來獲取一個(gè)值;因而本身在內(nèi)存中始終只保留一個(gè)值,對(duì)于內(nèi)存占用小可以存放無限數(shù)據(jù)流。優(yōu)于其他容器需要一次將所有元素都存放進(jìn)內(nèi)存,如:列表、集合、字典...等 - 缺點(diǎn):1.無法獲取存放的元素長(zhǎng)度,除非取完計(jì)數(shù)。2.只能向后取值,next()永遠(yuǎn)返回的是下一個(gè)值。取值不靈活,無法取出指定值(無法像字典的key,或列表的下標(biāo)),而且迭代器的生命周期是一次性的元素被迭代完則生命周期結(jié)束
生成器
義:在Python中,一邊循環(huán)一邊計(jì)算的機(jī)制,稱為生成器:generator;同時(shí)生成器對(duì)象也是迭代器對(duì)象,所以他有迭代器的特性;例如支持for循環(huán)、next()方法…等
作用:對(duì)象中的元素是按照某種算法推算出來的,在循環(huán)的過程中不斷推算出后續(xù)的元素,這樣就不必創(chuàng)建完整的list,從而節(jié)省大量的空間。
- 簡(jiǎn)單生成器:通過將列表生成式[]改成()即可得到一個(gè)生成器對(duì)象
# 列表生成式 _list = [i for i in range(10)] print(type(_list)) # <class 'list'> print(_list) # [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] # 生成器 _generator = (i for i in range(10)) print(type(_generator)) # <class 'generator'> print(_generator) # <generator object <genexpr> at 0x7fbcd92c9ba0> # 生成器對(duì)象取值 print(_generator.__next__()) # 0 print(next(_generator)) # 1 # 注意從第三個(gè)元素開始了! for x in _generator: print(x) # 2,3,4,5,6,7,8,9
因?yàn)樯善鲗?duì)象也有迭代器的特性,所以元素迭代完后繼續(xù)調(diào)用next()方法則會(huì)引發(fā)StopIteration。
- 函數(shù)對(duì)象生成器:帶yield語句的函數(shù)對(duì)象的返回值則是個(gè)生成器對(duì)象。
def gen_generator(): yield 1 def generator(): return 1 print(gen_generator(), type(gen_generator())) # <generator object gen_generator at 0x7fe68b2c8b30> <class 'generator'> print(generator(), type(generator())) # 1 <class 'int'>
他與普通函數(shù)返回值有所不同,普通函數(shù)運(yùn)行到return語句則直接返回代碼不再執(zhí)行;而生成器對(duì)象會(huì)運(yùn)行到y(tǒng)ield后返回,再下次調(diào)用時(shí)從yield語句后繼續(xù)執(zhí)行。如:
注意:yield 一次只會(huì)返回一個(gè)元素,即使返回的元素是個(gè)可迭代對(duì)象,也是一次性返回
def gen_generator2(): yield [1, 2, 3] s = gen_generator2() print(next(s)) # [1, 2, 3]
- yield生成器高級(jí)應(yīng)用:
- send()方法,傳遞yield的值
借助send我們可以實(shí)現(xiàn)一個(gè)簡(jiǎn)單的生產(chǎn)者-消費(fèi)者模式如:
def consumer(): r = '' while True: n = yield r if not n: return print(f'[CONSUMER] Consuming get params.. ({n})') if n == 3: r = '500 Error' else: r = '200 OK' def produce(c): c.send(None) # 啟動(dòng)生成器 n = 0 while n < 5: n = n + 1 print(f'[PRODUCER] Producing with params.. ({n})') r = c.send(n) # 一旦n有值,則切換到consumer執(zhí)行 print(f'[PRODUCER] Consumer return : [{r}]') if not r.startswith('200'): print("消費(fèi)者返回服務(wù)異常,則結(jié)束生產(chǎn),并關(guān)閉消費(fèi)者") c.close() # 關(guān)閉生成器 break consume = consumer() produce(consume) # [PRODUCER] Producing with params.. (1) # [CONSUMER] Consuming get params.. (1) # [PRODUCER] Consumer return : [200 OK] # [PRODUCER] Producing with params.. (2) # [CONSUMER] Consuming get params.. (2) # [PRODUCER] Consumer return : [200 OK] # [PRODUCER] Producing with params.. (3) # [CONSUMER] Consuming get params.. (3) # [PRODUCER] Consumer return : [500 Error] # 消費(fèi)者返回服務(wù)異常,則結(jié)束生產(chǎn),并關(guān)閉消費(fèi)者
- yield from iterable 語法,基本作用為:返回一個(gè)生成器對(duì)象,提供一個(gè)“數(shù)據(jù)傳輸?shù)墓艿?/strong>”,yield from iterable 是 for item in iterable: yield item的縮寫;并且內(nèi)部幫我們實(shí)現(xiàn)了很多異常處理,簡(jiǎn)化了編碼復(fù)雜度。
- yield 無法獲取生成器return的返回值:
def my_generator(n, end_case): for i in range(n): if i == end_case: return f'當(dāng) i==`{i}`時(shí),中斷程序。' else: yield i g = my_generator(5, 2) # 調(diào)用 for _i in g: # for循環(huán)不會(huì)顯式觸發(fā)異常,故而無法獲取到return的值 print(_i) # 輸出: # 0 # 1
從上面的例子可以看出,for迭代語句不會(huì)顯式觸發(fā)異常,故而無法獲取到return的值,迭代到2的時(shí)候遇到return語句,隱式的觸發(fā)了StopIteration異常,就終止迭代了,但是在程序中不會(huì)顯示出來。
可以通過next()顯示的觸發(fā)StopIteration異常來獲取返回值:
def my_generator2(n, end_case): for i in range(n): if i == end_case: return f'當(dāng) i==`{i}`時(shí),中斷程序。' else: yield i g = my_generator2(5, 2) # 調(diào)用 try: print(next(g)) # 0 print(next(g)) # 1 print(next(g)) # 此處要觸發(fā)end_case了 except StopIteration as exc: print(exc.value) # 當(dāng) i==`2`時(shí),中斷程序。
使用yield from 可以簡(jiǎn)化成:
def my_generator3(n, end_case): for i in range(n): if i == end_case: return f'當(dāng) i==`{i}`時(shí),中斷程序。' else: yield i def wrap_my_generator(generator): # 將my_generator的返回值包裝成一個(gè)生成器 result = yield from generator yield result g = my_generator3(5, 2) # 調(diào)用 for _ in wrap_my_generator(g): print(_) # 輸出: # 0 # 1 # 當(dāng) i==`2`時(shí),中斷程序。
yield from 有以下幾個(gè)概念名詞:
1、調(diào)用方:調(diào)用委派生成器的客戶端(調(diào)用方)代碼(上文中的wrap_my_generator(g))
2、委托生成器:包含yield from表達(dá)式的生成器函數(shù)(包裝),作用就是提供一個(gè)數(shù)據(jù)傳輸?shù)墓艿?/strong>(上文中的wrap_my_generator)
3、子生成器:yield from后面加的生成器函數(shù)(上文中的my_generator)
調(diào)用方是通過這個(gè) “包裝函數(shù)” 來與生成器進(jìn)行交互的,即“調(diào)用方——>委托生成器——>生成器函數(shù)”
下面有個(gè)例子幫助大家理解
# 子生成器 def average_gen(): total = 0 count = 0 average = 0 while True: new_num = yield average if new_num is None: break count += 1 total += new_num average = total / count # 每一次return,都意味著當(dāng)前協(xié)程結(jié)束。 return total, count, average # 委托生成器 def proxy_gen(): while True: # 只有子生成器要結(jié)束(return)了,yield from左邊的變量才會(huì)被賦值,后面的代碼才會(huì)執(zhí)行。 total, count, average = yield from average_gen() print("總共傳入 {} 個(gè)數(shù)值, 總和:{},平均數(shù):{}".format(count, total, average)) # 調(diào)用方 def main(): calc_average = proxy_gen() next(calc_average) # 激活協(xié)程 calc_average.send(10) # 傳入:10 calc_average.send(None) # 結(jié)束協(xié)程 print("================== 重開協(xié)程 ===================") calc_average.send(20) # 傳入:20 calc_average.send(30) # 傳入:30 calc_average.send(None) # 結(jié)束協(xié)程 if __name__ == '__main__': main() # 輸出: # 總共傳入 1 個(gè)數(shù)值, 總和:10,平均數(shù):10.0 # ================== 重開協(xié)程 =================== # 總共傳入 2 個(gè)數(shù)值, 總和:50,平均數(shù):25.0
有興趣的同學(xué)可以結(jié)合圖和下方一起理解:
- 迭代器(即可指子生成器)產(chǎn)生的值直接返還給調(diào)用者
- 任何使用send()方法發(fā)給委派生產(chǎn)器(即外部生產(chǎn)器)的值被直接傳遞給迭代器。如果send值是None,則調(diào)用迭代器next()方法;如果不為None,則調(diào)用迭代器的send()方法。如果對(duì)迭代器的調(diào)用產(chǎn)生StopIteration異常,委派生產(chǎn)器恢復(fù)繼續(xù)執(zhí)行yield from后面的語句;若迭代器產(chǎn)生其他任何異常,則都傳遞給委派生產(chǎn)器。
- 子生成器可能只是一個(gè)迭代器,并不是一個(gè)作為協(xié)程的生成器,所以它不支持.throw()和.close()方法,即可能會(huì)產(chǎn)生AttributeError 異常。
- 除了GeneratorExit 異常外的其他拋給委派生產(chǎn)器的異常,將會(huì)被傳遞到迭代器的throw()方法。如果迭代器throw()調(diào)用產(chǎn)生了StopIteration異常,委派生產(chǎn)器恢復(fù)并繼續(xù)執(zhí)行,其他異常則傳遞給委派生產(chǎn)器。
- 如果GeneratorExit異常被拋給委派生產(chǎn)器,或者委派生產(chǎn)器的close()方法被調(diào)用,如果迭代器有close()的話也將被調(diào)用。如果close()調(diào)用產(chǎn)生異常,異常將傳遞給委派生產(chǎn)器。否則,委派生產(chǎn)器將拋出GeneratorExit 異常。
- 當(dāng)?shù)鹘Y(jié)束并拋出異常時(shí),yield from表達(dá)式的值是其StopIteration 異常中的第一個(gè)參數(shù)。
- 一個(gè)生成器中的return expr語句將會(huì)從生成器退出并拋出 StopIteration(expr)異常。
總結(jié)
本篇文章就到這里了,希望能夠給你帶來幫助,也希望您能夠多多關(guān)注本站的更多內(nèi)容!
版權(quán)聲明:本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有,歡迎引用、轉(zhuǎn)載,請(qǐng)保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像,否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來,僅供學(xué)習(xí)參考,不代表本站立場(chǎng),如有內(nèi)容涉嫌侵權(quán),請(qǐng)聯(lián)系alex-e#qq.com處理。