一文搞懂Scrapy與MongoDB交互過程
Pipeline.py
class MongoDBPipeline:
def __init__(self,conn,database):
self.conn = conn
self.database = database
@classmethod
def from_crawler(cls, crawler):
return cls(
conn=crawler.settings.get('MONGODB_CONNECTION_STRING'),
database=crawler.settings.get('MONGODB_DATABASE')
)
def open_spider(self,spider):
# 創(chuàng)建連接對象
self.client = pymongo.MongoClient(self.conn)
# 連接要用的使用的數(shù)據(jù)庫
self.db = self.client[self.database]
def process_item(self,item,spider):
# 設(shè)置使用表名稱
name = item.__class__.__name__
# 默認(rèn)item類名
self.db[name].insert_one(dict(item))
return item
def close_spider(self,spider):
self.client.close()PS:
1.不能用insert來插入數(shù)據(jù)，PyMongo 4.0.* 中 Collection.insert 方法被移除，使用Collection.insert_one 或者Collection.insert_many 替代：
db[name].insert_one({'my': 'document'})
db[name].insert_many([{'doc': 2}, {'doc': 3}])2.process_item一定要寫return item，不然接收不了返回值。
3.open_spider, process_item, close_spider的名稱和參數(shù)不能改變，因為這是重寫類方法。
setting.py
MONGODB_CONNECTION_STRING = '127.0.0.1' MONGODB_DATABASE = 'test'
補充知識點：類方法@classmethod
類方法也算一種實用的技巧，簡單描述之：“類方法讓類模板具有記憶力”。
類模板就是我們所定義的類。在普通情況下，不使用類方法對類進行實例化，類本身是不具有記憶性的。只是當(dāng)一個靜態(tài)模板被套用多次而已。如果我們想讓類在每一次實例化之后，都能記載一些記憶，是否會對很多操作很有用？
舉個例子：
class Man:
id = 0 # 類變量
def __init__(self, name):
self.name = name
self.id = self.id_number()
@classmethod
def id_number(cls):
cls.id += 1
return cls.id
a = Man('A')
print(a.id)
b = Man('B')
print(b.id)上面的輸出為:
1
2
我對Man這個類進行實例化2次，每個實例的id都不一樣。這就依靠類方法來實現(xiàn)了：首先，用@classmethod描述類方法，然后用"cls"代表本類。類方法對類屬性進行的處理是有記憶性的。
PS：類方法處理的變量一定要是類變量。因為在類方法里你用不了self來尋址實例變量，所以需要把類變量放到最前面描述，如上面的"id=0"所示。類變量是可以被self訪問的，所以，在類變量定義好了以后，不需要在_init_函數(shù)里對類變量再一次描述。所以，上面代碼里self.id不一定需要。
到此這篇關(guān)于Scrapy與MongoDB交互的文章就介紹到這了,更多相關(guān)Scrapy與MongoDB內(nèi)容請搜索本站以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持本站！
版權(quán)聲明：本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學(xué)習(xí)參考，不代表本站立場，如有內(nèi)容涉嫌侵權(quán)，請聯(lián)系alex-e#qq.com處理。
關(guān)注官方微信