python爬蟲Mitmproxy安裝使用學(xué)習(xí)筆記
一、簡介和安裝
1.1、概念和作用
概念
Mitmproxy是一個免費的開源交互式的HTTPS代理。MITM即中間人攻擊(Man-in-the-Middle Attack)。
作用
代理的作用,轉(zhuǎn)發(fā)請求,保障服務(wù)端與客戶端的通信
查看,記錄,修改數(shù)據(jù),引發(fā)服務(wù)端或客戶端的特定行為
補充:Mitmproxy與Fiddler、Charles異同
相同點: a、都是用來捕獲 HTTP,HTTPS 請求的(其他協(xié)議比如 TCP,UDP,IP,ICMP 等就用Wireshark)
b、抓包、斷點調(diào)試、請求替換、構(gòu)造請求、模擬弱網(wǎng)等
不同點:a、Fiddler只能運行在Windows系統(tǒng);Mitmproxy、Charles是跨平臺的,可運行在Windows、Mac或Linux系統(tǒng)等。
b、Fiddler、Mitmproxy開源免費、Charles是收費的(可破解)。
c、Mitmproxy支持命令行交互模式、GUI界面,F(xiàn)iddler、Charles僅支持GUI界面
(Fiddler底部有個命令行工具叫做 QuickExec)
1.2、安裝
pip install mitmproxy
或
pip install -i https://pypi.douban.com/simple mitmproxy
如果直接安裝的速度太慢了,可以在命令行中添加國內(nèi)的鏡像源加快速度,就是第二條命令。注意:python 版本不低于3.6
檢查是否安裝成功:命令行中輸入命令查看mitmdump --version
安裝成功后在Python安裝路徑Script路徑下可以找到 mitmdump.exe
、mitmproxy.exe
、mitmweb.exe
這三個可執(zhí)行文件。
1.3、工具介紹
mitmproxy
:命令行界面,允許交互式檢查和修改http數(shù)據(jù)流,不支持windows
mitmweb
: Web界面,用戶可以實時看到發(fā)生的請求,過濾請求,查看請求數(shù)據(jù)
mitmdump
: 一個命令行工具,沒有界面,不能交互,但是可以通過啟動參數(shù)并結(jié)合自定義腳本進行定制化功能的實現(xiàn),是我們運行的環(huán)境
這三個命令功能一致,且都可以加載自定義腳本,唯一的區(qū)別是交互界面的不同;
mitmproxy,mitmweb主要用來做調(diào)試,部署項目時使用mitmdump。
二、設(shè)置代理
2.1、PC端設(shè)置代理
開啟代理時需要把其他的代理都關(guān)掉
注:這時我們剛開啟代理,還未安裝證書,如果訪問其他網(wǎng)址會出現(xiàn)報錯,如下圖所示:
2.2、PC端安裝證書
在代理狀態(tài)下,訪問http://mitm.it/,PC端與移動端操作相同。
(注意:設(shè)置完成后,瀏覽器打開網(wǎng)頁發(fā)現(xiàn)都是未連接網(wǎng)絡(luò),需要先啟動mitmweb.exe或者mitmdump.exe程序才能打開鏈接)
后面點擊下載的證書按步驟導(dǎo)入就可以了
2.3、移動端設(shè)置代理
以夜神模擬器為例(注意保證手機和電腦在同局域網(wǎng)下)
設(shè)置完代理,打開瀏覽器訪問http://mitm.it/
三、 mitmdump
官方文檔:https://docs.mitmproxy.org/stable/addons-overview/
3.1、插件使用
- 插件的本質(zhì)就是一個腳本文件,在Python中就是一個類的實例對象。
- 此處插件是
Counter
實例對象,request
方法是一個事件 - 對于
request
事件,它的參數(shù)是一個mitmproxy.http.HTTPFlow
的對象。
如:(官方文檔例子)
""" Basic skeleton of a mitmproxy addon. Run as follows: mitmproxy -s anatomy.py """ from mitmproxy import ctx class Counter: def __init__(self): self.num = 0 def request(self, flow): self.num = self.num + 1 ctx.log.info("We've seen %d flows" % self.num) addons = [ Counter() ]
上面是一個簡單的插件,用于跟蹤我們已經(jīng)看到的流(或更具體的HTTP請求)數(shù)量。每次看到新的流量時,它都會使用mitmproxy的內(nèi)部日志記錄機制來宣布其提示。可以在交互式工具的事件日志中或mitmdump的控制臺中找到輸出。
可以使用mitmdump -s ./anatomy.py
運行插件(anatomy.py是創(chuàng)建的文件名)。
3.2、常用事件
def request(self, flow: mitmproxy.http.HTTPFlow): """ The full HTTP request has been read. """ def response(self, flow: mitmproxy.http.HTTPFlow): """ The full HTTP response has been read. """
3.2.1、request事件
(注意:記得在代理狀態(tài)下執(zhí)行,命令:mitmdump -s ./xxx.py
)
from mitmproxy import http def request(flow:http.HTTPFlow): #注意函數(shù)名request不能寫錯 #獲取請求頭信息 print('請求頭',flow.request.headers) #完整請求地址 print('請求url',flow.request.url) #域名 print('域名',flow.request.host) #請求路徑 url除域名之外的內(nèi)容 print('請求路徑',flow.request.path) #返回MultiDictView類型的數(shù)據(jù),URL的鍵值參數(shù) print('url的鍵值參數(shù)',flow.request.query) #請求方法 print('請求方法',flow.request.method) #請求類型 print('請求類型',flow.request.scheme) #獲取請求內(nèi)容 ''' print('請求內(nèi)容',flow.request.get_text) print('請求內(nèi)容類型',type(flow.request.get_text)) print('請求內(nèi)容bytes',flow.request.raw_content) print('請求內(nèi)容bytes',flow.request.get_content) ''' if 'https://www.baidu.com' in flow.request.url: #取得請求參數(shù)wd的值 print(flow.request.query.get('wd')) #取得所有請求參數(shù) print(list(flow.request.query.keys())) #修改請求參數(shù) flow.request.query.set_all('wd',['python']) #打印修改過后的參數(shù) print(flow.request.query.get('wd'))
3.2.2、response事件
(注意:記得在代理狀態(tài)下執(zhí)行,命令:mitmdump -s ./xxx.py
)
from mitmproxy import http def response(flow:http.HTTPFlow): #注意函數(shù)名response不能寫錯 #狀態(tài)碼 print('狀態(tài)碼',flow.response.status_code) #返回內(nèi)容,已解碼 print('返回內(nèi)容',flow.response.text) #返回內(nèi)容, bytes類型 print('返回內(nèi)容bytes類型',flow.response.content) #取得響應(yīng)的文本 print('應(yīng)的文本',flow.response.get_text) #修改響應(yīng) 的文本 flow.response.set_text('你的響應(yīng)內(nèi)容被修改了!')
3.3、下載圖片
(注意:記得在代理狀態(tài)下執(zhí)行,命令:mitmdump -q -s ./xxx.py
加-q會使打印更清晰可觀)
import os index = 0 def response(flow): global index print('===========下載==============') print(flow.request.url) if flow.request.url[-3:] == 'jpg': dir = 'images' if not os.path.exists(dir): os.mkdir(dir) filename = dir+'/'+str(index)+'.jpg' with open(filename,'wb') as f: f.write(flow.response.get_content()) index+=1
以上就是python爬蟲Mitmproxy安裝使用學(xué)習(xí)筆記的詳細(xì)內(nèi)容,更多關(guān)于python爬蟲Mitmproxy的資料請關(guān)注本站其它相關(guān)文章!
版權(quán)聲明:本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有,歡迎引用、轉(zhuǎn)載,請保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像,否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來,僅供學(xué)習(xí)參考,不代表本站立場,如有內(nèi)容涉嫌侵權(quán),請聯(lián)系alex-e#qq.com處理。