python利用Appium實(shí)現(xiàn)自動(dòng)控制移動(dòng)設(shè)備并提取數(shù)據(jù)功能
以控制抖音app滑動(dòng)并獲取抖音短視頻發(fā)布者昵稱和點(diǎn)贊數(shù)等信息為例:
1. 安裝appium-python-client模塊并啟動(dòng)已安裝好的環(huán)境
1.1 安裝appium-python-client模塊
在window的虛擬環(huán)境下執(zhí)行pip install appium-python-client
1.2 啟動(dòng)夜神模擬器
進(jìn)入夜神模擬器所在的安裝路徑的bin目錄下,進(jìn)入cmd終端,使用adb命令建立adb server和模擬器的連接
1.adb devices
C:\Program Files (x86)\Nox\bin>adb devices List of devices attached * daemon not running; starting now at tcp:5037 * daemon started successfully
2.nox_adb.exe connect 127.0.0.1:62001
C:\Program Files (x86)\Nox\bin>nox_adb.exe connect 127.0.0.1:62001 already connected to 127.0.0.1:62001
3.adb devices
C:\Program Files (x86)\Nox\bin>adb devices List of devices attached 127.0.0.1:62001 device
1.3 啟動(dòng)appium-desktop
點(diǎn)擊start server啟動(dòng)appium服務(wù)
[Appium] Welcome to Appium v1.10.0 [Appium] Appium REST http interface listener started on 0.0.0.0:4723
1.4 利用上一小節(jié)所學(xué)習(xí)的內(nèi)容獲取Desired Capabilities參數(shù)
1.獲取模擬設(shè)備的型號(hào)
- 打開設(shè)置——關(guān)于平板電腦
- 查看型號(hào),獲取模擬設(shè)備的型號(hào)
2.獲取app包名稱 以及 app進(jìn)程名
- 打開模擬器中的抖音短視頻app
- 在adb連接正確的情況下,在夜神模擬器安裝目錄的bin目錄下的cmd中輸入
adb shell
- 進(jìn)入adb shell后輸入
dumpsys activity | grep mFocusedActivity
- ``com.ss.android.ugc.aweme`就是app包名
.main.MainActivity
就是進(jìn)程名 注意前邊有個(gè)點(diǎn).
2. 初始化以及獲取移動(dòng)設(shè)備分辨率
完成代碼如下,并運(yùn)行代碼查看效果:如果模擬器中抖音app被啟動(dòng),并打印出模擬設(shè)備的分辨率則成功
from appium import webdriver # 初始化配置,設(shè)置Desired Capabilities參數(shù) desired_caps = { 'platformName': 'Android', 'deviceName': 'SM-G955F', 'appPackage': 'com.ss.android.ugc.aweme', 'appActivity': '.main.MainActivity' } # 指定Appium Server server = 'http://localhost:4723/wd/hub' # 新建一個(gè)driver driver = webdriver.Remote(server, desired_caps) # 獲取模擬器/手機(jī)的分辨率(px) width = driver.get_window_size()['width'] height = driver.get_window_size()['height'] print(width, height)
移動(dòng)設(shè)備分辨率
- driver.get_window_size()[‘width']
- driver.get_window_size()[‘height']
3. 定位元素以及提取文本的方法
3.1 點(diǎn)擊appium desktop右上角的放大鏡圖標(biāo)
如圖填寫配置,并點(diǎn)擊start session
3.2 定位界面的使用方法如下圖所示
3.3 點(diǎn)擊短視頻的作者名字,查看并獲取該元素的id
3.4 在python使用代碼通過(guò)元素id獲取該元素的文本內(nèi)容
實(shí)例化appium driver對(duì)象后添加如下代碼,運(yùn)行并查看效果
# 獲取視頻的各種信息:使用appium desktop定位元素 print(driver.find_element_by_id('bc').text) # 發(fā)布者名字 print(driver.find_element_by_id('al9').text) # 點(diǎn)贊數(shù) print(driver.find_element_by_id('al_').text) # 留言數(shù) print(driver.find_element_by_id('a23').text) # 視頻名字,可能不存在,報(bào)錯(cuò)
定位元素及獲取其文本內(nèi)容的方法
- driver.find_element_by_id(元素的id).text
- driver.find_element_by_xpath(定位元素的xpath規(guī)則).text
4. 控制抖音app滑動(dòng)
4.1 appium滑動(dòng)的函數(shù)
從(start_x, start_y)滑動(dòng)到(end_x, end_y)
driver.swipe(start_x, start_y, end_x, end_y) 4.2 控制抖音app滑動(dòng)的代碼實(shí)現(xiàn)
start_x = width // 2 # 滑動(dòng)的起始點(diǎn)的x坐標(biāo),屏幕寬度中心點(diǎn) start_y = height // 3 * 2 # 滑動(dòng)的起始點(diǎn)的y坐標(biāo),屏幕高度從上開始到下三分之二處 distance = height // 2 # y軸滑動(dòng)距離:屏幕高度一半的距離 end_x = start_x # 滑動(dòng)的終點(diǎn)的x坐標(biāo) end_y = start_y-distance # 滑動(dòng)的終點(diǎn)的y坐標(biāo) # 滑動(dòng) driver.swipe(start_x, start_y, end_x, end_y)
5. 整理并完成自動(dòng)滑動(dòng)的代碼
import time from appium import webdriver class DouyinAction(): """自動(dòng)滑動(dòng),并獲取抖音短視頻發(fā)布者的id""" def __init__(self, nums:int=None): # 初始化配置,設(shè)置Desired Capabilities參數(shù) self.desired_caps = { 'platformName': 'Android', 'deviceName': 'SM-G955F', 'appPackage': 'com.ss.android.ugc.aweme', 'appActivity': '.main.MainActivity' } # 指定Appium Server self.server = 'http://localhost:4723/wd/hub' # 新建一個(gè)driver self.driver = webdriver.Remote(self.server, self.desired_caps) # 獲取模擬器/手機(jī)的分辨率(px) width = self.driver.get_window_size()['width'] height = self.driver.get_window_size()['height'] print(width, height) # 設(shè)置滑動(dòng)初始坐標(biāo)和滑動(dòng)距離 self.start_x = width//2 # 屏幕寬度中心點(diǎn) self.start_y = height//3*2 # 屏幕高度從上開始到下三分之二處 self.distance = height//2 # 滑動(dòng)距離:屏幕高度一半的距離 # 設(shè)置滑動(dòng)次數(shù) self.nums = nums def comments(self): # app開啟之后點(diǎn)擊一次屏幕,確保頁(yè)面的展示 time.sleep(2) self.driver.tap([(500, 1200)], 500) def scroll(self): # 無(wú)限滑動(dòng) i = 0 while True: # 模擬滑動(dòng) print('滑動(dòng)ing...') self.driver.swipe(self.start_x, self.start_y, self.start_x, self.start_y-self.distance) time.sleep(1) self.get_infos() # 獲取視頻發(fā)布者的名字 # 設(shè)置延時(shí)等待 time.sleep(4) # 判斷是否退出 if self.nums is not None and self.nums == i: break i += 1 def get_infos(self): # 獲取視頻的各種信息:使用appium desktop定位元素 print(self.driver.find_element_by_id('bc').text) # 發(fā)布者名字 print(self.driver.find_element_by_id('al9').text) # 點(diǎn)贊數(shù) print(self.driver.find_element_by_id('al_').text) # 留言數(shù) print(self.driver.find_element_by_id('a23').text) # 視頻名字,可能不存在,報(bào)錯(cuò) # # 點(diǎn)擊【分享】坐標(biāo)位置 671,1058 # self.driver.tap([(671, 1058)]) # time.sleep(2) # # 向左滑動(dòng)露出 【復(fù)制鏈接】 580,1100 --> 200, 1100 # self.driver.swipe(580,1100, 20, 200, 1100) # # self.driver.get_screenshot_as_file('./a.png') # 截圖 # # 點(diǎn)擊【復(fù)制鏈接】 距離右邊60 距離底邊170 720-60,1280-170 # self.driver.tap([(660, 1110)]) # # self.driver.get_screenshot_as_file('./b.png') # 截圖 def main(self): self.comments() # 點(diǎn)擊一次屏幕,確保頁(yè)面的展示 time.sleep(2) self.scroll() # 滑動(dòng) if __name__ == '__main__': action = DouyinAction(nums=5) action.main()
至此,可以參考爬蟲5.0課程項(xiàng)目庫(kù),使用fiddler等抓包工具,利用appium+mitmproxy+wget等python模塊自動(dòng)獲取抖音視頻文件
6. 關(guān)于模擬式移動(dòng)端爬蟲的參考閱讀
https://github.com/butomo1989/docker-android
https://blog.csdn.net/weixin_42620645/article/details/83828863
https://blog.csdn.net/weixin_39211232/article/details/83410130#Android_16
https://www.jianshu.com/p/bf1ca3d4ac76
http://www.testclass.net/appium/
小結(jié)
了解 appium-python-client模塊定位元素以及提取其文本內(nèi)容的方法了解 appium-python-client模塊控制滑動(dòng)動(dòng)作的方法 7. 完整代碼
douyin.py
import time from appium import webdriver class DouyinAction(): """自動(dòng)滑動(dòng),并獲取抖音短視頻發(fā)布者的id""" def __init__(self, nums:int=None): # 初始化配置,設(shè)置Desired Capabilities參數(shù) self.desired_caps = { 'platformName': 'Android', 'deviceName': 'SM-G955F', 'appPackage': 'com.ss.android.ugc.aweme', 'appActivity': '.main.MainActivity' } # 指定Appium Server self.server = 'http://localhost:4723/wd/hub' # 新建一個(gè)driver self.driver = webdriver.Remote(self.server, self.desired_caps) # 獲取模擬器/手機(jī)的分辨率(px) width = self.driver.get_window_size()['width'] height = self.driver.get_window_size()['height'] print(width, height) # 設(shè)置滑動(dòng)初始坐標(biāo)和滑動(dòng)距離 self.start_x = width//2 # 屏幕寬度中心點(diǎn) self.start_y = height//3*2 # 屏幕高度從上開始到下三分之二處 self.distance = height//2 # 滑動(dòng)距離:屏幕高度一半的距離 # 設(shè)置滑動(dòng)次數(shù) self.nums = nums def comments(self): # app開啟之后點(diǎn)擊一次屏幕,確保頁(yè)面的展示 time.sleep(2) self.driver.tap([(500, 1200)], 500) def scroll(self): print('滑動(dòng)ing...') self.driver.swipe(self.start_x, self.start_y, self.start_x, self.start_y-self.distance) time.sleep(3) self.driver.find_element_by_xpath('/hierarchy/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.HorizontalScrollView/android.widget.LinearLayout/android.widget.TabHost/android.widget.FrameLayout/android.widget.FrameLayout[2]/android.widget.LinearLayout/android.widget.FrameLayout[1]').click() time.sleep(3) # 無(wú)限滑動(dòng) i = 0 while True: # 模擬滑動(dòng) print('滑動(dòng)ing...') self.driver.swipe(self.start_x, self.start_y, self.start_x, self.start_y-self.distance) time.sleep(3) self.get_infos() # 獲取視頻發(fā)布者的名字 # 設(shè)置延時(shí)等待 time.sleep(4) # 判斷是否退出 if self.nums is not None and self.nums == i: break i += 1 def get_infos(self): # 獲取視頻的各種信息:使用appium desktop定位元素 print(self.driver.find_element_by_id('ap').text) # 發(fā)布者名字 print(self.driver.find_element_by_id('xm').text) # 點(diǎn)贊數(shù) print(self.driver.find_element_by_id('xn').text) # 留言數(shù) print(self.driver.find_element_by_id('oz').text) # 視頻名字,可能不存在,報(bào)錯(cuò) # # 點(diǎn)擊【分享】坐標(biāo)位置 671,1058 # self.driver.tap([(671, 1058)]) # time.sleep(2) # # 向左滑動(dòng)露出 【復(fù)制鏈接】 580,1100 --> 200, 1100 # self.driver.swipe(580,1100, 20, 200, 1100) # # self.driver.get_screenshot_as_file('./a.png') # 截圖 # # 點(diǎn)擊【復(fù)制鏈接】 距離右邊60 距離底邊170 720-60,1280-170 # self.driver.tap([(660, 1110)]) # # self.driver.get_screenshot_as_file('./b.png') # 截圖 def main(self): self.comments() # 點(diǎn)擊一次屏幕,確保頁(yè)面的展示 time.sleep(2) self.scroll() # 滑動(dòng) if __name__ == '__main__': action = DouyinAction(nums=5) action.main()
到此這篇關(guān)于python利用Appium自動(dòng)控制移動(dòng)設(shè)備并提取數(shù)據(jù)的文章就介紹到這了,更多相關(guān)python Appium提取數(shù)據(jù)內(nèi)容請(qǐng)搜索本站以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持本站!
版權(quán)聲明:本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有,歡迎引用、轉(zhuǎn)載,請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像,否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái),僅供學(xué)習(xí)參考,不代表本站立場(chǎng),如有內(nèi)容涉嫌侵權(quán),請(qǐng)聯(lián)系alex-e#qq.com處理。