人妖在线一区,国产日韩欧美一区二区综合在线,国产啪精品视频网站免费,欧美内射深插日本少妇

新聞動態(tài)

python 爬取吉首大學網站成績單

發(fā)布日期:2022-03-26 16:45 | 文章來源:源碼之家

項目地址:

https://github.com/chen0495/pythonCrawlerForJSU

環(huán)境

  • python 3.5即以上
  • request、BeautifulSoup、numpy、pandas.
  • 安裝BeautifulSoup使用命令pip install BeautifulSoup4

配置及使用

登陸學校成績單查詢網站,修改cookie.

按F12后按Ctrl+R刷新一下,獲取cookie的方法見下圖:

修改爬蟲url為自己的成績單網址.

運行src/main.py文件即可在/result下得到csv文件.

結果展示

完整代碼

# -*- coding: utf-8 -*-
# @Time : 5/29/2021 2:13 PM
# @Author  : Chen0495
# @Email: 1346565673@qq.com|chenweiin612@gmail.com
# @File : main.py
# @Software: PyCharm
import requests as rq
from bs4 import BeautifulSoup as BS
import numpy as np
import pandas as pd
rq.adapters.DEFAULT_RETRIES = 5
s = rq.session()
s.keep_alive = False # 關閉多余連接
header = { # 請更改cookie
 'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4501.0 Safari/537.36 Edg/92.0.891.1',
 'cookie' : 'wengine_vpn_ticketwebvpn_jsu_edu_cn=xxxxxxxxxx; show_vpn=1; refresh=1'
}
# 請更改url
r = rq.get('https://webvpn.jsu.edu.cn/https/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx/jsxsd/kscj/cjcx_list', headers = header, verify=False)
soup = BS(r.text,'html.parser')
head = []
for th in soup.find_all("th"):
 head.append(th.text)
while '' in head:
 head.remove('')
head.remove('序號')
context = np.array(head)

x = []
flag = 0
for td in soup.find_all("td"):
 if flag!=0 and flag%11!=1:
  x.append(td.text)
 if flag%11==0 and flag!=0:
  context = np.row_stack((context,np.array(x)))
  x.clear()
 flag+=1
context = np.delete(context,0,axis=0)
data = pd.DataFrame(context,columns=head)
print(data)
# 生成文件,親更改文件名
data.to_csv('../result/result.csv',encoding='utf-8-sig')

以上就是python 爬取吉首大學成績單的詳細內容,更多關于python 爬取成績單的資料請關注本站其它相關文章!

國外穩(wěn)定服務器

版權聲明:本站文章來源標注為YINGSOO的內容版權均為本站所有,歡迎引用、轉載,請保持原文完整并注明來源及原文鏈接。禁止復制或仿造本網站,禁止在非www.sddonglingsh.com所屬的服務器上建立鏡像,否則將依法追究法律責任。本站部分內容來源于網友推薦、互聯網收集整理而來,僅供學習參考,不代表本站立場,如有內容涉嫌侵權,請聯系alex-e#qq.com處理。

相關文章

實時開通

自選配置、實時開通

免備案

全球線路精選!

全天候客戶服務

7x24全年不間斷在線

專屬顧問服務

1對1客戶咨詢顧問

在線
客服

在線客服:7*24小時在線

客服
熱線

400-630-3752
7*24小時客服服務熱線

關注
微信

關注官方微信
頂部