學python對考研有用嗎，python爬考研_用Python爬取了考研吧1000條帖子，原來他們都在討論這些！

寫在前面

考研在即，想多了解考研er的想法，就是去找學長學姐或者去網上搜索，貼吧就是一個好地方。而借助強大的工具可以快速從網絡魚龍混雜的信息中得到有價值的信息。雖然網上有很多爬取百度貼吧的教程和例子，但是貼吧規則更新快，目的不一樣，爬取的內容也不一樣，所以就有了這個工具。

heard.jpg

學python對考研有用嗎、目的

爬取1000條帖子→判斷是否是廣告或者垃圾信息→分析語言情感→生成詞云

一、分析

1.1 先查看貼吧的規則，果然有規律，每一頁是50條帖子

python爬蟲？tiebaguilv.png

1.2 帖子內容，也有規律，都在這個標簽里面

tiebaguilv2.png

1.3 判斷內容就用百度AI的內容審核，情感分析也用百度AI了，省事

python考研。1.4 詞云可以先用jieba分詞然后再用wordcloud生成，但是后來發現網上有現成的工具

二、爬取過程

2.1 首先解決的一個小問題就是讓它自己計算一下每頁是50條帖子，我輸入1000條它應該去爬取那幾個頁面，就用這種數學計算就行

2.2爬取過程代碼，爬取后就調用內容審核以及情感分析，然后寫入文件

利用python爬取，def gettbtz(tbname,tznum): ####根據給出的貼吧和帖子數（50的整數倍）獲得所有帖子

n = -50

tznum = int(tznum) ###z這里是要根據貼吧的規則，每頁顯示50條帖子

emotions = 0

python3。while (tznum > n):

n = n + 50

print("正在爬取前" + str(n) + "條帖子")

url = "http://tieba.baidu.com/f?kw=" + tbname + "&ie=utf-8&pn=" + str(n)

用python爬取網站數據，soup = BeautifulSoup(requests.get(url).text,'lxml') ###爬取動作

a = soup.find_all('div',class_='threadlist_abs threadlist_abs_onlyline')

for a in a: ###接下來以此判斷文本是否合規，然后判斷情感正向傾向指數，然后寫入文件

if BDAITEXT(a.text) == "合規":

python gui？print("爬取到合規帖子,正在寫入文件：" + a.text)

with open("resaults.txt","a+",encoding='utf-8') as f:

f.write(str(a.text)) ###寫入這里特意轉換一下數據類型，避免后面發生文本編碼錯誤

try:

自學python爬蟲路線？emotions = emotions + BDAIemotion(a.text)

print("當前累計情感指數：" + str(emotions))

except:

print("情感分析出錯，跳過")

python怎么爬數據，else:

print("帖子不合規，跳過")

time.sleep(10) ###君子協議，10秒暫停

f.close()

Python爬取數據，三、百度人工智能API調用

3.1 百度AK獲取，就是要先到百度AI開發平臺注冊一個開發者賬號，然后創建應用，獲取應用id和密鑰，然后得到這樣一個調用的密鑰

# client_id 為官網獲取的AK， client_secret 為官網獲取的SK

host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=【應用ID】&client_secret=【SK】'

response = requests.get(host)

if response:

print(response.json())

3.2 內容審核API調用

def BDAITEXT(text): ####百度AI文本審核，返回合規或者不合規

content = {"text": text}

r = requests.post(BDAItexturl,content).text

if r:

rback = json.loads(r)

return rback["conclusion"]

3.3 情感分析API調用

def BDAIemotion(text): ####百度AI情感分析，返回一個數值

content = {"text": text}

content = json.dumps(content)

r = requests.post(BDAIemotionurl,content).text

if r:

rback = json.loads(r)

return rback['items'][0]['positive_prob']

四、詞云生成

有很多在線工具，導入大段文本，然后根據需要進行文本的過濾、分詞，然后設置顏色、樣式就可以生成詞云。

QQ截圖20200114231926.png

五、信息分析

看詞云，結果不言而喻，提早地準備、豐富的經驗、專業課、數學、政治、院校選擇…………

從情感上來看，大多數情感指數偏向積極，說明對待考研還是需要一個積極的態度。

QQ截圖20200114233211.png

運行截圖

1.gif

待改進

1.應該多線程，速度太慢了

2.爬取了帖子，沒有爬取評論

3.情感分析有很多出錯

“閑言碎語留給市井小民，你只管優雅從容心懷遠方”