【Pyhton爬虫】中国大学排名爬虫

http://www.zuihaodaxue.com/zuihaodaxuepaiming-zongbang-2020.html

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 代码：

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLtext(url):#获取URL信息try:r=requests.get(url,timeout=30)r.raise_for_status()#异常判断r.encoding=r.apparent_encoding#转换编码return r.textexcept:return""def fillUnivList(ulist,html):#将HTML信息放在列表中soup=BeautifulSoup(html,"html.parser")for tr in soup.find('tbody').children:if isinstance(tr,bs4.element.Tag):#判断类型tds=tr('td')ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string,tds[4].string])#大学排名、大学名称、大学。。def printUnivList(ulist,num):#打印出来print("{:^10}\t{:^6}\t{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","省市","学校类型","总分"))for i in range(num):u=ulist[i]print("{:^10}\t{:^6}\t{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2],u[3],u[4]))   def main():uinfo=[]url="http://www.zuihaodaxue.com/zuihaodaxuepaiming-zongbang-2020.html"html=getHTMLtext(url)fillUnivList(uinfo,html)printUnivList(uinfo,20)#列举20所学校
main()

效果

 

 

 我们发现会有对不齐的现象

优化

 

 

 

代码：

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLtext(url):#获取URL信息try:r=requests.get(url,timeout=30)r.raise_for_status()#异常判断r.encoding=r.apparent_encoding#转换编码return r.textexcept:return""def fillUnivList(ulist,html):#将HTML信息放在列表中soup=BeautifulSoup(html,"html.parser")for tr in soup.find('tbody').children:if isinstance(tr,bs4.element.Tag):#判断类型tds=tr('td')ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string,tds[4].string])#大学排名、大学名称、大学。。def printUnivList(ulist,num):#打印出来tplt="{0:^10}\t{1:{5}^10}\t{2:^6}\t{3:^6}\t{4:^6}"print(tplt.format("排名","学校名称","省市","学校类型","总分",chr(12288)))for i in range(num):u=ulist[i]print(tplt.format(u[0],u[1],u[2],u[3],u[4],chr(12288)))   def main():uinfo=[]url="http://www.zuihaodaxue.com/zuihaodaxuepaiming-zongbang-2020.html"html=getHTMLtext(url)fillUnivList(uinfo,html)printUnivList(uinfo,20)#列举20所学校
main()

效果

 

 

 是不是美观了不少？