網絡爬蟲另外一些不常使用的名字還有螞蟻,自動索引,模擬程序或者蠕蟲。下面是小編為您整理的關于python爬蟲能夠干什么,希望對你有所幫助。
爬蟲python入門。python爬蟲能夠干什么
1.python爬蟲可從網站某一個頁面(通常是首頁)開始,讀取網頁的內容,找到在網頁中的其它鏈接地址,然后通過這些鏈接地址尋找下一個網頁,這樣一直循環下去,直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站,那么網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。
2.網絡爬蟲(又被稱為網頁蜘蛛,網絡機器人,在FOAF社區中間,更經常的稱為網頁追逐者),是一種按照一定的規則,自動的抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻,自動索引,模擬程序或者蠕蟲。
Python爬蟲有什么用、爬蟲的基本流程:
用戶獲取網絡數據的方式:
方式1:瀏覽器提交請求--->下載網頁代碼--->解析成頁面
python爬蟲教程,方式2:模擬瀏覽器發送請求(獲取網頁代碼)->提取有用的數據->存放于數據庫或文件中
爬蟲要做的就是方式2;
1、發起請求
爬蟲。使用http庫向目標站點發起請求,即發送一個Request
Request包含:請求頭、請求體等
Request模塊缺陷:不能執行JS 和CSS 代碼
python爬蟲可以做什么?2、獲取響應內容
如果服務器能正常響應,則會得到一個Response
Response包含:html,json,圖片,視頻等
python爬蟲能干什么,3、解析內容
解析html數據:正則表達式(RE模塊),第三方解析庫如Beautifulsoup,pyquery等
解析json數據:json模塊
解析二進制數據:以wb的方式寫入文件
4、保存數據
數據庫(MySQL,Mongdb、Redis)
文件
三、http協議 請求與響應
Request:用戶將自己的信息通過瀏覽器(socket client)發送給服務器(socket server)
Response:服務器接收請求,分析用戶發來的請求信息,然后返回數據(返回的數據中可能包含其他鏈接,如:圖片,js,css等)
ps:瀏覽器在接收Response后,會解析其內容來顯示給用戶,而爬蟲程序在模擬瀏覽器發送請求然后接收Response后,是要提取其中的有用數據。
四、 request
1、請求方式:
常見的請求方式:GET / POST
2、請求的URL
url全球統一資源定位符,用來定義互聯網上一個唯一的資源 例如:一張圖片、一個文件、一段視頻都可以用url唯一確定
url編碼
https://www.baidu.com/s?wd=圖片
圖片會被編碼(看示例代碼)
網頁的加載過程是:
加載一個網頁,通常都是先加載document文檔,
在解析document文檔的時候,遇到鏈接,則針對超鏈接發起下載圖片的請求
3、請求頭
User-agent:請求頭中如果沒有user-agent客戶端配置,服務端可能將你當做一個非法用戶host;
cookies:cookie用來保存登錄信息
Python爬蟲常用的幾種數據提取方式
python爬蟲的幾種數據提取方式:正則 ,bs4,pyquery,xpath,cssselector。
知識點:
findall 返回的結果是列表套元組的形式
而search一般要加group(), groups(),
re.S 可以將正則的搜索域不再是一行,而是整個HTML字符串
.*? 非貪婪匹配 .*貪婪匹配
二, Beautifulsoup
obj = BeautifulSoup(html, "lxml")
BeautifulSoup將復雜HTML文檔轉換成一個復雜的樹形結構,每個節點都是Python對象
知識點:
獲得標簽的某個屬性: .get()
獲得標簽內部的文字: .string . strings .stripped_strings .get_text()
.string: 如果一個標簽里面沒有標簽了,那么 .string 就會返回標簽里面的內容。如果標簽里面只有唯一的一個標簽了,那么 .string 也會返回最里面的內容
.strings: 獲取多個內容,返回結果是生成器,需要遍歷獲取
.stripped_strings輸出的字符串中可能包含了很多空格或空行,使用 .stripped_strings可以去除多余空白內容
通過css篩選元素: .select()
.select():返回的是list
遍歷文檔樹:
獲取tag的子節點: .contents 返回的是list .children返回的是listiterator object
PyQuery
爬蟲是什么?
如果我們把互聯網比作一張大的蜘蛛網,數據便是存放于蜘蛛網的各個節點,而爬蟲就是一只小蜘蛛,
沿著網絡抓取自己的獵物(數據)爬蟲指的是:向網站發起請求,獲取資源后分析并提取有用數據的程序;
從技術層面來說就是 通過程序模擬瀏覽器請求站點的行為,把站點返回的HTML代碼/JSON數據/二進制數據(圖片、視頻) 爬到本地,進而提取自己需要的數據,存放起來使用。
版权声明:本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。
工作时间:8:00-18:00
客服电话
电子邮件
admin@qq.com
扫码二维码
获取最新动态