1、在命令提示符環境使用pip install scrapy命令安裝Python擴展庫scrapy,詳見Python使用Scrapy爬蟲框架爬取天涯社區小說“大宗師”全文
2、使用下圖中的命令創建爬蟲項目
3、進入爬蟲項目文件夾,執行下面的命令創建爬蟲
python爬取天氣數據,
現在,爬蟲項目的文件夾結構如下圖所示
4、使用瀏覽器打開網址http://www.weather.com.cn/shandong/index.shtml,然后下拉,找到“城市預報列表”
基于Python的天氣預測系統研究,5、在頁面上單擊鼠標右鍵,選擇“查看網頁源代碼”,然后找到與“城市預報列表”對應的位置
6、選擇并打開山東省內任意城市的天氣預報頁面,此處以煙臺為例
7、在頁面上單擊鼠標右鍵,選擇“查看網頁源代碼”,找到與上圖中天氣預報相對應的位置
python氣象繪圖,
8、修改items.py文件,定義要爬取的內容,紅色方框內是自己寫的代碼
9、修改爬蟲文件everyCityinSD.py,定義如何爬取內容,其中用到的規則參考前面對頁面的分析
python爬蟲scrapy框架。10、修改pipelines.py文件,把爬取到的數據寫入文件weather.txt,紅色方框內是自己寫的代碼
11、修改settings.py文件,分派任務,指定處理數據的程序,紅色方框內是自己寫的代碼
12、切換到命令提示符環境,執行下面的命令運行爬蟲程序
爬取天氣數據并可視化,
稍等幾秒鐘,生成包含各城市天氣預報數據的文件weather.txt
其中內容為
天氣預報記錄表格制作、----------喜大普奔----------
1、董付國老師Python系列教材,亞馬遜、京東、當當、天貓均有銷售:
1)《Python程序設計(第2版)》(2018年5月第6次印刷)
出版社官方鏈接(亞馬遜、京東、當當均有銷售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.18.24a52226hIi8Bj&id=534581929248&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6
2)《Python可以這樣學》(2018年2月第5次印刷)(本書已發行繁體版)
python五角星編程代碼并填充,出版社官方鏈接(亞馬遜、京東、當當均有銷售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.16.24a52226hIi8Bj&id=544817105410&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6
3)《Python程序設計開發寶典》(2018年2月第3次印刷)
出版社官方鏈接(亞馬遜、京東、當當均有銷售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.52.24a52226hIi8Bj&id=556093887133&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6
4)《中學生可以這樣學Python》2018年5月第2次印刷)
出版社官方鏈接(亞馬遜、京東、當當均有銷售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.20.24a52226hIi8Bj&id=560808221053&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6
python文本統計分析三國演義人物,5)《Python程序設計基礎(第2版)》(2018年5月第2次印刷)
出版社官方鏈接(亞馬遜、京東、當當均有銷售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.24.24a52226hIi8Bj&id=565581275846&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6
6)《玩轉Python輕松過二級》(2018年5月隆重上架)
出版社官方鏈接(亞馬遜、京東、當當均有銷售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.84.24a52226hIi8Bj&id=569250004069&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6
董付國老師6本Python系列圖書閱讀指南
爬取天氣數據的意義、董付國老師6本Python系列教材被北大、復旦等近百所高校選作教材
熱烈慶祝《Python可以這樣學》在臺灣發行繁體版
2、董老師120課免費視頻地址: https://pan.baidu.com/s/1jJeAs8Q 密碼: px59
----------相關閱讀----------
教學課件
scrapy爬蟲爬取表格?1900頁Python系列PPT分享一:基礎知識(106頁)
1900頁Python系列PPT分享二:Python序列(列表、元組、字典、集合)(154頁)
1900頁Python系列PPT分享三:選擇與循環結構語法及案例(96頁)
1900頁Python系列PPT分享四:字符串與正則表達式(109頁)
1900頁Python系列PPT分享五:函數設計與應用(134頁)
python為什么叫爬蟲,1900頁Python系列PPT分享六:面向對象程序設計(86頁)
1900頁Python系列PPT分享七:文件操作(132頁)
1900頁Python系列PPT分享八:異常處理結構與程序調試、測試(70頁)
報告PPT(163頁):基于Python語言的課程群建設探討與實踐
非計算機專業《Python程序設計基礎》教學參考大綱
計算機相關專業“Python程序設計”教學大綱(參考)
系列題庫分享
1000道Python題庫系列分享一(17道)
1000道Python題庫系列分享二(48道)
1000道Python題庫系列分享三(30道)
1000道Python題庫系列分享四(40道)
1000道Python題庫系列分享五(40道)
1000道Python題庫系列分享六(40道)
1000道Python題庫系列分享七(30道)
1000道Python題庫系列分享八(29道)
1000道Python題庫系列分享九(31道)
1000道Python題庫系列分享十(37道)
1000道Python題庫系列分享十一(9道)
相關閱讀
Python爬蟲系列:使用selenium+Edge查詢指定城市天氣情況
Python爬蟲系列:判斷目標網頁編碼的幾種方法
BeautifulSoup解析庫select方法實例——獲取企業信息
Python批量爬取微信公眾號文章中的圖片
Python裸奔也瘋狂:批量爬取中國工程院院士信息
Python爬蟲擴展庫scrapy選擇器用法入門(一)
Python使用Scrapy爬蟲框架爬取天涯社區小說“大宗師”全文
Python不使用scrapy框架而編寫的網頁爬蟲程序
Python爬蟲擴展庫BeautifulSoup4用法精要
版权声明:本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。
工作时间:8:00-18:00
客服电话
电子邮件
admin@qq.com
扫码二维码
获取最新动态