崗位職責:
爬蟲工程師需要學哪些東西、*針對復雜的網站架構主動獲取相關數據信息;
*負責數據獲取、清洗和分析工作。
任職要求:
*計算機科學、應用數學、統計學、物理學、天文學、商業分析、信息系統、數據科學或相關專業本科或以上學歷;
*優秀的學習能力與發現、分析并解決問題的能力;
*良好的團隊合作精神與溝通能力。
*熟悉Java/Python等語言及相關算法和數據結構;
*熟練Linux操作,熟練掌握HTTP協議,了解大型爬蟲框架等;
*熟悉MySQL等關系型數據庫,有NoSQL,Redis等工作經驗者優先;
*對計算機體系結構、分布式系統、協程和網絡編程有深入了解;
*具備敏捷開發經驗,熟練使用SVN和Maven;
*有很強的英語閱讀能力。
崗位職責:
1.負責移動客戶端數據采集、識別與正確解析。
2.負責移動端爬蟲架構設計(包括基礎資源,如移動設備群集技術、代理池技術、反反爬技術、移動設備群控技術等等)與核心技術研發。
3.負責移動端數據的特征挖掘,主要對移動設備數據請求協議、移動端交互數據、資源變化趨勢等進行數據抓取、分析和特征建模。
...
崗位職責:
1.負責構建分別爬蟲平臺;
2.負責網絡數據的抓取;
3.分布式技術提升爬蟲性能。
任職要求:
1.本科及以上學歷,計算機相關專業畢業,3年以上的工作經驗,有互聯網大型網站工作經驗優先;
2.精通JAVA|python編程,熟悉異步IO、多線程、網絡編程等開發技術;
3.熟悉主流的爬蟲框架、開源項目(scrapy),有分布式高并發爬蟲開發經驗優先;
...
崗位職責:
1.負責采集網頁、微博、微信、論壇的靜態數據、以及評論等動態數據
2.負責網頁信息抽取、數據清洗等研發和優化工作
3.分布式爬蟲平臺的構建
任職要求:
1.熟悉爬取數據的各種方式和方法,以及應付反爬的處理方式
2.熟悉海量數據的存儲以及檢索方式
3.精通Java語言
版权声明:本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。
工作时间:8:00-18:00
客服电话
电子邮件
admin@qq.com
扫码二维码
获取最新动态