職位描述
該職位還未進(jìn)行加V認(rèn)證,請仔細(xì)了解后再進(jìn)行投遞!
【保定總部工作】
1. 負(fù)責(zé)定向數(shù)據(jù)的采集與爬取、解析處理、入庫及備份等數(shù)據(jù)日常工作;
2. 研究主流網(wǎng)站的爬取方法及數(shù)據(jù)清洗處理,負(fù)責(zé)非定向數(shù)據(jù)的清洗、整理、整合及合并等工作;
3. 參與分布式爬蟲的框架的維護(hù)與開發(fā);負(fù)責(zé)公司采集系統(tǒng)架構(gòu)開發(fā)和性能優(yōu)化;爬蟲框架工具化,使數(shù)據(jù)采集人員簡單適用,高效采集數(shù)據(jù);
4. 及時(shí)解決生產(chǎn)上的系統(tǒng)問題,并對用戶提供技術(shù)支持;并能根據(jù)項(xiàng)目安排采集指定站點(diǎn)數(shù)據(jù);
5. 其他部門內(nèi)數(shù)據(jù)相關(guān)工作。
任職資格:
1. 本科以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè);
2. 5年以上Python開發(fā)經(jīng)驗(yàn),至少2個(gè)以上完整的中大型爬蟲開發(fā)經(jīng)驗(yàn);
3. 熟練掌握基于爬蟲框架Selenuim、Scrapy、PySpider、Crawley,puppeteer;
4. 熟悉瀏覽器運(yùn)行原理,懂得js逆向,熟悉web端常用反爬技術(shù);
5. 熟悉抓包工具(Wireshark、Fiddler、charles等);
6. 熟練使用一種以上數(shù)據(jù)庫(Doris/MySQL/mongodb)與消息中間件kafka;7. 具有反爬解決經(jīng)驗(yàn),對Js逆向、封IP 、復(fù)雜驗(yàn)證碼、模擬Cookie 登錄等,有過實(shí)際經(jīng)驗(yàn);
工作地點(diǎn)
地址:北京大興區(qū)北京-大興區(qū)亦城時(shí)代北京大興區(qū)亦城時(shí)代廣場T5-16層
??
點(diǎn)擊查看地圖
詳細(xì)位置,可以參考上方地址信息
求職提示:用人單位發(fā)布虛假招聘信息,或以任何名義向求職者收取財(cái)物(如體檢費(fèi)、置裝費(fèi)、押金、服裝費(fèi)、培訓(xùn)費(fèi)、身份證、畢業(yè)證等),均涉嫌違法,請求職者務(wù)必提高警惕。
職位發(fā)布者
閆先生HR
長城汽車股份有限公司
-
汽車·摩托車
-
1000人以上
-
私營·民營企業(yè)
-
河北保定市太行路1234號
相似職位
-
施工員(電氣專工) 8000-15000元應(yīng)屆畢業(yè)生 大專唐山海泰新能科技股份有限公司
-
膠粘劑工程師 1元以上應(yīng)屆畢業(yè)生 不限北京金隅涂料有限責(zé)任公司
-
機(jī)修負(fù)責(zé)人 面議應(yīng)屆畢業(yè)生 不限江蘇愛爾沃特環(huán)??萍加邢薰?
-
網(wǎng)絡(luò)招聘專員 3000-6000元應(yīng)屆畢業(yè)生 大專河北李唐人力資源服務(wù)有限公司
-
人事招聘文員 4000-6000元應(yīng)屆畢業(yè)生 大專河北李唐人力資源服務(wù)有限公司
-
交通勤務(wù)輔助人員 面議應(yīng)屆畢業(yè)生 不限河北世交高速公路開發(fā)有限公司

應(yīng)屆畢業(yè)生
本科
最近更新
481人關(guān)注
注:聯(lián)系我時(shí),請說是在河北人才網(wǎng)上看到的。
