爬蟲工程師崗位職責(通用21篇)
爬蟲工程師崗位職責 篇1
崗位職責:
1、參與app爬蟲項目的架構(gòu)設計、研發(fā)工作,改進和提升爬蟲效率;
2、攻破各種反爬策略;
3、解決各類技術疑難問題,包括網(wǎng)絡問題、app分析、反編譯等;
4、與大數(shù)據(jù)工程師對接,完成實時數(shù)據(jù)與離線數(shù)據(jù)的爬取與對接;
任職資格:
1、計算機及相關專業(yè)本科及以上學歷,兩年以上相關工作經(jīng)驗;
2、精通至少一種開發(fā)語言,如python、java;
3、熟練掌握一種開源爬蟲框架,如scrapy、webmagic,有研發(fā)爬蟲框架經(jīng)驗者優(yōu)先;
4、熟悉appium、selenium等技術;
5、善于獨立分析并解決核心問題,如javascript反爬、爬蟲策略、防屏蔽規(guī)則、app爬取、驗證碼識別技術等;
6、熟悉mysql,?mongodb,?redis,?elasticsearch等數(shù)據(jù)庫;
7、對爬蟲有濃厚的興趣,責任感強,有較好的交流溝通能力和團隊合作能力;
8、有app安全、逆向等領域經(jīng)驗的優(yōu)先;
爬蟲工程師崗位職責 篇2
職位描述:
1、負責設計和開發(fā)分布式網(wǎng)絡爬蟲系統(tǒng),進行多平臺信息的抓取和分析工作;
2、負責網(wǎng)頁信息和app數(shù)據(jù)抽取、清洗、消重等工作,提升平臺的抓取效率;
3、參與爬蟲核心算法和策略優(yōu)化,熟悉采集系統(tǒng)的調(diào)度策略;
4、實時監(jiān)控爬蟲的進度和警報反饋。
任職要求:
1、有扎實的算法和數(shù)據(jù)結(jié)構(gòu)能力;
2、熟悉爬蟲原理,熟悉常見的反爬蟲技術,有爬蟲相關項目開發(fā)經(jīng)驗者優(yōu)先;
3、掌握http協(xié)議,熟悉html、dom、xpath等常見的數(shù)據(jù)抽取技術;
4、有大規(guī)模數(shù)據(jù)處理、數(shù)據(jù)挖掘、信息提取等經(jīng)驗者優(yōu)先。
爬蟲工程師崗位職責 篇3
職責描述:
1、負責網(wǎng)絡爬蟲系統(tǒng)的設計與開發(fā)
2、對爬取的網(wǎng)頁信息進行數(shù)據(jù)抽取,清洗和去重等工作
任職要求:
1、2年及以上網(wǎng)絡爬蟲開發(fā)經(jīng)驗,本科及大專學歷,計算機相關專業(yè),
2、積極、溝通順暢,工作認真負責
3、扎實的編程能力,熟悉常用算法和數(shù)據(jù)結(jié)構(gòu)等基礎知識
4、熟練掌握開發(fā)語言java或c/c++,熟悉腳本語言和正則表達式
爬蟲工程師崗位職責 篇4
職位描述:
1、開發(fā)網(wǎng)頁自動化腳本。
2、負責商品信息結(jié)構(gòu)化,編寫自動化腳本解析網(wǎng)頁信息。
3、商品索引系統(tǒng):億級sku的庫存價格實時跟蹤同步,并對商品進行智能分類、本地化、圖片處理和去重。
4、設計、開發(fā)、測試、部署以及維護并改進各子系統(tǒng);
5、管理項目優(yōu)先級并按時交付。
職位要求:
1、全日制統(tǒng)招本科、碩士畢業(yè),1年以上軟件開發(fā)工作經(jīng)驗;
2、熟悉至少一門通用靜態(tài)編譯編程語言,c/c++/java/c#/go;
3、熟悉web端基礎標準,包括html、css、javascript、json等;
4、熟悉python或其他腳本語言,有興趣和能力根據(jù)需求學習其他編程語言;
5、熟悉unix/linux環(huán)境,memcache/redis/mongodb等存儲系統(tǒng),能獨立設計開發(fā)包括前后端交互的業(yè)務子系統(tǒng);
6、熟悉常見的設計模式、單元測試、持續(xù)開發(fā)集成、code review,并能在日常工作踐行;
7、了解搜索引擎、電子商務、社交類應用的系統(tǒng)基本架構(gòu),能對已有的子系統(tǒng)進行優(yōu)化調(diào)整的優(yōu)先;
8、活躍的開源項目貢獻者優(yōu)先。
爬蟲工程師崗位職責 篇5
崗位職責
1、熟悉線程池、并發(fā)機制、鎖機制、線程安全原理;
2、java體系知識:網(wǎng)絡io、設計模式、linux、jvm、java類加載機制、java內(nèi)存模型;
3、爬蟲經(jīng)驗:webmagic、adsl撥號、正則表達式、脫殼技術、加密、圖片破解、二維碼識別、滑塊驗證碼破解、httpclient、分詞、分布式爬蟲調(diào)度、數(shù)據(jù)質(zhì)量監(jiān)控、代理ip調(diào)度算法、配置化爬蟲、授權(quán)爬蟲、輿情、應用市場、反爬;
4、熟悉http/http、tcp/ip、socket等通訊協(xié)議;
5、6年以上軟件開發(fā)經(jīng)驗,至少2年爬蟲開發(fā)經(jīng)驗。
任職要求
1、采集、清洗、監(jiān)控、配置化、調(diào)度、反爬、數(shù)據(jù)爬取、分詞、檢索等數(shù)據(jù)采集研發(fā);
2、較強的邏輯思維和發(fā)散思維;
3、計算機或相關專業(yè)本科及以上學歷。
爬蟲工程師崗位職責 篇6
工作內(nèi)容:
1、基礎系統(tǒng)架構(gòu)、模塊、庫和組件的研發(fā);
2、分布式海量數(shù)據(jù)存儲和分析系統(tǒng)的研發(fā)和調(diào)優(yōu);
3、統(tǒng)計分析、報表、saas業(yè)務等系統(tǒng)研發(fā);
4、crm、財務結(jié)算、工作流等內(nèi)部管理系統(tǒng)的研發(fā)。
能力要求:
1、至少使用php/java/python等一門以上語言,開發(fā)過不算太小的項目;
2、熟悉數(shù)據(jù)結(jié)構(gòu)、db、os、web開發(fā)等相關知識,對linux相關的各類技術情有獨鐘;
3、有大規(guī)模、高性能互聯(lián)網(wǎng)網(wǎng)站系統(tǒng)相關的設計和開發(fā)經(jīng)驗者優(yōu)先;
4、具備良好的學習能力和成長潛力,渴望和團隊一起快速成長。
爬蟲工程師崗位職責 篇7
職位描述:
負責設計和開發(fā)分布式網(wǎng)絡爬蟲系統(tǒng)
應用多種技術對各平臺進行數(shù)據(jù)采集
設計數(shù)據(jù)采集策略,提升數(shù)據(jù)采集效率及質(zhì)量
與各行業(yè)分析師溝通,分析項目的可行性和討論抓取方案。
兩年以上爬蟲開發(fā)相關經(jīng)驗,本科及以上學歷,計算機相關專業(yè)為佳
熟練掌握c#或java開發(fā)語言為佳
了解tcp/ip,http及相關網(wǎng)絡協(xié)議
熟悉js / html / xpath / json /正則表達式等網(wǎng)頁相關技術
熟悉分布式、多線程、緩存、消息隊列等互聯(lián)網(wǎng)技術
熟悉手機應用的數(shù)據(jù)抓取,手機app開發(fā)經(jīng)驗,加/脫殼經(jīng)驗為佳
良好的溝通技能,注重細節(jié),抗壓性強
良好的英語溝通技能為佳
爬蟲工程師崗位職責 篇8
職位要求
1、計算機相關專業(yè),本科及以上學歷,3年以上爬蟲相關工作經(jīng)驗;
2、對爬蟲編程有強烈愛好,熟練精通掌握至少1種語言java、python,在需要的情況下能快速上手新語言切換;
3、深入理解tpc/ip、http、以及web登錄認證的機制,有成功破解復雜驗證碼的經(jīng)驗;
4、有通用分布式爬蟲系統(tǒng)架構(gòu)和開發(fā)經(jīng)驗,能快速部署新的爬蟲應用;
5、已有2年以上網(wǎng)絡爬蟲或搜索引擎工作經(jīng)驗,參與過大規(guī)模數(shù)據(jù)爬蟲優(yōu)先考慮;
6、有app安全、逆向等領域的經(jīng)驗;
7、具有良好的溝通、團隊協(xié)作、計劃能力,有過1—2人的團隊管理經(jīng)驗。
崗位職責
1、建設完善分布式爬蟲系統(tǒng);
2、建立通用的爬蟲框架,能夠快速適應新的爬蟲需求;
3、快速完成對目標資源的數(shù)據(jù)抓取、處理。
爬蟲工程師崗位職責 篇9
職位描述:
1、負責廣告素材線索和垂直類產(chǎn)品爬蟲系統(tǒng)的設計、開發(fā)
2、抓取數(shù)據(jù)的清洗、落地、分析
3、抓取策略算法的更新維護,以及確保數(shù)據(jù)抽取準確、高效
任職要求:
1、具備強悍的編碼能力、扎實的數(shù)據(jù)結(jié)構(gòu)和算法功底
2、熟悉tcp,http協(xié)議原理;熟悉ajax工作原理;精通python編程,熟悉一種開源爬蟲框架和源碼;
3、有爬蟲、信息抽取、文本分類、大數(shù)據(jù)處理相關經(jīng)驗優(yōu)先
4、有自然語言處理、機器學習經(jīng)驗優(yōu)先
爬蟲工程師崗位職責 篇10
職責描述:
1、負責公司產(chǎn)品的爬蟲架構(gòu)設計與開發(fā),以及爬蟲策略優(yōu)化等工作;
2、根據(jù)數(shù)據(jù)產(chǎn)品需求,負責對網(wǎng)頁等大規(guī)模文本數(shù)據(jù)抓取、清洗、存儲等設計開發(fā)工作;
任職要求:
1、計算機、數(shù)學或統(tǒng)計等相關專業(yè)本科及以上學歷,1年以上爬蟲相關工作經(jīng)驗;
2、熟悉linux平臺,熟練掌握python或java爬蟲開發(fā)工作;
3、熟悉靜態(tài)、動態(tài)網(wǎng)頁等大規(guī)模文本數(shù)據(jù)的高效信息抽取、清洗、存儲等技術;
4、有反爬相關問題處理經(jīng)驗,精通常用的爬蟲技術及架構(gòu)設計,并能快速開發(fā)實現(xiàn);
5、具備良好的編程習慣和算法基礎;
6、善于學習,熱愛技術開發(fā),善于團隊協(xié)作,能積極主動地參與公司產(chǎn)品研發(fā)等相關工作。職責描述:
1、負責公司產(chǎn)品的爬蟲架構(gòu)設計與開發(fā),以及爬蟲策略優(yōu)化等工作;
2、根據(jù)數(shù)據(jù)產(chǎn)品需求,負責對網(wǎng)頁等大規(guī)模文本數(shù)據(jù)抓取、清洗、存儲等設計開發(fā)工作;
爬蟲工程師崗位職責 篇11
崗位職責:
1、負責網(wǎng)絡爬蟲的架構(gòu)設計、開發(fā)與優(yōu)化;
2、負責抓取數(shù)據(jù)的清洗、落地、分析;
3、抓取策略算法的更新維護,以及確保數(shù)據(jù)抽取準確、高效。
任職要求:
1、兩年及以上互聯(lián)網(wǎng)或軟件行業(yè)工作經(jīng)驗;
2、理解http協(xié)議,熟悉html、dom、xpath;
3、熟悉linux開發(fā)環(huán)境,至少熟悉python/go/java/node、js中的一種編程語言;
4、有爬蟲、信息抽取、文本分類、大數(shù)據(jù)處理相關經(jīng)驗優(yōu)先;
5、有自然語言處理、機器學習經(jīng)驗優(yōu)先;
6、熟悉瀏覽器內(nèi)核、渲染機制優(yōu)先;
7、工作認真,細心,有條理,積極性高;良好的溝通能力及團隊合作精神。
爬蟲工程師崗位職責 篇12
職位描述:
1、參與爬蟲系統(tǒng)的架構(gòu)設計與開發(fā);
2、負責執(zhí)行和開發(fā)分布式網(wǎng)絡爬蟲系統(tǒng),進行多平臺信息的抓取和分析;
3、負責網(wǎng)頁信息和app數(shù)據(jù)抽取、清洗、消重等工作,提升平臺的抓取效率;
4、參與爬蟲核心算法和策略優(yōu)化,熟悉采集系統(tǒng)的`調(diào)度策略;
5、實時監(jiān)控爬蟲的進度和警報反饋。
任職要求:
1、本科以上學歷,3年以上爬蟲開發(fā)相關經(jīng)驗,熟練使用python或java進行開發(fā);
2、熟練使用正則表達式、css path、xpath等,能夠從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息;
3、熟練使用mysql數(shù)據(jù)庫,掌握redis、mongodb、hive等常用nosql技術并具有實戰(zhàn)經(jīng)驗;
4、熟悉各種抓取技術,包括代理、phantomjs/selenium、驗證碼處理;
5、熟悉整個爬蟲的設計及實現(xiàn)流程,有從事網(wǎng)絡爬蟲、網(wǎng)頁信息抽取開發(fā)經(jīng)驗,熟悉反爬蟲技術,有分布式爬蟲架構(gòu)經(jīng)驗;
6、具有數(shù)據(jù)挖掘、自然語言處理、信息檢索、機器學習背景者優(yōu)先;
7、快速學習能力,工作積極主動,有創(chuàng)業(yè)熱情和良好的團隊協(xié)助能力;
8、需要有大量數(shù)據(jù)爬取以及高難度反爬經(jīng)驗,沒有相關經(jīng)驗的勿擾。
爬蟲工程師崗位職責 篇13
職責:
1、負責海量科技數(shù)據(jù)(含文本數(shù)據(jù))的挖掘工作;
2、負責科技數(shù)據(jù)挖掘算法模型的構(gòu)建、應用、評測、報告;
3、主持或參與海量科技數(shù)據(jù)的入庫工作,科技數(shù)據(jù)知識圖譜的構(gòu)建;
4、負責或參與數(shù)據(jù)挖掘成果論文、專利、標準的撰寫;
5、負責或參與制定數(shù)據(jù)加工清洗的方案,并形成操作手冊;
6、為指定的課題提出解決方案,并主持或參與方案實施;
7、完成安排的各項工作,與其他部門合作。
崗位要求:
1、數(shù)學、統(tǒng)計、金融、科技管理、計算機等相關專業(yè),博士學歷優(yōu)先;
2、具有2年及以上海量數(shù)據(jù)挖掘經(jīng)驗,有文本挖掘、非結(jié)構(gòu)化文本處理經(jīng)驗者優(yōu)先;
3、精通Matlab/Python/R/Scala之一,熟悉Java/C/C++等編程語言,熟練掌握Linux各項操作指令;
4、熟練掌握Hadoop/Spark/Storm/Kafka中的一項或幾項,有MPI經(jīng)驗者尚佳;
5、掌握機器學習的基本算法框架,有自然語言處理和豐富的特征工程(特征選擇/特征抽取)經(jīng)驗者優(yōu)先;
6、掌握關系型數(shù)據(jù)庫的基本操作,有圖形數(shù)據(jù)庫、其他非關系型數(shù)據(jù)庫經(jīng)驗者尚佳;
7、在醫(yī)療信息化從事產(chǎn)品開發(fā)工作者優(yōu)先,有頂會paper或人工智能領域國際比賽中獲獎者優(yōu)先;
8、有比較強的組織協(xié)調(diào)能力,可同時處理好多個任務,具備一定的管理能力;
9、性格開朗,具有團隊精神;較強的溝通能力,能與相關業(yè)務和開發(fā)人員討論并快速理解需求。
爬蟲工程師崗位職責 篇14
1.研究激光加工工藝及方法,特別是精密加工及激光微加工方面;根據(jù)激光應用方向進行面向產(chǎn)業(yè)化的激光工藝制程研究,并形成相應的技術文檔。
2.在激光加工工藝方面,輔助新產(chǎn)品開發(fā)及產(chǎn)品升級;
3.研究各種材料的激光加工方法;
4.新產(chǎn)品開發(fā)后的激光工藝技術培訓工作;
5.負責客戶樣品的打樣,并提供解決方案,為售前和售后提供技術支持。
爬蟲工程師崗位職責 篇15
崗位職責
1、大學本科及以上學歷,優(yōu)秀者可放寬
2、 5年以上電纜或線束產(chǎn)品開發(fā)經(jīng)驗,其中至少2年以上工業(yè)電纜或線束產(chǎn)品開發(fā)經(jīng)驗。
3、熟悉工業(yè)電纜或線束常用塑膠材料供應商及牌號。
4、熟悉電纜或線束加工工藝,對tpu、lsnh、tpe擠出有較深入研究。
5、熟悉電纜或線束加工設備及參數(shù),特別是螺桿、擠出模具。
6、能獨立開展新產(chǎn)品研發(fā)工作(從規(guī)格制定、材料選用、工藝路徑、標準認證、測試驗證到標準化。)
7、能夠獨立完成樣品制作并形成標準化文件,教導員工正確工作方法。
8、能夠獨立開展技術支持及技術培訓工作。
9、熟練使用autocad及office軟件。
10、能夠閱讀英文技術資料及工業(yè)標準。
11、有良好的.語言表達及溝通能力,具團隊合作精神。
12、有責任心、進取心、持之以恒專研精神。
爬蟲工程師崗位職責 篇16
1、完成日常發(fā)機前的檢機任務,確保設備功能正常
2、發(fā)機后協(xié)助支援售服熟悉設備功能及定制軟件的使用
3、處理發(fā)機后的軟硬件上的疑難問題
4、對接各產(chǎn)品中心的技術支持,嚴格按客戶需求和流程檢驗設備
5、完成上級領導臨時交辦的其他相關工作
爬蟲工程師崗位職責 篇17
崗位職責:
1、貫徹執(zhí)行公司知識產(chǎn)權(quán)戰(zhàn)略和規(guī)劃;
2、專利挖掘撰寫、專利分析部署;
3、專利侵權(quán)分析與評估;
4、專利體系推動 。
任職要求:
1、本科以上學歷,機械相關專業(yè),三年以上專利工作經(jīng)驗;
2、熟悉國家知識產(chǎn)權(quán)法律法規(guī);掌握專利及家電產(chǎn)品研發(fā)知識;
3、具有較強的責任感和事業(yè)心,具有行業(yè)競爭狀況分析能力;
4、有家電行業(yè)工作經(jīng)驗或?qū)@砣速Y格優(yōu)先。
福利待遇:
1、5天8小時制作息時間,有競爭力的薪資報酬,公司重要崗位。
2、按法律規(guī)定購買五險一金,依法享有法定休假,帶薪休假,按公司制度享受“六必訪”關愛關護。
3、為員工提供良好的'宿舍環(huán)境及配套設施,空調(diào)、熱水器、網(wǎng)線等一應俱全。
4、為員工提供開往杭州市各個方向的免費班車。
5、根據(jù)職務發(fā)放通訊補貼、餐補、節(jié)假日購物卡等福利等。
6、為員工提供每年一度的全方位的健康體檢。
7、健全的培訓體制,保障全員知識技能的提升,保持優(yōu)勢競爭力!
8、公平公正的內(nèi)部招聘制度,為員工提供展現(xiàn)自我,快速晉升的通道。
9、為員工提供豐富的文化生活,設有員工娛樂活動室,十大俱樂部,不定期的舉辦文體活動以及團隊活動、旅游。
爬蟲工程師崗位職責 篇18
1、 熟悉電信領域技術與售前支持工作,熟悉電子簽名領域軟件技術與售前支持工作;熟悉運營商體系;
2、 負責與合作客戶進行合作交流,分析客戶需求、結(jié)合公司產(chǎn)品編寫方案設計報告、實施方案報告和其他技術方案;
3、 參與起草項目規(guī)格說明書,國家/行業(yè)標準以及其他相關材料;
4、 對ICT行業(yè)內(nèi)新技術新產(chǎn)品和新項目進行跟進研究;
5、 配合其它部門做好客戶溝通、資料共享、技術協(xié)調(diào)等工作;
爬蟲工程師崗位職責 篇19
崗位職責
1、負責后臺與不同電商平臺及商城的系統(tǒng)對接,使用各種api及網(wǎng)絡爬蟲技巧,抓取、分析、調(diào)度、存儲,為公司業(yè)務提供正確穩(wěn)定的'數(shù)據(jù);
2、負責電商平臺及商城的相關插件開發(fā),在github開源及維護負責對接系統(tǒng)之sla ,代碼維護、秩代更新,保證任務質(zhì)量和交付及時性;
3、負責編寫相關的技術文檔;
4、負責編制單元測試、集成測試,提高測試覆蓋率,敢于對產(chǎn)品質(zhì)量負責;
5、參與制定技術標準及研究新技術,有效地提高工作效率;
6、參與系統(tǒng)關鍵模塊的技術攻關,協(xié)助解決項目中的難題。
崗位要求
1、統(tǒng)招本科或以上學歷,計算機相關專業(yè)(985/211院校優(yōu)先);
2、一年或以上php開發(fā)工作經(jīng)驗;
3、熟悉git / github,通信協(xié)議tcp/http及restful標準;
4、熟悉主流測試方法、工具,并不斷結(jié)合前沿技術提升整體測試效率和研發(fā)質(zhì)量;
5、有shopify、magento、opencart或amazon等相關平臺模組開發(fā)經(jīng)驗;
6、有docker、kubernetes、aws、阿里云或gcp云計算經(jīng)驗者優(yōu)先;
7、有ci / cd自動化持續(xù)集成和持續(xù)交付經(jīng)驗者優(yōu)先;
8、具備英語聽讀寫能力,cet4或以上。
爬蟲工程師崗位職責 篇20
崗位職責:
1.支持變頻的產(chǎn)品技術工作,對技術問題進行解答;
2.低壓變頻器、伺服產(chǎn)品的現(xiàn)場應用調(diào)試,解決問題;
3.提供行業(yè)變頻、伺服解決方案,應用開發(fā)。
任職要求:
1.專科以上學歷電氣工程及其自動化、機電工程相關專業(yè)2-3年以上變頻器應用經(jīng)驗,有行業(yè)應用專長,精通朝鮮語優(yōu)先;
2.對變頻器原理、結(jié)構(gòu)、調(diào)試等精通;
3.具備分析變頻器故障原因及提出改善意見的`能力。
爬蟲工程師崗位職責 篇21
職責描述:
1、負責開閉件產(chǎn)品及相關部件技術方案制訂、設計文件的制定和圖紙的設計;
2、負責開閉件零部件的設計/選型;
3、解決試制過程中存在的各種技術問題;
4、負責開閉件產(chǎn)品及零部件的驗證;
5、根據(jù)客戶要求對開閉件產(chǎn)品進行優(yōu)化改進;
6、新技術、新材料、新工藝的'研發(fā)/應用。
任職要求:
1、機械專業(yè)基礎扎實;
2、熟悉注塑、沖壓工藝、裝配工藝;
3、熟練使用cad、catia等設計軟件;
4、具有良好的溝通能力。