數(shù)據(jù)采集工程師崗位職責(zé)(精選30篇)
數(shù)據(jù)采集工程師崗位職責(zé) 篇1
1.負(fù)責(zé)工業(yè)設(shè)備組網(wǎng)及數(shù)據(jù)采集方案設(shè)計(jì);
2.負(fù)責(zé)設(shè)計(jì)方案所需傳感器、儀表選型,布線圖、數(shù)據(jù)存儲方式、數(shù)據(jù)表等詳細(xì)設(shè)計(jì);
3.負(fù)責(zé)與設(shè)備廠商、數(shù)控系統(tǒng)廠商進(jìn)行業(yè)務(wù)協(xié)議、通信協(xié)議及接口協(xié)調(diào);
4.負(fù)責(zé)現(xiàn)場數(shù)據(jù)采集相關(guān)軟硬件安裝調(diào)試;
5.負(fù)責(zé)和用戶現(xiàn)場對口協(xié)調(diào)、技術(shù)指導(dǎo)及現(xiàn)場培訓(xùn)。
數(shù)據(jù)采集工程師崗位職責(zé) 篇2
1.數(shù)據(jù)采集系統(tǒng)和分布式爬蟲系統(tǒng)的架構(gòu)設(shè)計(jì)和開發(fā)
2.對接外部數(shù)據(jù)服務(wù)商提供的數(shù)據(jù)及資訊服務(wù),實(shí)現(xiàn)數(shù)據(jù)的'有效沉淀,建立數(shù)據(jù)服務(wù)評估機(jī)制
3.負(fù)責(zé)大規(guī)模文本、圖像、視頻數(shù)據(jù)的抓取、抽取,去重、分類,垃圾過濾,質(zhì)量識別等工作
4.研究各種目標(biāo)網(wǎng)站的形態(tài),互聯(lián)網(wǎng)特征挖掘,發(fā)現(xiàn)它們的特點(diǎn)和規(guī)律
數(shù)據(jù)采集工程師崗位職責(zé) 篇3
1.負(fù)責(zé)linux平臺下應(yīng)用軟件開發(fā),根據(jù)產(chǎn)品與項(xiàng)目要求,開展模塊設(shè)計(jì).編碼等工作;
2.負(fù)責(zé)linux軟件的交叉編譯與移植;
3.參與需求分析.軟件設(shè)計(jì).開發(fā).調(diào)試以及測試維護(hù)全過程;
4.負(fù)責(zé)協(xié)同硬件工程師或第三方方案商完成系統(tǒng)功能模塊的聯(lián)調(diào)及功能對接.接口文文件輸出;
5.負(fù)責(zé)嵌入式系統(tǒng)軟件平臺搭建工作;
數(shù)據(jù)采集工程師崗位職責(zé) 篇4
1.嵌入式bootloader,kernel開發(fā);
2.工業(yè)通訊協(xié)議解析等;
3.windows/linux平臺網(wǎng)關(guān)應(yīng)用層程序開發(fā);
4.網(wǎng)關(guān)產(chǎn)品的軟件功能測試驗(yàn)證;
5.工業(yè)網(wǎng)關(guān)產(chǎn)品軟件sdk及l(fā)ibrary開發(fā)。
數(shù)據(jù)采集工程師崗位職責(zé) 篇5
崗位職責(zé):
1.按產(chǎn)品功能需求說明,設(shè)計(jì)相應(yīng)數(shù)據(jù)庫業(yè)務(wù)邏輯及規(guī)則,并完成腳本封裝。
2.根據(jù)產(chǎn)品適配計(jì)劃,進(jìn)行新適配數(shù)據(jù)庫的預(yù)研。
3.根據(jù)業(yè)務(wù)需求,提供數(shù)據(jù)庫元數(shù)據(jù)創(chuàng)建語句。
4.協(xié)助產(chǎn)品內(nèi)容、數(shù)據(jù)庫知識體系、業(yè)務(wù)算法模型等研發(fā)。
技能要求:
1.熟悉Oracle、SQL Server、MySQL數(shù)據(jù)庫架構(gòu)及原理,并有實(shí)際運(yùn)維經(jīng)驗(yàn)。
2.熟悉MySQL、PostgreSQL和MongoDB等開源數(shù)據(jù)庫架構(gòu)及原理,并有實(shí)際運(yùn)維經(jīng)驗(yàn)。
3.熟悉RDS for MySQL、PostgreSQL等云數(shù)據(jù)庫架構(gòu)及原理,并有實(shí)際運(yùn)維經(jīng)驗(yàn)。
4.熟悉達(dá)夢、人大金倉、南大通用、神州通用、高斯、熱璞、巨杉等國產(chǎn)數(shù)據(jù)庫架構(gòu)及原理,并有實(shí)際運(yùn)維經(jīng)驗(yàn)。
5.熟悉PolarDB、OceanBase、Tidb等數(shù)據(jù)庫架構(gòu)及原理,并有實(shí)際運(yùn)維經(jīng)驗(yàn)。
6.深刻理解數(shù)據(jù)庫原理及架構(gòu),有二線dba經(jīng)驗(yàn)者優(yōu)先。
7.熟悉Unix、Linux、Windows等操作系統(tǒng)架構(gòu)及原理,并能熟練使用。
8.熟悉主流自動化運(yùn)維、監(jiān)控產(chǎn)品,有實(shí)際開發(fā)及使用經(jīng)驗(yàn)的優(yōu)先。
9.熟練使用shells、Python等腳本語言。
10.熟悉腳本開發(fā)規(guī)范,具有數(shù)據(jù)庫開發(fā)背景的`優(yōu)先。
11.深入理解數(shù)據(jù)庫的數(shù)據(jù)字典,并熟悉對象定義,有自定義對象開發(fā)經(jīng)驗(yàn)的優(yōu)先。
12.善于溝通,皮實(shí),良好的學(xué)習(xí)能力。
13.本科(含)以上學(xué)歷,計(jì)算機(jī)或相關(guān)專業(yè)的優(yōu)先。
數(shù)據(jù)采集工程師崗位職責(zé) 篇6
數(shù)據(jù)處理工程師(大數(shù)據(jù)項(xiàng)目)全成通信上海全成通信技術(shù)有限公司,全成通信,全成崗位職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)平臺的日常維護(hù)和監(jiān)控
2、負(fù)責(zé)大數(shù)據(jù)項(xiàng)目日報(bào)發(fā)布工作
3、負(fù)責(zé)日報(bào)數(shù)據(jù)的統(tǒng)計(jì)
4、負(fù)責(zé)大數(shù)據(jù)項(xiàng)目日常數(shù)據(jù)的計(jì)算、分析和維護(hù)
任職要求:
1、一年以上相關(guān)工作經(jīng)驗(yàn),有電信行業(yè)經(jīng)驗(yàn)者優(yōu)先
2、熟悉linux和excel,熟練使用perl或者其他的'腳本語言
3、具有oracledll/dml技術(shù)的使用經(jīng)驗(yàn)
4、具有良好的團(tuán)隊(duì)合作精神,有較強(qiáng)的學(xué)習(xí)能力、適應(yīng)能力、溝通能力
數(shù)據(jù)采集工程師崗位職責(zé) 篇7
任職要求:
1、軟件、計(jì)算機(jī)、通訊等理工科相關(guān)專業(yè)本科及以上學(xué)歷;
2、具有3年配置管理或產(chǎn)品數(shù)據(jù)管理經(jīng)驗(yàn);
3、熟悉計(jì)算機(jī)與網(wǎng)絡(luò)管理;
4、熟悉配置管理與產(chǎn)品數(shù)據(jù)管理知識,熟練掌握svn、plm等數(shù)據(jù)管理平臺的`操作與管理;
5、熟悉系統(tǒng)與信息安全知識;
6、具有較強(qiáng)的邏輯思維能力及良好的溝通能力,良好的主動學(xué)習(xí)能力及執(zhí)行力。
數(shù)據(jù)采集工程師崗位職責(zé) 篇8
1.針對用戶行為預(yù)測業(yè)務(wù),負(fù)責(zé)用戶畫像、訂單特征體系建設(shè),包括離線數(shù)據(jù)產(chǎn)出以及服務(wù)化;
2.針對用戶端上行為產(chǎn)出的實(shí)時數(shù)據(jù)流,挖掘?qū)崟r特征并服務(wù)化;
3.針對客服場景,挖掘?qū)崟r用戶行為異常以及進(jìn)線異常;
4.針對智能客服場景用戶標(biāo)簽挖掘,人群挖掘等工作,支持智能運(yùn)營方向的業(yè)務(wù);
5.負(fù)責(zé)開發(fā)并維護(hù)智能客服業(yè)務(wù)的特征服務(wù)系統(tǒng)。
數(shù)據(jù)采集工程師崗位職責(zé) 篇9
1.負(fù)責(zé)數(shù)據(jù)分析,數(shù)據(jù)挖掘相關(guān)的算法、應(yīng)用的設(shè)計(jì)與開發(fā);
2.負(fù)責(zé)公司產(chǎn)品各階段數(shù)據(jù)的整理、分析、挖掘及提交數(shù)據(jù)報(bào)告,重點(diǎn)對車輛行為數(shù)據(jù)進(jìn)行分析和挖掘,利用數(shù)據(jù)分析結(jié)論推動業(yè)務(wù)產(chǎn)品的優(yōu)化;
3.對海量業(yè)務(wù)數(shù)據(jù)進(jìn)行整合、分析挖掘,挖掘產(chǎn)品以及用戶潛在信息,為營銷、運(yùn)營及決策提供業(yè)務(wù)分析及數(shù)據(jù)支持。
數(shù)據(jù)采集工程師崗位職責(zé) 篇10
1、負(fù)責(zé)每日的數(shù)據(jù)倉庫運(yùn)維工作,保障數(shù)據(jù)的穩(wěn)定性、一致性等;
2、參與數(shù)據(jù)倉庫的優(yōu)化設(shè)計(jì),如元數(shù)據(jù)、數(shù)據(jù)權(quán)限、調(diào)度優(yōu)化;
3、負(fù)責(zé)數(shù)據(jù)質(zhì)量和數(shù)據(jù)標(biāo)準(zhǔn)化的設(shè)計(jì)與開發(fā);
4、負(fù)責(zé)滿足業(yè)務(wù)部門的日常業(yè)務(wù)提數(shù)與報(bào)表需求的開發(fā)。
數(shù)據(jù)采集工程師崗位職責(zé) 篇11
1、熟悉掌握業(yè)務(wù)系統(tǒng)功能,靈活制定不同業(yè)務(wù)的推廣策略,通過活動運(yùn)營、內(nèi)容運(yùn)營等方式策劃并落地項(xiàng)目推廣方案,拓展系統(tǒng)用戶量及影響力。
2、熟悉公文寫作,配合完成工作匯報(bào)材料的撰寫及分析報(bào)告。
3、與企業(yè)及海關(guān)關(guān)系的協(xié)調(diào)和維護(hù),強(qiáng)化合作關(guān)系,維護(hù)好項(xiàng)目參與方的'關(guān)系。
4、面向進(jìn)出口企業(yè)開展調(diào)研,主動挖掘系統(tǒng)需求,進(jìn)行需求分析,形成調(diào)研報(bào)告或業(yè)務(wù)需求報(bào)告。
5、項(xiàng)目管理相關(guān)工作,包括組織業(yè)務(wù)需求論證、項(xiàng)目立項(xiàng)、進(jìn)度管理等根據(jù)項(xiàng)目管理規(guī)范開展相關(guān)工作。
6、完成領(lǐng)導(dǎo)交辦的其他工作事項(xiàng)。
數(shù)據(jù)采集工程師崗位職責(zé) 篇12
1、負(fù)責(zé)大數(shù)據(jù)平臺搭建及數(shù)據(jù)倉庫建模;
2、負(fù)責(zé)數(shù)據(jù)庫管理及數(shù)據(jù)優(yōu)化;
3、利用大數(shù)據(jù)相關(guān)技術(shù)實(shí)現(xiàn)對數(shù)據(jù)的分析、挖掘、處理、及數(shù)據(jù)可視化等相關(guān)工作;
4、維護(hù)大數(shù)據(jù)平臺并能解決相關(guān)問題,保障平臺正常運(yùn)行;
5、學(xué)習(xí)和研究新技術(shù)以滿足系統(tǒng)需求。
數(shù)據(jù)采集工程師崗位職責(zé) 篇13
•在行業(yè)擔(dān)任數(shù)據(jù)工程師或后端工程師超過4年
•您將了解數(shù)據(jù)倉庫的概念(建模,調(diào)整,維護(hù))
•您非常精通SQL,并渴望指導(dǎo)和教其他SQL
•您精通Python或任何其他腳本語言和軟件開發(fā)
•您在分布式數(shù)據(jù)處理/傳統(tǒng)RDBMS / MPP / NoSQL系統(tǒng)和數(shù)據(jù)建模方面有很強(qiáng)的低估/經(jīng)驗(yàn)
•您在Spark / Kafka / HBase / Redis / Kettle方面擁有豐富的經(jīng)驗(yàn)
•您受到探索數(shù)據(jù)的好奇心和動力的驅(qū)動
•您具有處理數(shù)據(jù)管道的DevOps問題的經(jīng)驗(yàn)
•對數(shù)據(jù)驅(qū)動業(yè)務(wù),關(guān)鍵思想家,問題解決者和自我啟動者的熱情
•獲得認(rèn)可大學(xué)的相關(guān)學(xué)科的學(xué)士學(xué)位
數(shù)據(jù)采集工程師崗位職責(zé) 篇14
崗位職責(zé):
深入研究業(yè)內(nèi)領(lǐng)先的技術(shù)思路,輸出具有創(chuàng)新價值的預(yù)研項(xiàng)目可行性分析報(bào)告以及相關(guān)實(shí)驗(yàn)數(shù)據(jù);
負(fù)責(zé)產(chǎn)品、銷售、供應(yīng)鏈、電商等公司數(shù)據(jù)的海量挖掘,并建立和優(yōu)化用戶標(biāo)簽、特征模型、產(chǎn)品精準(zhǔn)匹配、異常預(yù)警等;
負(fù)責(zé)大數(shù)據(jù)下傳統(tǒng)機(jī)器學(xué)習(xí)算法的并行化實(shí)現(xiàn)及應(yīng)用,并提出改進(jìn)方法和思路;
參與公司大數(shù)據(jù)架構(gòu),負(fù)責(zé)BI實(shí)施中的數(shù)據(jù)挖掘模塊算法研究、模型建立和優(yōu)化,幫助實(shí)現(xiàn)數(shù)據(jù)挖掘和分析平臺的建設(shè);
負(fù)責(zé)相關(guān)數(shù)據(jù)挖掘項(xiàng)目的需求收集、項(xiàng)目建立、項(xiàng)目設(shè)計(jì)開發(fā)和結(jié)果輸出質(zhì)量把控,通過數(shù)據(jù)挖掘結(jié)果驅(qū)動業(yè)務(wù)執(zhí)行;
配合技術(shù)進(jìn)行數(shù)據(jù)挖掘模型開發(fā)和模型封裝,例如決策規(guī)則模型、預(yù)警模型、流失模型、效果標(biāo)桿模型、客戶生命周期管理模型等;
任職要求:
大學(xué)本科及以上學(xué)歷,統(tǒng)計(jì)學(xué)、計(jì)算機(jī)、信息技術(shù)、數(shù)學(xué)相關(guān)專業(yè);
兩年以上數(shù)據(jù)建模經(jīng)驗(yàn);
數(shù)據(jù)主流數(shù)據(jù)庫,mysql、oracle、DB2等傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)倉庫,熟悉HBase、MongoDB等非結(jié)構(gòu)化數(shù)據(jù)庫;
熟悉常用的聚類、分類、回歸、關(guān)聯(lián)、時間序列等監(jiān)督式和非監(jiān)督式學(xué)習(xí)算法;
熟悉R、Python、MLlib等數(shù)據(jù)挖掘工具中至少一種。
熟悉spark、storm等大數(shù)據(jù)計(jì)算框架者優(yōu)先。
數(shù)據(jù)采集工程師崗位職責(zé) 篇15
1.負(fù)責(zé)公司產(chǎn)品的現(xiàn)場安裝,部署,優(yōu)化;
2.負(fù)責(zé)數(shù)據(jù)庫集群的部署和配置升級;
3.定期進(jìn)行性能檢測、分析、調(diào)優(yōu),數(shù)據(jù)備份、遷移,保障數(shù)據(jù)庫系統(tǒng)高效安全及穩(wěn)定運(yùn)行;
4.負(fù)責(zé)排查數(shù)據(jù)庫故障,分析和解決疑難問題,提出預(yù)防方案。數(shù)據(jù)庫故障處理與災(zāi)難恢復(fù);
5.對開發(fā)工程師的SQL語句進(jìn)行審核,SQL優(yōu)化,及時發(fā)現(xiàn)并處理高負(fù)載SQL;
6.負(fù)責(zé)客戶單位軟件系統(tǒng)的管理和日常維護(hù),;
數(shù)據(jù)采集工程師崗位職責(zé) 篇16
崗位職責(zé):
1.負(fù)責(zé)銜接大數(shù)據(jù)平臺與前端的數(shù)據(jù)傳輸;
2.根據(jù)客戶需求設(shè)計(jì)大數(shù)據(jù)業(yè)務(wù)平臺架構(gòu)、配置組件;
3.負(fù)責(zé)后臺服務(wù)的調(diào)試與測試,梳理接口文檔、開發(fā)文檔與測試文檔。
任職資格:
1.碩士以上,或較為優(yōu)秀的本科生;后端開發(fā)經(jīng)驗(yàn)2年以上;
2.有基于b/s架構(gòu)進(jìn)行實(shí)際業(yè)務(wù)平臺開發(fā)的經(jīng)驗(yàn),有to b軟件開發(fā)經(jīng)驗(yàn)更佳;
3.通用軟件開發(fā)基礎(chǔ)、軟件架構(gòu)基礎(chǔ)、scrum敏捷開發(fā)方法,有大數(shù)據(jù)基礎(chǔ)更佳;
4.精通java或python語言,有rcp框架經(jīng)驗(yàn)更佳;熟練掌握mybatis、springcloud / springboot、node.js等框架,精通sql技術(shù);了解以太網(wǎng)通信協(xié)議,熟悉websocket技術(shù)。熟練使用git,svn等工具;
5.學(xué)習(xí)能力強(qiáng),勇于挑戰(zhàn),代碼質(zhì)量意識強(qiáng),篤信“工程即魔法”。
數(shù)據(jù)采集工程師崗位職責(zé) 篇17
1、MySQL數(shù)據(jù)庫規(guī)劃、設(shè)計(jì)、監(jiān)控維護(hù)、升級、備份、鏡像、容災(zāi);
2、數(shù)據(jù)庫服務(wù)器的安裝部署、性能優(yōu)化、可靠性、容災(zāi)方案制定等;
3、對數(shù)據(jù)庫性能分析與調(diào)優(yōu),排錯,保證數(shù)據(jù)安全;
4、負(fù)責(zé)對開發(fā)工程師的SQL語句進(jìn)行優(yōu)化;
5、配合研發(fā)制定數(shù)據(jù)庫技術(shù)方案,分庫分表策略,現(xiàn)有表結(jié)構(gòu)優(yōu)化,數(shù)據(jù)遷移方案;
6、負(fù)責(zé)Mysql自動化相關(guān)事宜;
數(shù)據(jù)采集工程師崗位職責(zé) 篇18
1、負(fù)責(zé)應(yīng)用平臺維護(hù),保證其有效運(yùn)行;
2、負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)的挖掘、整合以及分析模型的建立、優(yōu)化和評估;為業(yè)務(wù)人員日常工作提供可靠而明確的數(shù)據(jù)支撐;
3、負(fù)責(zé)報(bào)表相關(guān)功能的設(shè)計(jì)、開發(fā)工作,并負(fù)責(zé)報(bào)表優(yōu)化、維護(hù)、數(shù)據(jù)采集;
4、負(fù)責(zé)系統(tǒng)相關(guān)文檔的制定和編寫。
5、有實(shí)際的MY SQL或Oracle等數(shù)據(jù)庫開發(fā)相關(guān)工作經(jīng)歷,具有高級工程師技術(shù)能力;
6、有良好的溝通協(xié)調(diào)能力,能與客戶及項(xiàng)目組同事有效的溝通;
7、能夠獨(dú)立分析客戶需求,并能針對客戶需求編寫需求分析、設(shè)計(jì)等技術(shù)方案;
8、熱愛軟件事業(yè),具有較強(qiáng)的責(zé)任感,有快速掌握新技術(shù)和獨(dú)立解決技術(shù)問題的能力;
數(shù)據(jù)采集工程師崗位職責(zé) 篇19
1.負(fù)責(zé)企業(yè)級數(shù)據(jù)倉庫設(shè)計(jì)、規(guī)劃、建設(shè)、實(shí)施、管理,數(shù)據(jù)倉庫架構(gòu)設(shè)計(jì)與數(shù)據(jù)開發(fā),創(chuàng)建數(shù)據(jù)倉庫、數(shù)據(jù)集市
2.熟悉數(shù)據(jù)倉庫領(lǐng)域知識,從架構(gòu)和技術(shù)層面參與建設(shè)數(shù)據(jù)倉庫,包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理、性能優(yōu)化和調(diào)優(yōu)。
3.負(fù)責(zé)數(shù)據(jù)倉庫平臺相關(guān)數(shù)據(jù)管理工作,如研發(fā)規(guī)范、質(zhì)量規(guī)范、保障規(guī)范的制定與推動實(shí)施落地
4.配合和協(xié)助數(shù)據(jù)分析/數(shù)據(jù)挖掘形成底層/中間層的業(yè)務(wù)邏輯切片
數(shù)據(jù)采集工程師崗位職責(zé) 篇20
1、負(fù)責(zé)產(chǎn)品數(shù)據(jù)庫研發(fā),參與系統(tǒng)整體架構(gòu)設(shè)計(jì);
2、根據(jù)產(chǎn)品目標(biāo)負(fù)責(zé)相關(guān)業(yè)務(wù)的數(shù)據(jù)分析、建模、設(shè)計(jì)評審,跟進(jìn)產(chǎn)品過程中數(shù)據(jù)庫設(shè)計(jì);
3、負(fù)責(zé)產(chǎn)品模塊的數(shù)據(jù)層分析、設(shè)計(jì)、編碼、測試;
4、能夠獨(dú)立完成產(chǎn)品數(shù)據(jù)層開發(fā)任務(wù),負(fù)責(zé)各類數(shù)據(jù)接口開發(fā);
5、負(fù)責(zé)各類型數(shù)據(jù)操作處理和兼容問題;數(shù)據(jù)庫復(fù)雜SQL開發(fā)和調(diào)優(yōu)。
數(shù)據(jù)采集工程師崗位職責(zé) 篇21
職責(zé)描述:
1、負(fù)責(zé)poi數(shù)據(jù)的屬性分析、處理和關(guān)系挖掘,構(gòu)建地圖領(lǐng)域的知識圖譜。
2、負(fù)責(zé)nlp、數(shù)據(jù)挖掘、深度學(xué)習(xí)等方向的前沿算法研發(fā),并結(jié)合地圖場景優(yōu)化。
任職要求:
1、計(jì)算機(jī)、數(shù)學(xué)或相關(guān)專業(yè),三年以上工作經(jīng)驗(yàn)。
2、熟悉數(shù)據(jù)結(jié)構(gòu)和算法設(shè)計(jì),熟練使用c++、python。
3、熟悉nlp、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘領(lǐng)域的常用算法與工具,對前沿技術(shù)保持熱情。
4、良好的.分析和解決問題能力,能獨(dú)立承擔(dān)研發(fā)工作。
5、有地圖數(shù)據(jù)優(yōu)化工作背景優(yōu)先。
團(tuán)隊(duì)介紹
主要支持北京崗位
對地圖(無人駕駛)、廣告(廣點(diǎn)通)、快報(bào)感興趣的歡迎勾搭
數(shù)據(jù)采集工程師崗位職責(zé) 篇22
崗位職責(zé):
1.從事數(shù)學(xué)建模及數(shù)據(jù)挖掘應(yīng)用方法研究;
2.與開發(fā)部門配合實(shí)現(xiàn)相應(yīng)的數(shù)據(jù)分析模塊的開發(fā);
3.制定公司數(shù)據(jù)可管理體系,建產(chǎn)研究用數(shù)據(jù)平臺。
任職要求:
1.應(yīng)用數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)等專業(yè)碩士以上學(xué)歷;
2.具備常用機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘相關(guān)知識,會spark;
3.具備一種或多種開發(fā)語言(如scalapython java等)的.程序和算法開發(fā)能力,掌握常用數(shù)據(jù)結(jié)構(gòu)和算法;
4.有視頻、地圖、文本、社交等大數(shù)據(jù)分析能力;
5.有工業(yè)數(shù)據(jù)分析工作經(jīng)驗(yàn)者優(yōu)先。
數(shù)據(jù)采集工程師崗位職責(zé) 篇23
1、學(xué)習(xí)并理解勵步云學(xué)業(yè)務(wù)及系統(tǒng),根據(jù)業(yè)務(wù)部門需求對公司各項(xiàng)業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,出具相關(guān)報(bào)表;
2、進(jìn)行數(shù)據(jù)倉庫設(shè)計(jì)、模型開發(fā)、數(shù)據(jù)質(zhì)量校驗(yàn),報(bào)表開發(fā);
3、進(jìn)行數(shù)據(jù)差異分析,找出統(tǒng)計(jì)口徑、數(shù)據(jù)錯誤、操作錯誤等造成的差異原因;
4、進(jìn)行數(shù)據(jù)查詢優(yōu)化,解決跑數(shù)性能問題。
數(shù)據(jù)采集工程師崗位職責(zé) 篇24
1、對海量業(yè)務(wù)數(shù)據(jù)進(jìn)行分析,并利用算法挖掘用戶行為特征,發(fā)現(xiàn)潛在規(guī)律,建立機(jī)器學(xué)習(xí)算法并優(yōu)化;
2、利用數(shù)據(jù)挖掘技術(shù)分析、預(yù)測用戶的消費(fèi)行為;
3、建立各種業(yè)務(wù)邏輯模型和數(shù)學(xué)模型,幫助公司改善運(yùn)營管理,節(jié)省成本。
任職要求:
1、大學(xué)本科及以上學(xué)歷;
2、統(tǒng)計(jì)學(xué)、會計(jì)學(xué)、數(shù)學(xué)、物理等相關(guān)專業(yè);
3、本科5年以上同崗位工作經(jīng)驗(yàn),研究生3年以上同崗位工作經(jīng)驗(yàn);
4、對統(tǒng)計(jì)學(xué)和數(shù)據(jù)挖掘算法原理有較為深刻的理解,了解數(shù)據(jù)倉庫思想,熟悉SPSS、SAS、R、MAHOUT等數(shù)據(jù)挖掘軟件之一;
5、熟悉決策樹、聚類、邏輯回歸,關(guān)聯(lián)分析、SVM,貝葉斯等數(shù)據(jù)挖掘算法,有海量數(shù)據(jù)挖掘的項(xiàng)目經(jīng)驗(yàn);
6、有用戶行為分析、用戶建模、業(yè)務(wù)建模、數(shù)學(xué)建模經(jīng)驗(yàn)優(yōu)先;
7、良好的邏輯分析能力、分析問題和解決問題的`能力,對數(shù)據(jù)敏感,良好的溝通能力。
數(shù)據(jù)采集工程師崗位職責(zé) 篇25
1、進(jìn)行GIS數(shù)據(jù)建庫和數(shù)據(jù)處理方案的設(shè)計(jì)和實(shí)現(xiàn);
2、運(yùn)用相關(guān)GIS軟件進(jìn)行數(shù)據(jù)空間化處理建庫;
3、進(jìn)行影像識別及處理;
4、進(jìn)行數(shù)據(jù)采集處理建庫項(xiàng)目管理。
數(shù)據(jù)采集工程師崗位職責(zé) 篇26
1. 參加團(tuán)隊(duì)會議與討論,并給予有意義的建議;
2. 協(xié)助后端團(tuán)隊(duì)和架構(gòu)師完成數(shù)據(jù)庫相關(guān)的設(shè)計(jì)與開發(fā);
3. 協(xié)助業(yè)務(wù)部門抓取、分析數(shù)據(jù)。
數(shù)據(jù)采集工程師崗位職責(zé) 篇27
工作職責(zé):
1、運(yùn)用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)方法和技術(shù),深入挖掘和分析海量商業(yè)數(shù)據(jù)
2、包括但不限于風(fēng)控模型、用戶畫像、商家畫像建模、文本分析和商業(yè)預(yù)測等
3、運(yùn)用數(shù)據(jù)挖掘/統(tǒng)計(jì)學(xué)習(xí)的理論和方法,深入挖掘和分析用戶行為,建設(shè)用戶畫像
4、從系統(tǒng)應(yīng)用的角度,利用數(shù)據(jù)挖掘/統(tǒng)計(jì)學(xué)習(xí)的理論和方法解決實(shí)際問題
任職要求
—計(jì)算機(jī)、數(shù)學(xué),統(tǒng)計(jì)學(xué)或人工智能等相關(guān)專業(yè)碩士以上學(xué)歷,5—10年以上或相關(guān)工作經(jīng)歷
—精通1—2種編程語言(Python或Java),熟練掌握常用數(shù)據(jù)結(jié)構(gòu)和算法,具備比較強(qiáng)的'實(shí)戰(zhàn)開發(fā)能力,能帶領(lǐng)團(tuán)隊(duì)共同進(jìn)步。
—具有統(tǒng)計(jì)或數(shù)據(jù)挖掘背景,并對機(jī)器學(xué)習(xí)算法和理論有較深入的研究
—熟悉數(shù)據(jù)挖掘相關(guān)算法(決策樹、SVM、聚類、邏輯回歸、貝葉斯)
—具有良好的學(xué)習(xí)能力、時間和流程意識、溝通能力
—熟悉Spark或hadoop生態(tài)分布式計(jì)算框架
—優(yōu)秀的溝通能力,有創(chuàng)新精神,樂于接受挑戰(zhàn),能承受工作壓力
—有互聯(lián)網(wǎng),央企,政務(wù),金融等領(lǐng)域大規(guī)模數(shù)據(jù)挖掘經(jīng)驗(yàn)者優(yōu)先
數(shù)據(jù)采集工程師崗位職責(zé) 篇28
1、負(fù)責(zé)數(shù)據(jù)接入、數(shù)據(jù)提取、數(shù)據(jù)清洗、底層重構(gòu)、業(yè)務(wù)主題建模等工作;
2、參與數(shù)據(jù)集市開發(fā),用戶畫像標(biāo)簽開發(fā);
3、負(fù)責(zé)接口平臺、自助分析平臺等系統(tǒng)的建設(shè)和維護(hù);
4、針對具體大數(shù)據(jù)應(yīng)用場景,提供有效解決方案,并針對具體模型落地實(shí)施;
數(shù)據(jù)采集工程師崗位職責(zé) 篇29
1.從事GIS數(shù)據(jù)制作、分析、數(shù)據(jù)管理等工作;
2.編寫工作總結(jié)和作業(yè)流程等文件;
3.通過已經(jīng)完成的矢量化成果和表格數(shù)據(jù)庫入庫和檢查工作;
4.利用軟件對圖形和屬性進(jìn)行檢查,并進(jìn)行錯誤修改;
5.其他數(shù)據(jù)制作處理工作。
數(shù)據(jù)采集工程師崗位職責(zé) 篇30
1、3年以上etl開發(fā)經(jīng)驗(yàn),熟悉etl開發(fā)規(guī)范和流程;
2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個,有開發(fā)、維護(hù)經(jīng)驗(yàn);
3、熟練編寫存儲過程,擅長sql優(yōu)化;
4、熟悉oracle、sqlserver等常用數(shù)據(jù)庫中的`一個或多個;
5、熟悉perl、shell腳本,linux操作系統(tǒng);
6、有大型數(shù)據(jù)倉庫、bi相關(guān)項(xiàng)目的開發(fā)經(jīng)驗(yàn),精通架構(gòu)、建模者優(yōu)先;
7、熟練使用erwin或powerdesigner等進(jìn)行數(shù)據(jù)建模;
8、以下經(jīng)驗(yàn)優(yōu)先考慮:流式處理、日志處理、數(shù)據(jù)倉庫全日制本科以上學(xué)歷(985/211),計(jì)算機(jī)科學(xué)與技術(shù)/軟件工程/數(shù)據(jù)相關(guān)專業(yè)
1、3年以上etl開發(fā)經(jīng)驗(yàn),熟悉etl開發(fā)規(guī)范和流程;
2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個,有開發(fā)、維護(hù)經(jīng)驗(yàn);
3、熟練編寫存儲過程,擅長sql優(yōu)化;
4、熟悉oracle、sqlserver等常用數(shù)據(jù)庫中的一個或多個;
5、熟悉perl、shell腳本,linux操作系統(tǒng);
6、有大型數(shù)據(jù)倉庫、bi相關(guān)項(xiàng)目的開發(fā)經(jīng)驗(yàn),精通架構(gòu)、建模者優(yōu)先;
7、熟練使用erwin或powerdesigner等進(jìn)行數(shù)據(jù)建模;
8、以下經(jīng)驗(yàn)優(yōu)先考慮:流式處理、日志處理、數(shù)據(jù)倉庫