數(shù)據(jù)采集工程師崗位職責（通用23篇）

數(shù)據(jù)采集工程師崗位職責 篇1

　　1.嵌入式bootloader，kernel開發(fā)；

　　2.工業(yè)通訊協(xié)議解析等；

　　3.windows/linux平臺網(wǎng)關應用層程序開發(fā)；

　　4.網(wǎng)關產(chǎn)品的軟件功能測試驗證；

　　5.工業(yè)網(wǎng)關產(chǎn)品軟件sdk及l(fā)ibrary開發(fā)。

數(shù)據(jù)采集工程師崗位職責 篇2

　　1.負責工業(yè)設備組網(wǎng)及數(shù)據(jù)采集方案設計；

　　2.負責設計方案所需傳感器、儀表選型，布線圖、數(shù)據(jù)存儲方式、數(shù)據(jù)表等詳細設計；

　　3.負責與設備廠商、數(shù)控系統(tǒng)廠商進行業(yè)務協(xié)議、通信協(xié)議及接口協(xié)調(diào)；

　　4.負責現(xiàn)場數(shù)據(jù)采集相關軟硬件安裝調(diào)試；

　　5.負責和用戶現(xiàn)場對口協(xié)調(diào)、技術指導及現(xiàn)場培訓。

數(shù)據(jù)采集工程師崗位職責 篇3

　　1.數(shù)據(jù)采集系統(tǒng)和分布式爬蟲系統(tǒng)的架構(gòu)設計和開發(fā)

　　2.對接外部數(shù)據(jù)服務商提供的數(shù)據(jù)及資訊服務，實現(xiàn)數(shù)據(jù)的'有效沉淀，建立數(shù)據(jù)服務評估機制

　　3.負責大規(guī)模文本、圖像、視頻數(shù)據(jù)的抓取、抽取，去重、分類，垃圾過濾，質(zhì)量識別等工作

　　4.研究各種目標網(wǎng)站的形態(tài)，互聯(lián)網(wǎng)特征挖掘，發(fā)現(xiàn)它們的特點和規(guī)律

數(shù)據(jù)采集工程師崗位職責 篇4

　　1.負責linux平臺下應用軟件開發(fā)，根據(jù)產(chǎn)品與項目要求，開展模塊設計.編碼等工作；

　　2.負責linux軟件的交叉編譯與移植；

　　3.參與需求分析.軟件設計.開發(fā).調(diào)試以及測試維護全過程；

　　4.負責協(xié)同硬件工程師或第三方方案商完成系統(tǒng)功能模塊的聯(lián)調(diào)及功能對接.接口文文件輸出；

　　5.負責嵌入式系統(tǒng)軟件平臺搭建工作；

數(shù)據(jù)采集工程師崗位職責 篇5

　　崗位職責：

　　業(yè)務數(shù)據(jù)的收集整理和分析;

　　負責公安、交通領域的業(yè)務建模和算法設計;

　　分析項目數(shù)據(jù)需求，完成系統(tǒng)中數(shù)據(jù)分析模塊的設計、實現(xiàn)和測試;

　　設計、構(gòu)建和優(yōu)化基于大數(shù)據(jù)的存儲平臺架構(gòu)，編寫相關技術文檔;

　　設計并實現(xiàn)基于開源項目(Cobar，Spark等)的海量數(shù)據(jù)集成與處理平臺;

　　為其他部門提供數(shù)據(jù)分析支撐。

　　任職資格：

　　計算機相關專業(yè);

　　熟悉數(shù)據(jù)挖掘算法，對分類、聚類、時序、圖等算法有很深了解;

　　熟練掌握Hadoop、Spark生態(tài)系統(tǒng)組件(MR、HBase、Hive、ZooKeeper、Spark SQL、Spark Mlib等)，有相關大數(shù)據(jù)架構(gòu),開發(fā)成功案例;

　　熟練的使用、開發(fā)ETL工具經(jīng)驗，有數(shù)據(jù)庫建模ER建模經(jīng)驗優(yōu)先;

　　有海量數(shù)據(jù)BI或數(shù)據(jù)挖掘項目實施和管理經(jīng)驗，對數(shù)據(jù)挖掘理論方法有一定了解者優(yōu)先;

　　熟悉的Bash Shell和Python等腳本編程能力;

　　強烈的責任心和工作熱情，良好的團隊合作精神。

數(shù)據(jù)采集工程師崗位職責 篇6

　　崗位職責:

　　1.從事數(shù)學建模及數(shù)據(jù)挖掘應用方法研究;

　　2.與開發(fā)部門配合實現(xiàn)相應的數(shù)據(jù)分析模塊的開發(fā);

　　3.制定公司數(shù)據(jù)可管理體系,建產(chǎn)研究用數(shù)據(jù)平臺。

　　任職要求:

　　1.應用數(shù)學、統(tǒng)計學、計算機等專業(yè)碩士以上學歷;

　　2.具備常用機器學習、數(shù)據(jù)挖掘相關知識,會spark;

　　3.具備一種或多種開發(fā)語言(如scalapython java等)的.程序和算法開發(fā)能力,掌握常用數(shù)據(jù)結(jié)構(gòu)和算法;

　　4.有視頻、地圖、文本、社交等大數(shù)據(jù)分析能力;

　　5.有工業(yè)數(shù)據(jù)分析工作經(jīng)驗者優(yōu)先。

數(shù)據(jù)采集工程師崗位職責 篇7

　　1、負責生產(chǎn)環(huán)境Mysql數(shù)據(jù)庫系統(tǒng)高可用、高性能架構(gòu)方案，分庫分表策略，數(shù)據(jù)庫擴展方案;

　　2、排查數(shù)據(jù)庫故障，分析和解決疑難問題，提出預防方案;

　　3、制定數(shù)據(jù)庫監(jiān)控策略、備份策略、容災策略，探查系統(tǒng)潛在的問題和可能的性能瓶頸并進行優(yōu)化;

　　4、對開發(fā)工程師的SQL語句進行審核及SQL優(yōu)化;

　　5、負責redis、memcache等非關系數(shù)據(jù)庫的管理和擴展，能夠根據(jù)業(yè)務需求完成系統(tǒng)設計、架構(gòu)設計工作;

　　6、參與前瞻性新技術研究，解決數(shù)據(jù)庫相關疑難問題。

數(shù)據(jù)采集工程師崗位職責 篇8

　　1.高質(zhì)量地完成集團內(nèi)外各類數(shù)據(jù)生產(chǎn)集成、數(shù)據(jù)分析應用建設工作，涉及投研、市場、ERP、全球金融資訊等四個業(yè)務領域方向;

　　2.需求及源系統(tǒng)數(shù)據(jù)分析，完成數(shù)據(jù)倉庫/EDM等系統(tǒng)數(shù)據(jù)模型及應用模型設計、數(shù)據(jù)Mapping規(guī)則文檔撰寫、開發(fā)、自測及上線部署;

　　3. 數(shù)據(jù)質(zhì)量稽核、問題分析及處理,優(yōu)化數(shù)據(jù)處理程序;

　　4. 洞察數(shù)據(jù)、滿足業(yè)務場景需求。

數(shù)據(jù)采集工程師崗位職責 篇9

　　1、3年以上etl開發(fā)經(jīng)驗，熟悉etl開發(fā)規(guī)范和流程；

　　2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個，有開發(fā)、維護經(jīng)驗；

　　3、熟練編寫存儲過程，擅長sql優(yōu)化；

　　4、熟悉oracle、sqlserver等常用數(shù)據(jù)庫中的`一個或多個；

　　5、熟悉perl、shell腳本，linux操作系統(tǒng)；

　　6、有大型數(shù)據(jù)倉庫、bi相關項目的開發(fā)經(jīng)驗，精通架構(gòu)、建模者優(yōu)先；

　　7、熟練使用erwin或powerdesigner等進行數(shù)據(jù)建模；

　　8、以下經(jīng)驗優(yōu)先考慮：流式處理、日志處理、數(shù)據(jù)倉庫全日制本科以上學歷（985/211），計算機科學與技術/軟件工程/數(shù)據(jù)相關專業(yè)

　　1、3年以上etl開發(fā)經(jīng)驗，熟悉etl開發(fā)規(guī)范和流程；

　　2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個，有開發(fā)、維護經(jīng)驗；

　　3、熟練編寫存儲過程，擅長sql優(yōu)化；

　　4、熟悉oracle、sqlserver等常用數(shù)據(jù)庫中的一個或多個；

　　5、熟悉perl、shell腳本，linux操作系統(tǒng)；

　　6、有大型數(shù)據(jù)倉庫、bi相關項目的開發(fā)經(jīng)驗，精通架構(gòu)、建模者優(yōu)先；

　　7、熟練使用erwin或powerdesigner等進行數(shù)據(jù)建模；

　　8、以下經(jīng)驗優(yōu)先考慮：流式處理、日志處理、數(shù)據(jù)倉庫

數(shù)據(jù)采集工程師崗位職責 篇10

　　1、針對具體的業(yè)務場景需求、定義數(shù)據(jù)分析及挖掘問題;

　　2、使用統(tǒng)計學分析方法、挖掘算法、構(gòu)建有效且通用的數(shù)據(jù)分析模型，對數(shù)據(jù)挖掘方案進行驗證、開發(fā)、改進和優(yōu)化，實現(xiàn)數(shù)據(jù)挖掘的功能應用;

　　3、搭建高擴展高性能的數(shù)據(jù)分析模型庫，作為數(shù)據(jù)分析團隊的基礎工具;

　　4、完成領導安排的其他工作。

數(shù)據(jù)采集工程師崗位職責 篇11

　　數(shù)據(jù)處理工程師崗位職責

　　數(shù)據(jù)處理工程師1）直接面對客戶，參與項目運作中數(shù)據(jù)處理，了解客戶軟硬件要求；

　　2）參與、協(xié)助數(shù)據(jù)收集和模型建構(gòu)；

　　3）安裝、調(diào)試公司軟件在客戶端上線；

　　4）開發(fā)常用數(shù)據(jù)處理功能，幫助業(yè)務團隊提高工作效率；

　　5）與香港、新加坡和紐約團隊合作，為亞太地區(qū)技術服務提供支持�！び嬎銠C或軟件相關專業(yè)，本科及以上學歷；

　　·掌握兩門以及常見數(shù)據(jù)庫設計開發(fā)技術，mysql、oracle、sqlserver、hive等；

　　·具有參加過etl開發(fā)項目，處理過（大）數(shù)據(jù)經(jīng)驗優(yōu)先；

　　·工作細心、認真負責且善于溝通，能快速理解業(yè)務，對數(shù)據(jù)敏感，并能主導項目的進度，保證團隊產(chǎn)出。1）直接面對客戶，參與項目運作中數(shù)據(jù)處理，了解客戶軟硬件要求；

　　2）參與、協(xié)助數(shù)據(jù)收集和模型建構(gòu)；

　　3）安裝、調(diào)試公司軟件在客戶端上線；

　　4）開發(fā)常用數(shù)據(jù)處理功能，幫助業(yè)務團隊提高工作效率；

　　5）與香港、新加坡和紐約團隊合作，為亞太地區(qū)技術服務提供支持。

數(shù)據(jù)采集工程師崗位職責 篇12

　　職責描述：

　　1、負責文本數(shù)據(jù)處理，如格式轉(zhuǎn)換、分詞處理、實體抽取、專業(yè)詞典整理等；

　　2、自然語言處理相關工具開發(fā)；

　　3、協(xié)助訓練nlp模型。

　　任職要求：

　　1、計算機相關專業(yè)（本科2年以上）；

　　2、精通c/c++或java，熟悉python、bash？shell等腳本語言；

　　3、熟悉正則表達式，了解常用分類、聚類算法及相應工具；

　　4、熟悉使用基本分類、聚類算法及相應工具；

　　5、具備nlp相關工作（特別是數(shù)據(jù)處理與分析）經(jīng)驗，了解nlp基本知識；

　　6、其他：耐心、細致；較強的邏輯思維能力；性格踏實穩(wěn)定，抗壓能力強。

數(shù)據(jù)采集工程師崗位職責 篇13

　　1、利用數(shù)據(jù)倉庫建模及相關技術，參與數(shù)據(jù)倉庫模型的設計。

　　2、參與企業(yè)級大數(shù)據(jù)倉庫項目的落地開發(fā)。

　　3、參與企業(yè)級主數(shù)據(jù)管理項目的實施落地。

　　4、利用hadoop生態(tài)相關技術，負責大數(shù)據(jù)中心的'數(shù)據(jù)處理流程，包括數(shù)據(jù)清洗、融合、統(tǒng)計、挖掘等。

數(shù)據(jù)采集工程師崗位職責 篇14

　　1、負責數(shù)據(jù)倉庫的設計、開發(fā)、部署、維護和優(yōu)化;

　　2、參與公司項目數(shù)據(jù)庫架構(gòu)設計,及相關文檔的撰寫;

　　3、協(xié)助開發(fā)完成數(shù)據(jù)庫表的設計以及SQL調(diào)優(yōu),給開發(fā)人員提供SQL調(diào)優(yōu)指導;

　　4、負責數(shù)據(jù)庫技術規(guī)范建設。

數(shù)據(jù)采集工程師崗位職責 篇15

　　1. 參加團隊會議與討論，并給予有意義的建議;

　　2. 協(xié)助后端團隊和架構(gòu)師完成數(shù)據(jù)庫相關的設計與開發(fā);

　　3. 協(xié)助業(yè)務部門抓取、分析數(shù)據(jù)。

數(shù)據(jù)采集工程師崗位職責 篇16

　　1、負責公司與阿里巴巴在新行業(yè)方向(新金融、新零售、國內(nèi)外運營商)的產(chǎn)品研發(fā);

　　2、負責分析挖掘客戶/行業(yè)對大數(shù)據(jù)產(chǎn)品的需求(應用場景)，利用數(shù)據(jù)分析結(jié)論提升客戶業(yè)務能力。例如：文本挖掘，潛在客戶挖掘，用戶畫像，個性化推薦，用能預測等;

　　3、進行大數(shù)據(jù)場景下的數(shù)據(jù)統(tǒng)計、數(shù)據(jù)挖掘、機器學習、深度學習，包括數(shù)據(jù)整理、模型建立、模型應用、評估優(yōu)化等;

　　4、將客戶需求準確轉(zhuǎn)化為可執(zhí)行的數(shù)學模型，針對不同的應用場景，負責編寫數(shù)據(jù)挖掘算法及對其的優(yōu)化;

　　5、基于需求分析/運營支持/商業(yè)報告等成果，抽取典型用戶/客戶/行業(yè)/產(chǎn)品分析模型并與開發(fā)團隊溝通實施方案及構(gòu)建產(chǎn)品原型。

　　崗位要求：

　　1、本科以上學歷，扎實的`機器學習、數(shù)據(jù)挖掘、統(tǒng)計學理論基礎;有統(tǒng)計、應用數(shù)學、金融等相關專業(yè)背景優(yōu)先;

　　2、精通常見機器學習算法(如邏輯回歸、SVM、神經(jīng)網(wǎng)絡、決策樹、貝葉斯等)，有實際建模經(jīng)驗，掌握深度學習算法優(yōu)先;

　　3、具有扎實的計算機操作系統(tǒng)、數(shù)據(jù)結(jié)構(gòu)等編程基礎，精通至少一門編程語言例如JAVA/python/R等;

　　4、熟悉Map-Reduce模型，對Hadoop、Spark、Storm等大規(guī)模數(shù)據(jù)存儲與運算平臺有實踐經(jīng)驗優(yōu)先。

數(shù)據(jù)采集工程師崗位職責 篇17

　　1、負責應用平臺維護，保證其有效運行;

　　2、負責業(yè)務數(shù)據(jù)的挖掘、整合以及分析模型的建立、優(yōu)化和評估;為業(yè)務人員日常工作提供可靠而明確的數(shù)據(jù)支撐;

　　3、負責報表相關功能的設計、開發(fā)工作，并負責報表優(yōu)化、維護、數(shù)據(jù)采集;

　　4、負責系統(tǒng)相關文檔的制定和編寫。

　　5、有實際的MY SQL或Oracle等數(shù)據(jù)庫開發(fā)相關工作經(jīng)歷，具有高級工程師技術能力;

　　6、有良好的溝通協(xié)調(diào)能力，能與客戶及項目組同事有效的溝通;

　　7、能夠獨立分析客戶需求，并能針對客戶需求編寫需求分析、設計等技術方案;

　　8、熱愛軟件事業(yè)，具有較強的責任感,有快速掌握新技術和獨立解決技術問題的能力;

數(shù)據(jù)采集工程師崗位職責 篇18

　　1.負責數(shù)據(jù)分析,數(shù)據(jù)挖掘相關的算法、應用的設計與開發(fā);

　　2.負責公司產(chǎn)品各階段數(shù)據(jù)的整理、分析、挖掘及提交數(shù)據(jù)報告，重點對車輛行為數(shù)據(jù)進行分析和挖掘，利用數(shù)據(jù)分析結(jié)論推動業(yè)務產(chǎn)品的優(yōu)化;

　　3.對海量業(yè)務數(shù)據(jù)進行整合、分析挖掘，挖掘產(chǎn)品以及用戶潛在信息，為營銷、運營及決策提供業(yè)務分析及數(shù)據(jù)支持。

數(shù)據(jù)采集工程師崗位職責 篇19

　　1.依據(jù)項目需求建構(gòu)數(shù)據(jù)萃取與轉(zhuǎn)換流程

　　2.挖掘數(shù)據(jù)特征，進行數(shù)據(jù)和特征融合

　　3.搭建數(shù)學模型，并對模型進行檢驗評估

　　職位要求：

　　1、計算機、數(shù)學、統(tǒng)計、人工智能等相關專業(yè)的碩士或以上學歷;

　　2、二年以上數(shù)據(jù)挖掘、機器學習相關工作經(jīng)驗，熟悉python、spark、pandas、sklearn等數(shù)據(jù)分析工具者優(yōu)先;

　　3、熟練掌握貝葉斯、隨機森林、深度學習等機器學習算法;

　　4、突出的分析問題和解決問題能力，自我驅(qū)動，并且具備較強的學習能力、創(chuàng)新應用能力及溝通協(xié)調(diào)能力，有良好的'團隊合作意識;

　　5、有國際背景或能熟練使用英文溝通者優(yōu)先

數(shù)據(jù)采集工程師崗位職責 篇20

　　1、負責數(shù)據(jù)接入、數(shù)據(jù)提取、數(shù)據(jù)清洗、底層重構(gòu)、業(yè)務主題建模等工作;

　　2、參與數(shù)據(jù)集市開發(fā)，用戶畫像標簽開發(fā);

　　3、負責接口平臺、自助分析平臺等系統(tǒng)的建設和維護;

　　4、針對具體大數(shù)據(jù)應用場景，提供有效解決方案，并針對具體模型落地實施;

數(shù)據(jù)采集工程師崗位職責 篇21

　　•識別，分析和解決計劃支持問題。

　　•與BU利益相關者合作，確定并優(yōu)先考慮數(shù)據(jù)和統(tǒng)計要求，包括要收集的特定數(shù)據(jù)元素。

　　•協(xié)助開發(fā)和實施數(shù)據(jù)庫，數(shù)據(jù)收集系統(tǒng)/工具，數(shù)據(jù)分析以及其他優(yōu)化統(tǒng)計效率和質(zhì)量的策略(包括確定流程改進以更好地滿足業(yè)務需求)。

　　•分析大量數(shù)據(jù)集，提出有見地的業(yè)務建議。

　　•通過查看報告和績效指標來確定和糾正數(shù)據(jù)收集問題，從而確保數(shù)據(jù)的準確性和完整性。

　　•識別，分析，解釋和建模數(shù)據(jù)湖中數(shù)據(jù)的趨勢或模式。

　　•為各種受眾設計和生成準確有效的統(tǒng)計數(shù)據(jù)可視化產(chǎn)品和報告。

　　•通過促進技術和非技術利益相關者之間的溝通，確保技術團隊了解計劃和業(yè)務工作的短期和長期目標

　　•準時交付優(yōu)質(zhì)，易懂，明確的產(chǎn)品。

　　•參與構(gòu)建機器學習策略平臺。

　　•對數(shù)據(jù)驅(qū)動業(yè)務，關鍵思想家，問題解決者和自我啟動者的熱情

　　•促進技術和非技術利益相關者之間交流的能力

　　•出色的書面和口頭交流能力。

數(shù)據(jù)采集工程師崗位職責 篇22

　　崗位職責：

　　1、對通信和金融業(yè)務數(shù)據(jù)進行分析和挖掘，滿足研發(fā)和運營等部門的業(yè)務需求和決策需求;

　　2、能根據(jù)業(yè)務特點選擇最合適的數(shù)據(jù)挖掘算法，并做調(diào)優(yōu);

　　3、支持數(shù)據(jù)分析、挖掘算法平臺的部署和日常運營;

　　4、撰寫分析類報告。

　　任職資格：

　　1、大學本科或本科以上統(tǒng)計學、數(shù)學或其他相關專業(yè)，對數(shù)據(jù)結(jié)構(gòu)熟悉;

　　2、熟練使用python進行數(shù)據(jù)分析、處理、可視化。熟悉numpy/pandas/matplotlib等常用模塊。熟練使用sql,最好用過hive-sql或spark-sql;

　　3、對hadoop/spark有一定了解。能夠簡單使用hadoop系列命令;

　　4、對線性回歸，決策森林，xgboost，評分卡等數(shù)據(jù)挖掘相關算法有一定了解;

　　5、做過web接口調(diào)試，熟悉json者優(yōu)先;

　　6、熟練掌握PPT和EXCEL制作;

　　7、具備良好的學習、溝通與表達能力，具有較強的團隊合作精神，對工作富有熱情，能承受工作壓力;

　　8、有運營商或金融類相關數(shù)據(jù)經(jīng)驗工作優(yōu)先考慮;

　　9、能適應中長期現(xiàn)場出差。

數(shù)據(jù)采集工程師崗位職責 篇23

　　1、參與數(shù)據(jù)倉庫建設，負責數(shù)據(jù)倉庫模型設計；

　　2、開發(fā)高質(zhì)量可擴展的底層數(shù)據(jù)倉庫體系；

　　3、負責數(shù)據(jù)倉庫系統(tǒng)與業(yè)務系統(tǒng)的接口設計和確認工作；

　　4、負責數(shù)據(jù)平臺相關的管理工作，如數(shù)據(jù)研發(fā)規(guī)范、數(shù)據(jù)質(zhì)量及穩(wěn)定性保證等建設；

　　5、參與公司各個業(yè)務線BI、數(shù)據(jù)產(chǎn)品與應用的數(shù)據(jù)研發(fā)，發(fā)覺數(shù)據(jù)潛在價值。