大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選

　　大數(shù)據(jù)開發(fā)工程師負(fù)責(zé)該領(lǐng)域所屬模塊的代碼開發(fā)、調(diào)試與維護(hù)工作，并進(jìn)行技術(shù)沉淀和文檔輸出。下面是第一范文網(wǎng)小編整理的大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選。

　　大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選1

　　職責(zé)：

　　1、負(fù)責(zé)公司項(xiàng)目應(yīng)用監(jiān)測(cè)數(shù)據(jù)，分析軟件大數(shù)據(jù)平臺(tái)的代碼開發(fā);

　　2、負(fù)責(zé)大數(shù)據(jù)體系架構(gòu)設(shè)計(jì)和應(yīng)用產(chǎn)品的研究;

　　3、負(fù)責(zé)大數(shù)據(jù)平臺(tái)及應(yīng)用場(chǎng)景的構(gòu)建、部署、測(cè)試;

　　4、編寫軟件研發(fā)相關(guān)技術(shù)文檔;

　　5、編寫產(chǎn)品研發(fā)相關(guān)任務(wù)單計(jì)劃，階段性代碼、技術(shù)方案和軟件產(chǎn)品及時(shí)提交至配置管理理庫(kù);

　　6、Spark程序的研發(fā)，sqoop腳本開發(fā)和商家用戶行為等離線分析數(shù)據(jù);

　　7、kudu，kylin等技術(shù)調(diào)研，編寫軟件研發(fā)相關(guān)技術(shù)文檔;

　　8、SUNMI數(shù)倉(cāng)設(shè)計(jì)架構(gòu)以及ETL流程開發(fā);

　　9、建立多維度，多體系的用戶標(biāo)簽體系以及用戶行為數(shù)據(jù)庫(kù)。

　　崗位要求 ：

　　1、本科以上學(xué)歷，4年以上?工作經(jīng)驗(yàn)，2年以上Hadoop平臺(tái)的相關(guān)研發(fā)經(jīng)驗(yàn)，具有良好的需求分析，方案設(shè)計(jì)，架構(gòu)設(shè)計(jì)，程序編寫、測(cè)試能力;

　　2、熟悉J2EE或Python平臺(tái)開發(fā)，有良好的Java或Python語(yǔ)言功底;

　　3、了解Linux/Unix操作系統(tǒng)，了解腳本編程(Shell/Python其中一種);

　　4、具備數(shù)據(jù)中心資源管理(YARN)、監(jiān)控(ClouderaManage)、調(diào)度(Azkaban)等系統(tǒng)研發(fā)經(jīng)驗(yàn)者優(yōu)先，具備分布式系統(tǒng)研發(fā)經(jīng)驗(yàn)者優(yōu)先;

　　5、熟悉hadoop以及其?生態(tài)圈系統(tǒng)上的hive、hbase、sqoop、spark、spark-streaming等技

　　術(shù)，懂hadoop源碼者優(yōu)先;

　　6、熟悉Kylin有OLAP平臺(tái)設(shè)計(jì)和開發(fā)經(jīng)驗(yàn)優(yōu)先;

　　7、具有應(yīng)用大數(shù)據(jù)技術(shù)處理TB級(jí)以上數(shù)據(jù)的項(xiàng)目開發(fā)經(jīng)驗(yàn)者優(yōu)先;

　　8、有較清晰的代碼編寫規(guī)范，邏輯性強(qiáng)，工作態(tài)度認(rèn)真，良好溝通能力和團(tuán)隊(duì)合作精神。

　　大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選2

　　職責(zé)：

　　1、 負(fù)責(zé)基于Hadoop/Spark平臺(tái)架構(gòu)的開發(fā)、設(shè)計(jì)和布局 ;

　　2、 完成系統(tǒng)框架的設(shè)計(jì)和核心代碼的編寫;

　　3、 針對(duì)海量的用戶行為數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析與挖掘，不斷提高系統(tǒng)運(yùn)行效率;

　　4、 負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行分析，為項(xiàng)目組提供大數(shù)據(jù)技術(shù)指導(dǎo)及分析手段支撐;

　　5、 負(fù)責(zé)大數(shù)據(jù)平臺(tái)的性能監(jiān)控和持續(xù)優(yōu)化;針對(duì)需求提供大數(shù)據(jù)分析技術(shù)解決方案 ;

　　6、 大數(shù)據(jù)平臺(tái)的運(yùn)維工作，持續(xù)完善大數(shù)據(jù)平臺(tái)，保證穩(wěn)定性、安全性;

　　7、 熟練使用大數(shù)據(jù)ETL數(shù)據(jù)抽取工具;

　　8、領(lǐng)導(dǎo)安排的其他工作。

　　任職資格：

　　1、 3年互聯(lián)網(wǎng)行業(yè)開發(fā)經(jīng)驗(yàn)，計(jì)算機(jī)或相關(guān)專業(yè)本科以上學(xué)歷;

　　2、 精通Hadoop大數(shù)據(jù)平臺(tái)架構(gòu)，具有扎實(shí)的Java/Python等開發(fā)語(yǔ)言;并可以開發(fā)高效可靠的代碼;

　　3、 具有較強(qiáng)的數(shù)據(jù)分析、數(shù)據(jù)挖掘的能力;

　　4、 熟悉spark、Hive、storm等計(jì)算框架者優(yōu)先，對(duì)分布式存儲(chǔ)和計(jì)算原理有較深的理解;

　　5、 嚴(yán)密的數(shù)學(xué)思維、突出的分析和歸納能力、優(yōu)秀的溝通表達(dá)能;

　　6、 個(gè)性開朗，對(duì)技術(shù)鉆研好學(xué)、邏輯思維能力強(qiáng)，溝通能力優(yōu)秀，有團(tuán)隊(duì)合作精神。

　　大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選3

　　職責(zé):

　　1. 負(fù)責(zé)機(jī)票酒店大數(shù)據(jù)項(xiàng)目的評(píng)估、設(shè)計(jì)及關(guān)鍵模塊研發(fā);

　　2. 參與公司大數(shù)據(jù)平臺(tái)及聯(lián)機(jī)分析系統(tǒng)的建設(shè);

　　3. 機(jī)器學(xué)習(xí)算法討論、評(píng)估及算法的最終編碼實(shí)現(xiàn);

　　4. 數(shù)據(jù)平臺(tái)開發(fā)規(guī)范制定，數(shù)據(jù)建模及核心框架研發(fā);

　　任職要求:

　　1. 本科及以上學(xué)歷，計(jì)算機(jī)或數(shù)學(xué)相關(guān)專業(yè)，三年以上相關(guān)工作經(jīng)驗(yàn);

　　2. 掌握J(rèn)ava、Python、Scala等 中的一到兩種語(yǔ)言;

　　3. 熟悉Mongodb、Hive、Hbase、Redis等NoSQL數(shù)據(jù)庫(kù)開發(fā)和調(diào)優(yōu);

　　4. 熟悉數(shù)據(jù)相關(guān)開源框架和工具，如ZooKeeper、Spark、Flink、Impala、Kylin 等;

　　5. 對(duì)數(shù)據(jù)結(jié)構(gòu)和機(jī)器學(xué)習(xí)算法有一定的了解;

　　6. 具有海量數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)分析相關(guān)項(xiàng)目的工作經(jīng)驗(yàn)者優(yōu)先;

　　7. 有機(jī)票酒店等旅游行業(yè)數(shù)據(jù)開發(fā)經(jīng)驗(yàn)者優(yōu)先。

　　大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選4

　　職責(zé)：

　　1.負(fù)責(zé)公司環(huán)保大數(shù)據(jù)平臺(tái)的架構(gòu)與搭建;

　　2.負(fù)責(zé)需求分析，根據(jù)客戶應(yīng)用需求規(guī)劃大數(shù)據(jù)平臺(tái)架構(gòu);

　　3.負(fù)責(zé)將大數(shù)據(jù)平臺(tái)部署至私有服務(wù)器群、私有云或公有云;

　　4.負(fù)責(zé)在企業(yè)內(nèi)部進(jìn)行數(shù)據(jù)平臺(tái)原型開發(fā)與數(shù)據(jù)實(shí)時(shí)交互、存儲(chǔ)性能測(cè)試;

　　5.負(fù)責(zé)與數(shù)據(jù)挖掘算法交互的架構(gòu)設(shè)計(jì)與開發(fā)。

　　任職要求：

　　1.計(jì)算機(jī)相關(guān)專業(yè)，全日制本科以上學(xué)歷;

　　2.具有3年以上大數(shù)據(jù)相關(guān)應(yīng)用開發(fā)經(jīng)驗(yàn)，有Java開發(fā)經(jīng)驗(yàn)更佳;

　　3.至少熟悉一種流行的大數(shù)據(jù)編程框架，如Spark，Storm，F(xiàn)link等;

　　4.熟悉大數(shù)據(jù)生態(tài)圈常用技術(shù)如RocketMQ，Kafka，F(xiàn)lume，Zookeeper等;

　　5.熟悉Hadoop安裝、調(diào)試、發(fā)布配置應(yīng)用，熟悉Linux操作系統(tǒng)更佳;

　　6.至少熟悉TIDB，MySQL，SQLServer其中一種數(shù)據(jù)庫(kù);

　　7.學(xué)習(xí)能力強(qiáng)，對(duì)技術(shù)有熱情，關(guān)注技術(shù)發(fā)展方向;

　　8.具有工業(yè)物聯(lián)網(wǎng)、智慧型環(huán)保項(xiàng)目背景者優(yōu)先。

　　大數(shù)據(jù)開發(fā)工程師的主要職責(zé)精選5

　　職責(zé)：

　　1、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)建設(shè);

　　2、根據(jù)業(yè)務(wù)需求，制定數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)分析平臺(tái)的實(shí)施和持續(xù)更新;

　　3、攻克技術(shù)難關(guān)，保證大數(shù)據(jù)系統(tǒng)的穩(wěn)定運(yùn)行;

　　4、完成大數(shù)據(jù)產(chǎn)品的開發(fā)。

　　職位要求：

　　1、計(jì)算機(jī)相關(guān)專業(yè)全日制�？萍耙陨蠈W(xué)歷，大數(shù)據(jù)相關(guān)經(jīng)驗(yàn);

　　2、熟悉Java或Scala語(yǔ)言，熟悉Spark，Hadoop，Kafka，Hive，HBase，ZooKeeper等大數(shù)據(jù)相關(guān)技術(shù);

　　3、精通SQL語(yǔ)句并對(duì)Redis，Mongodb等NoSQL數(shù)據(jù)庫(kù)有一定經(jīng)驗(yàn);

　　4、對(duì)于高并發(fā)、高穩(wěn)定可用性、性能、大數(shù)據(jù)處理有過(guò)實(shí)際項(xiàng)目產(chǎn)品經(jīng)驗(yàn)者優(yōu)先;

　　5、責(zé)任心強(qiáng)，工作踏實(shí)，有團(tuán)隊(duì)協(xié)作精神，溝通能力強(qiáng)者優(yōu)先。