大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)

　　大數(shù)據(jù)開發(fā)工程師負(fù)責(zé)該領(lǐng)域的業(yè)務(wù)需求討論，完成技術(shù)方案及數(shù)據(jù)開發(fā)。下面是第一范文網(wǎng)小編整理的大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)。

　　大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)1

　　職責(zé):

　　1、負(fù)責(zé)所分管團(tuán)隊的團(tuán)隊建設(shè)和日常管理工作;

　　2、負(fù)責(zé)核心技術(shù)問題攻關(guān)和性能優(yōu)化，持續(xù)維護(hù)和引進(jìn)最新的大數(shù)據(jù)技術(shù)到城市大數(shù)據(jù)平臺中，支撐城市級大數(shù)據(jù)平臺業(yè)務(wù);

　　3、承擔(dān)城市數(shù)據(jù)標(biāo)準(zhǔn)編制和數(shù)據(jù)模型的設(shè)計;

　　4、承擔(dān)項目中數(shù)據(jù)相關(guān)方案設(shè)計及數(shù)據(jù)團(tuán)隊管理;

　　5、參與城市大數(shù)據(jù)項目中數(shù)據(jù)采集、加工過程、分析挖掘模型算法的實施工作。

　　任職資格:

　　1、1年以上數(shù)據(jù)開發(fā)工作經(jīng)驗，熟練使用SQL查詢引擎;

　　2、熟悉Hadoop、Mpp、Oracle等至少一種數(shù)據(jù)倉庫工具

　　3、具備良好的編程語言基礎(chǔ)如：java/python/scala/c++/shell等

　　4、二本以上學(xué)歷，計算機(jī)相關(guān)專業(yè)或者有相關(guān)培訓(xùn)經(jīng)歷者優(yōu)先

　　5、 個人素質(zhì)要求：目光長遠(yuǎn)、態(tài)度誠懇、崗位有穩(wěn)定性，能夠長期培養(yǎng)、具備很強(qiáng)的自學(xué)能力、承壓能力強(qiáng)、接受出差支援項目等工作。對數(shù)據(jù)工作具備濃厚的興趣并有明確職業(yè)規(guī)劃，優(yōu)秀的學(xué)習(xí)能力和團(tuán)隊溝通協(xié)作能力，對新技術(shù)有濃厚興趣并有鉆研精神。

　　大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)2

　　職責(zé)：

　　1、依據(jù)客戶需求完成大數(shù)據(jù)項目的數(shù)據(jù)分析及建模;

　　2、進(jìn)行大數(shù)據(jù)核心算法的編寫;

　　3、參與項目的需求分析、系統(tǒng)設(shè)計、編碼工作;

　　4、參與開發(fā)過程中相關(guān)新技術(shù)的研究和驗證。

　　5.協(xié)助承擔(dān)架構(gòu)性的體系設(shè)計和改造工作，配合制定技術(shù)實施方案，按照總體設(shè)計組織子系統(tǒng)的設(shè)計和開發(fā)。

　　任職要求：

　　1、精通數(shù)據(jù)建模、數(shù)據(jù)體系建設(shè)，具備數(shù)據(jù)倉庫架構(gòu)設(shè)計、模型設(shè)計和處理性能調(diào)優(yōu)等相關(guān)經(jīng)驗;

　　2、具有豐富的基于hadoop體系的數(shù)據(jù)平臺、數(shù)據(jù)倉庫建設(shè)經(jīng)驗，精通基于hadoop源碼的開發(fā)、優(yōu)化改造及成功應(yīng)用案例;

　　3、精通hadoop生態(tài)體系各項技術(shù)，如kafka、flume、hive、impala、hbase、spark等，具有100+節(jié)點hadoop集群的開發(fā)、運(yùn)維經(jīng)驗;

　　4、具有對大型hadoop集群的硬件規(guī)劃能力;

　　大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)3

　　職責(zé)

　　1、負(fù)責(zé)基于hadoop/spark生態(tài)系統(tǒng)、億級別數(shù)據(jù)的全文檢索，搜索引擎的產(chǎn)品研發(fā);

　　2、基于海量用戶行為數(shù)據(jù)和其他數(shù)據(jù)，分析和研究數(shù)據(jù)與實際業(yè)務(wù)的關(guān)聯(lián)關(guān)系，并與實際業(yè)務(wù)應(yīng)用相結(jié)合開發(fā);

　　3、負(fù)責(zé)大數(shù)據(jù)分析需求設(shè)計和開發(fā)，承擔(dān)數(shù)據(jù)抽取、清洗、轉(zhuǎn)化等數(shù)據(jù)處理程序開發(fā)。

　　任職要求：

　　1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技術(shù)及其生態(tài)圈，具備相關(guān)項目開發(fā)經(jīng)驗，有數(shù)據(jù)實時計算項目經(jīng)驗優(yōu)先;

　　2、有搜索引擎全文檢索開發(fā)經(jīng)驗 ，如：elasticsearch、solr;

　　3、熟悉python、R任意一門開發(fā)語言;

　　4、有SAAS，PAAS企業(yè)級應(yīng)用平臺或者互聯(lián)網(wǎng)，金融等大型應(yīng)用平臺開發(fā)經(jīng)驗優(yōu)先考慮;

　　5、 本科及以上學(xué)歷，計算機(jī)/軟件工程/統(tǒng)計學(xué)/數(shù)學(xué)等相關(guān)專業(yè)，互聯(lián)網(wǎng)/金融等行業(yè)3年以上工作經(jīng)驗;

　　6、擁有良好的代碼習(xí)慣，要求結(jié)構(gòu)清晰、命名規(guī)范、邏輯性強(qiáng)、代碼冗余率低，代碼注釋清晰;

　　7、熟悉使用svn，禪道等項目管理工具，有良好的團(tuán)隊協(xié)作開發(fā)經(jīng)驗.

　　大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)4

　　職責(zé)：

　　1、從事Hadoop、Spark、Hbase、hive等分布式大數(shù)據(jù)產(chǎn)品的設(shè)計和開發(fā);

　　2、針對部門大數(shù)據(jù)業(yè)務(wù)進(jìn)行大數(shù)據(jù)分析、挖掘等產(chǎn)品應(yīng)用的開發(fā);

　　3、大數(shù)據(jù)平臺各類數(shù)據(jù)業(yè)務(wù)抽象及模型化;

　　4、參與大數(shù)據(jù)管理平臺的開發(fā)及維護(hù);

　　5、負(fù)責(zé)大數(shù)據(jù)平臺數(shù)據(jù)及相關(guān)的應(yīng)用開發(fā)，調(diào)優(yōu)及維護(hù);

　　6、為項目相關(guān)開發(fā)人員提供大數(shù)據(jù)技術(shù)指導(dǎo)及解決大數(shù)據(jù)平臺應(yīng)用中遇到的技術(shù)難題;

　　7、良好的團(tuán)隊合作與溝通能力。

　　任職要求：

　　1、本科及以上學(xué)歷，2年以上大數(shù)據(jù)應(yīng)用開發(fā)經(jīng)驗;

　　2、具備Java、Python、Scala其中兩種語言的開發(fā)經(jīng)驗;

　　3、了解泛Hadoop大數(shù)據(jù)生態(tài)圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中兩種以上技術(shù)，并有實際的項目開發(fā)經(jīng)驗，有相關(guān)源碼研究者優(yōu)先;

　　4、具備ETL開發(fā)與運(yùn)維能力，有Flume、kettle經(jīng)驗優(yōu)先;

　　5、熟悉大數(shù)據(jù)平臺的搭建過程，熟悉數(shù)據(jù)處理流程，有TB級以上數(shù)據(jù)處理經(jīng)驗優(yōu)先，有實時數(shù)據(jù)處理經(jīng)驗者優(yōu)先;

　　6、熟悉離線和實時數(shù)據(jù)處理流程，熟練使用Spark，F(xiàn)link處理TB級數(shù)據(jù)優(yōu)先;

　　7、熟悉Linux系統(tǒng)環(huán)境，有shell等腳本編寫經(jīng)驗，熟悉Mysql、PostgreSql、Oracle等常用關(guān)系數(shù)據(jù)庫，熟練編寫SQL語句;

　　8、熟悉Yarn,Kubernetes,Azkaban等資源調(diào)度框架者優(yōu)先;

　　9、熟悉Datax的二次開發(fā)，并有實際開發(fā)經(jīng)驗優(yōu)先。

　　大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)5

　　職責(zé)：

　　1、負(fù)責(zé)數(shù)據(jù)分析、加工、清理，相關(guān)處理腳本和程序的開發(fā);

　　2、負(fù)責(zé)開發(fā)大數(shù)據(jù)工具，如報表平臺、多維度分析工具、ETL平臺、調(diào)度平臺的研發(fā);

　　3、負(fù)責(zé)分布式大數(shù)據(jù)平臺應(yīng)用開發(fā)(Hadoop/Spark/Hive/HBase等);

　　4、負(fù)責(zé)大數(shù)據(jù)相關(guān)平臺的維護(hù)、優(yōu)化。

　　任職要求：

　　1、本科及以上學(xué)歷，計算機(jī)相關(guān)專業(yè)，具有5年及以上的大數(shù)據(jù)ETL或數(shù)據(jù)開發(fā)經(jīng)驗，熟悉大數(shù)據(jù)組件的維護(hù)以及調(diào)優(yōu);

　　2、熟練掌握J(rèn)ava或Python編程語言，熟悉大數(shù)據(jù)架構(gòu)體系，熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技術(shù)中的一個或者多個，熟悉Sqoop、DataX等數(shù)據(jù)導(dǎo)入工具;

　　3、能熟練使用Hive、HBase、Spark等加工和處理數(shù)據(jù)，有海量數(shù)據(jù)處理經(jīng)驗;

　　4、有數(shù)據(jù)倉庫開發(fā)經(jīng)驗/BI系統(tǒng)開發(fā)經(jīng)驗優(yōu)先;

　　5、有電商行業(yè)數(shù)據(jù)處理與分析平臺開發(fā)經(jīng)驗者優(yōu)先。