大數據開發(fā)工程師的基本職責（精選20篇）

大數據開發(fā)工程師的基本職責 篇1

　　職責：

　　1.參與大數據平臺搭建以及項目技術架構。

　　2.數據分析，挖掘，模型具體的產品化;

　　3.根據產品需求，分析編寫和制定大數據相關解決方案

　　崗位要求：

　　1、計算機相關專業(yè)本科以上學歷，編程基礎扎實，有2年以上大數據開發(fā)經驗

　　2、熟悉Hadoop生態(tài)和體系架構，熟悉Flink、Spark，Hive等常用開源工具

　　3、熟悉Flume，kakfa，scribe等日志收集體系

　　4、熟悉主流數據庫(Oracle、postgresql、Mysql、Sql Server)中的1種及以上，有較好的SQL性能調優(yōu)經驗

　　5、有數據倉庫ETL經驗者優(yōu)先

　　6、有用戶行為日志采集、海量數據處理、數據建模方面經驗者優(yōu)先

　　7、有持續(xù)學習的能力;喜歡開源軟件，樂于知識分享;對工作認真負責;可以獨立承擔較大工作壓力

大數據開發(fā)工程師的基本職責 篇2

　　職責:

　　1、負責大數據平臺的基礎環(huán)境搭建與性能優(yōu)化，完成平臺的構建與維護、實時流計算平臺、分布式調度、可視化報表等平臺的架構與研發(fā);

　　2、對各種開源框架進行深入的代碼剖析和優(yōu)化;

　　3、參與大數據技術方案評審;

　　4、指導初中級大數據工程師工作;

　　崗位要求:

　　1、計算機相關專業(yè)全日制�？萍耙陨蠈W歷，具有3年或以上的分布式計算平臺研發(fā)工作經驗;

　　2. 對大數據相關組件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架構與底層實現有深入理解，具備相應的定制和研發(fā)能力，尤其需要精通Flink框架;

　　3. 具備構建穩(wěn)定的大數據基礎平臺的能力，具備數據收集、數據清洗、數據倉庫建設、實時流計算等系統(tǒng)研發(fā)經驗;

　　4. 對技術有熱情，有不錯的數據思維和敏感度，有一定的數據分析能力優(yōu)先，對深度學習、機器學習有一定的了解優(yōu)先;

　　5. 工作有計劃性，責任心和執(zhí)行能力強，具備高度的責任心、誠信的工作作風、優(yōu)秀溝通能力及團隊精神。

大數據開發(fā)工程師的基本職責 篇3

　　職責：

　　1、大數據日志分析系統(tǒng)的設計，選型和開發(fā);

　　2、配合各業(yè)務給予數據支持，對產品和運營數據總結和優(yōu)化;

　　3、處理用戶海量數據，提取、分析、歸納用戶屬性，行為等信息，完成分析結果;

　　4、發(fā)現并指出數據異常情況，分析數據合理性;

　　5、公司大數據基礎架構平臺的運維，保障數據平臺服務的穩(wěn)定性和可用性;

　　6、大數據基礎架構平臺的監(jiān)控、資源管理、數據流管理;

　　7、基于數據分析的可預測的云平臺彈性擴展解決方案。

　　任職要求：

　　1、日志分析數據系統(tǒng)實際經驗;

　　2、3年以上互聯網行業(yè)研發(fā)經驗，有使用Hadoop/hive/spark分析海量數據的能力;

　　3、掌握 Hadoop、Flume，Kafka、Zookeeper、HBase、Spark 的安裝與調試;

　　4、熟悉大數據周邊相關的數據庫系統(tǒng)，關系型數據庫和 NoSQL。

　　5、掌握 Linux 操作系統(tǒng)的配置，管理及優(yōu)化，能夠獨立排查及解決操作系統(tǒng)層的各類問題;

　　6、有良好的溝通能力，具備出色的規(guī)劃、執(zhí)行力，強烈的責任感，以及優(yōu)秀的學習能力。

大數據開發(fā)工程師的基本職責 篇4

　　職責：

　　1、數字貨幣領域數據統(tǒng)計分析，負責數字貨幣量化投資策略的設計、管理以及實際投資運作

　　2、與交易員對接，制定切實可行的的策略測試計劃，開展新策略模型的開發(fā)和驗證

　　3、協(xié)助交易員進行交易、風險管理，并對實際交易結果進行量化的績效分析，推動交易自動化

　　4、上級交辦的其他工作

　　任職要求：

　　1、數學/計算機/金融專業(yè)畢業(yè)，有扎實的算法和機器學習的理論基礎

　　2、有量化實盤交易經驗，具備豐富的數學建模經驗及較強的數據處理能力優(yōu)先

　　3、對金融市場的價格波動有獨特理解和深入的量化分析，具備一定對沖策略研究經驗;

　　4、對數字貨幣領域感興趣，結果導向;

　　5、有網頁抓取和爬蟲程序編寫經驗者優(yōu)先。

大數據開發(fā)工程師的基本職責 篇5

　　職責：

　　1、負責數據分析、加工、清理、處理程序的開發(fā);

　　2、負責數據相關平臺的搭建、維護和優(yōu)化;

　　3、負責基于Hadoop/Spark/Hive/kafka等分布式計算平臺實現離線分析、實時分析的計算框架的開發(fā);

　　崗位要求：

　　1、本科學歷須211院校以上，碩士及以上學歷不限院校，計算機軟件及相關專業(yè)

　　2、熟悉Java和Scala語言、熟悉常用設計模式、具有代碼重構意識;

　　3、熟練使用hadoop、hbase、Kafka、hive、spark、presto,熟悉底層框架和實現原理;

　　4、使用Spark Streaming和Spark SQL進行數據處理, 并具有SPARK SQL優(yōu)化經驗;

　　5、需要有至少2年開發(fā)經驗,有flink開發(fā)經驗優(yōu)先;

　　6、學習能力強，喜歡研究新技術，有團隊觀念，具備獨立解決問題的能力。

大數據開發(fā)工程師的基本職責 篇6

　　1、根據公司信息化發(fā)展需要和業(yè)務流程要求，對現有系統(tǒng)進行定制化二次開發(fā)和功能擴展，制定二次開發(fā)方案、計劃并實施，分析并解決開發(fā)過程中的問題;

　　2、自主開發(fā)滿足公司庫存管理系統(tǒng)、訂單報價系統(tǒng)及WIFI系統(tǒng)對接等，負責軟件產品的架構設計、功能模塊設計、數據庫結構設計及核心代碼開發(fā);

　　3、對內部流程系統(tǒng)及自主開發(fā)軟件系統(tǒng)進行維護，保障軟件系統(tǒng)的穩(wěn)定運行;

　　4、負責相關系統(tǒng)的技術支持和內部系統(tǒng)操作培訓;

　　5、完成上級臨時交辦的其他工作。

大數據開發(fā)工程師的基本職責 篇7

　　職責：

　　1、 負責部門團隊技術人員培養(yǎng)，公司各平臺后端功能設計及優(yōu)化;

　　2、 參與項目框架設計、系統(tǒng)分析及流程控制、溝通對接等工作;

　　3、 獨立或者分組進行針對項目需求的功能開發(fā)和優(yōu)化;

　　4、 擁有良好的代碼習慣，要求結構清晰，命名規(guī)范，邏輯性強，代碼冗余率低;

　　5、 根據項目開發(fā)進度和任務分配，開發(fā)相應的應用模塊;

　　6、 根據需要不斷修改完善項目功能，參入核心代碼的編寫;

　　7、 負責核心模塊代碼研發(fā)工作，尤其服務端產品的架構分析、數據庫、算法策略設計及核心研發(fā);

　　8、 確保代碼規(guī)范及代碼質量;

　　9、 遇到關鍵技術難題時，及時進行問題定位、解決方案設計及驅動落實;

　　任職資格：

　　1、 計算機相關專業(yè)本科及以上學歷，3年以上PHP開發(fā)經驗，大廠經驗優(yōu)先;

　　2、 具有抓取開發(fā)經驗、MySQL索引優(yōu)化、查詢優(yōu)化和存儲優(yōu)化經驗、PHP緩存技術、靜態(tài)化設計方面的經驗，要求隨時隨地貫徹最優(yōu)化開發(fā)的思想，所負責的項目須能承擔繁重的訪問壓力;

　　3、 精通PHP/MySQL開發(fā)，精通memcache、squid、redis等緩存技術者優(yōu)先;

　　4、 有大流量并發(fā)網站工作經驗，有創(chuàng)新思維并勇于挑戰(zhàn)新事物;

　　5、 具有大數據量、高訪問量、高并發(fā)網站設計開發(fā)經驗;

　　6、 熟悉掌握HTML、JS 、CSS 等前端技術 ;

　　7、 具備良好的編程習慣，熟練掌握OOP編程和常見設計模式 ;

　　8、 具備團隊開發(fā)經驗，熟練掌握SVN 、Git 等常見工具的使用 ;

　　10、 責任心強，良好的對外溝通和團隊協(xié)作能力，能承受工作壓力。

大數據開發(fā)工程師的基本職責 篇8

　　l 參與數字礦區(qū)系統(tǒng)技術規(guī)劃、功能設計、功能實現，撰寫技術文檔;

　　l 負責數字礦區(qū)系統(tǒng)軟件及模塊功能開發(fā)工作;

　　l 負責數字產品開發(fā);

　　l 完成領導交辦的其他任務。

大數據開發(fā)工程師的基本職責 篇9

　　職責：

　　1、負責根據需求調研結果，進行功能設計、詳細設計;

　　2、負責需求和設計過程中相關文檔的編制;

　　3、負責核心代碼的編碼和單元測試;

　　4、對技術難點進行攻關，并負責知識發(fā)布和知識傳遞。

　　任職要求：

　　1、全日制公立本科以上學歷，計算機相關專業(yè);

　　2、有3年以上基于J2EE B/S結構軟件的開發(fā)經驗;

　　3、熟悉HTML、JavaScript、AJAX等相關WEB技術，熟練掌握JQuery類庫;

　　4、熟悉Servlet、JSP、JavaBean、XML等知識;

　　5、熟悉spring、springMVC、mybatis框架;

　　6、熟悉數據庫開發(fā)，熟悉ORACLE等;

　　7、有良好的學習能力、團隊協(xié)作能力，主動溝通能力;

　　8、愛崗敬業(yè)，服從指揮，認真負責;

大數據開發(fā)工程師的基本職責 篇10

　　職責:

　　1、負責軟件產品的研發(fā)工作;

　　2、負責系統(tǒng)分析、設計以及編碼工作，系統(tǒng)瓶頸分析及解決;

　　3、負責分析并處理系統(tǒng)故障;

　　4、負責系統(tǒng)重構以及新產品的研發(fā)。

　　任職資格:

　　1、計算機或相關專業(yè)本科及以上學歷;

　　2、5年以上J2EE實際項目的編程經驗;

　　3、有MySQL等主流數據庫的實際應用經驗;

　　4、熟悉常用框架，如 struts2、springmvc、spring boot 、hiberante;

　　5、熟悉并熟練掌握多線程，大數據處理方面技術，以及 Dubbo、MQ、緩存等組件;

　　6、熟悉Web前端開發(fā)，熟悉Javascript、Jquery、JSON、Ajax、CSS+DIV、DHTML、XML等頁面處理技術;

　　7、通過SVN進行團隊協(xié)作開發(fā);

　　8、具備良好的溝通能力與獨立工作能力;

　　9、具備較強的學習能力和良好的工作效率。

大數據開發(fā)工程師的基本職責 篇11

　　職責:

　　1. 針對公司的監(jiān)控系統(tǒng)進行二次開發(fā)，可根據后臺數據自研展示系統(tǒng)。

　　2. 負責公司云平臺系統(tǒng)的業(yè)務監(jiān)控及可運維性、穩(wěn)定性、高可用性問題，對云平臺各類故障和事務應急響應，配合廠商排查問題;

　　3. 根據業(yè)務需求，依托開源框架體系，進行運維自動化系統(tǒng)部署平臺整體或者子模塊的開發(fā)、設計、實現;

　　4. 開發(fā)并維護運維自動化腳本，簡化日常工作;

　　5. 負責云計算運維產品的性能調優(yōu);

　　6. 協(xié)助開發(fā)搭建測試平臺，協(xié)助進行設計、驗證測試等工作。

　　任職資格:

　　1. 大學本科以上學歷，計算機相關專業(yè);

　　2. 熟悉Linux/Unix管理和運維以及網絡相關知識，至少2年以上Linux使用經驗，有 Linux 內核參數調優(yōu)經驗者優(yōu)先;

　　3. 精通python、shell或者java均可,至少3年以上的運維自動化開發(fā)經驗，可以靈活運用腳本程序來提高運維的效率;

　　4. 熟悉運維相關的監(jiān)控工具，有使用類似cacti，zabbix的經驗，有對zabbix二次開發(fā)經驗的優(yōu)先考慮;

　　5. 熟悉 openstack 云平臺日常運維操作及 neutron 網絡架構優(yōu)先;

　　6. 熟悉 ElasticSearch、Spark 、Hadoop等大數據平臺運維。

大數據開發(fā)工程師的基本職責 篇12

　　職責：

　　1、高效率高質量地完成WEB頁面和移動APP的制作工作;

　　2、完成復雜的業(yè)務模塊的前端開發(fā);

　　3、對已有功能的日常維護，以及生產問題處理、優(yōu)化工作;

　　4、Web前端表現層及與前后端交互的架構設計和開發(fā);

　　5、與后端程序研發(fā)人員密切配合，高效率高質量地完成頁面及效果的實現工作;

　　6、JavaScript程序模塊開發(fā)，通用類庫、框架編寫;編寫開發(fā)及其他相關的工作流程文檔。

　　任職資格

　　1、兩年以上前端開發(fā)經驗，具備獨立承擔前端開發(fā)任務的能力 ;

　　2、具有兩個以上完整項目的開發(fā)實施經驗，代碼簡潔高效;

　　3、精通掌握HTML、JavaScript、Ajax、CSS、Jquery等Web開發(fā)技術;

　　4、熟練掌握jQuery及常用UI框架，能實現常用的UI交互效果;

　　5、熟練掌握HTML5+CSS3網頁制作技術，熟悉頁面架構和布局以及相關的細節(jié);能夠熟練運用HTML5特性構建移動端的WebApp;

　　6、熟悉W3C標準，熟悉各種瀏覽器差異及兼容性問題的解決;

　　7、具備較強的文檔編寫能力和良好的文檔規(guī)范性;

　　8、良好的語言表達能力、溝通能力、較強的學習能力，主動意識強，較好的團隊合作意識;

　　9、工作態(tài)度認真細致，考慮問題全面深入，有強烈的責任心和敬業(yè)精神。

大數據開發(fā)工程師的基本職責 篇13

　　職責：

　　1.負責ORACLE、SQLSEVER等數據庫的實時數據處理、故障分析出來，性能優(yōu)化等;

　　2.定位和解決數據集群組件性能和高可用問題，協(xié)助數據集群監(jiān)控系統(tǒng)的開發(fā);

　　3.深入探索業(yè)務數據，創(chuàng)造性的思考和發(fā)現問題，能夠提出有效解決方案，協(xié)助新項目的預研和開發(fā)，數據驅動業(yè)務，

　　4.負責公司內外部各數據的接入和清洗處理。

　　任職資格：

　　1、計算機相關專業(yè)，本科及以上學歷，1年以上hadoop開發(fā)經驗，對分布式計算理論有深刻理解。

　　2、熟悉Linux開發(fā)環(huán)境，熟練Java、scala編程，有良好的編碼習慣;

　　3、熟悉Hadoop、HBase、HIVE、Spark、KAFKA等系統(tǒng)相關技術原理與實現;

　　4、熟悉mysql、sql server、oracle開發(fā)環(huán)境，對SQL語句相當熟練，具備sql調優(yōu)能力;

　　5、有大數據運維相關經驗優(yōu)先

　　6、具備良好的溝通能力、學習能力、分析解決問題能力;

　　7、英語熟練優(yōu)先

大數據開發(fā)工程師的基本職責 篇14

　　1. 負責Android平臺的瀏覽器APP開發(fā);

　　2. 在Android手機上設計并開發(fā)應用程序;

　　3. Android平臺框架層的維護以及擴展;

　　4. 負責Android項目的架構設計、方案的制定;

　　5. 根據產品功能需求設計并完成軟件實現;

　　6. 參與產品需求分析并制定技術實施方案。

大數據開發(fā)工程師的基本職責 篇15

　　職責：

　　1、負責公司大數據平臺建設;

　　2、根據業(yè)務需求，制定數據倉庫和數據分析平臺的實施和持續(xù)更新;

　　3、攻克技術難關，保證大數據系統(tǒng)的穩(wěn)定運行;

　　4、完成大數據產品的開發(fā)。

　　職位要求：

　　1、計算機相關專業(yè)全日制�？萍耙陨蠈W歷，大數據相關經驗;

　　2、熟悉Java或Scala語言，熟悉Spark，Hadoop，Kafka，Hive，HBase，ZooKeeper等大數據相關技術;

　　3、精通SQL語句并對Redis，Mongodb等NoSQL數據庫有一定經驗;

　　4、對于高并發(fā)、高穩(wěn)定可用性、性能、大數據處理有過實際項目產品經驗者優(yōu)先;

　　5、責任心強，工作踏實，有團隊協(xié)作精神，溝通能力強者優(yōu)先。

大數據開發(fā)工程師的基本職責 篇16

　　1、配合架構師完成系統(tǒng)設計和工作任務分派;

　　2、負責平臺分布式與高可用的核心模塊設計與實現;

　　3、分析系統(tǒng)所產生的問題，并提出解決方案解決系統(tǒng)問題，以保障系統(tǒng)能夠按照需求正確達成預期效果;

　　4、跟蹤和分析現網平臺，以提高生產系統(tǒng)的健壯性、可復用性;

　　5、指導和幫助組員，以確保產品質量和進度。

大數據開發(fā)工程師的基本職責 篇17

　　職責：

　　1. 負責Web設計的前端開發(fā)工作，使用HTML/CSS/JavaScript開發(fā)PC和Mobile項目;

　　2. 與UI設計師溝通交互、視覺設計的相關問題;

　　3、優(yōu)化產品，為用戶提供更好的視覺操作體驗;

　　4、對具體的產品進行性能優(yōu)化，實現極致的頁面加載、執(zhí)行和渲染時間;

　　5、在理解前端開發(fā)流程的基礎上，結合前端實際建立或優(yōu)化提升工作效率的工具;

　　6、在理解產品業(yè)務的基礎上，提升產品的用戶體驗，技術驅動業(yè)務的發(fā)展;

　　7、關注前端前沿技術研究，通過新技術服務團隊和業(yè)務;

　　崗位要求：

　　1、熟練運用HTML+CSS來制作符合W3C標準的靜態(tài)頁面，兼容各大瀏覽器(IE9+,Chrome,Safari,Firefox,Opera);

　　2、熟練掌握XHTML/HTML5/CSS/JavaScript前端技術，具有2年以上JavaScript編程經驗;

　　3、至少熟練使用一種JS框架(如 jQuery、backbone、angularjs、vue.js、 react)，并有一定的項目經驗;

　　4、至少了解一種前端構建工具(如 fis3、gulp、grunt、web pack);

　　5、至少了解一門后端開發(fā)語言(Java/.NET/PHP/Python/Ruby);

　　6、熟悉Web前端與后端交互數據接口定義，前端Ajax實現Json、XML格式的數據發(fā)送與數據解析;

　　7、具備良好的團隊協(xié)作精神，能利用自身技術能力提升團隊整體研發(fā)效率，提高團隊影響力;

　　8、對前端技術有持續(xù)的熱情，個性樂觀開朗，邏輯性強;

大數據開發(fā)工程師的基本職責 篇18

　　1、軟件的程序設計與代碼編寫。

　　2、有關技術方案、文檔的編寫，軟件單元的測試。

　　3、根據項目具體要求，承擔開發(fā)任務，按計劃完成任務目標。

　　4、配合系統(tǒng)分析人員完成軟件系統(tǒng)以及模塊的需求調研、需求分析。

　　5、完成軟件系統(tǒng)及模塊的編碼。

　　6、協(xié)助測試人員完成軟件系統(tǒng)及模塊的測試。

　　7、負責編制與項目相關的技術文檔。

　　8、根據項目具體要求，承擔大型網站設計與開發(fā)。

　　9、部分軟件功能模塊設計和軟件界面美化。

　　10、協(xié)助測試試人員完成軟件系統(tǒng)及模塊的測試。

大數據開發(fā)工程師的基本職責 篇19

　　職責：

　　1.根據需求和設計，完成后端業(yè)務功能的開發(fā)和單元測試;

　　2.配合測試人員調查測試中發(fā)現的問題，并解決確認的問題;

　　3.協(xié)助調查生產環(huán)境中發(fā)現的問題，并協(xié)助指定修復方案和計劃;

　　4.與其他部門相關人員進行有效的溝通，持續(xù)提高產品開發(fā)質量和效率。

　　任職資格：

　　1. 本科以上學歷，計算機相關專業(yè)畢業(yè)，3年以上Java開發(fā)工作經驗;

　　2. 熟悉Spring MVC, Mybatis等開源框架，熟悉微服務開發(fā)者優(yōu)先;

　　3. 熟練運用MySql、SqlServer、TIDB其中至少一種數據庫;

　　4. 熟悉RPC、Kafka、RabbitMQ、Zookeeper者優(yōu)先;

　　5. 熟悉Unix/Linux系統(tǒng)的常用命令者優(yōu)先;

　　6. 具有責任心和敬業(yè)精神和良好的溝通能力，具備良好的團隊合作精神;

　　7. 具有工業(yè)物聯網、智慧型環(huán)保項目背景者優(yōu)先。

大數據開發(fā)工程師的基本職責 篇20

　　1. 對接券商接口，參與因子開發(fā)等C++任務;

　　2. 輔助高頻策略因子開發(fā);

　　3. 輔助基金交易和基金運營，包括分倉任務的維護和開發(fā)等Python任務;

　　4. 研究和運營數據管理;

　　5. 其他投研交易相關的開發(fā)任務。