大數(shù)據(jù)架構師的主要職責說明(通用30篇)
大數(shù)據(jù)架構師的主要職責說明 篇1
職責:
1、負責大數(shù)據(jù)平臺的技術選型,基于Spark、Hadoop大數(shù)據(jù)平臺建設和開發(fā);
2、完成包括數(shù)據(jù)模型設計、數(shù)據(jù)采集、數(shù)據(jù)存儲等方面的大數(shù)據(jù)系統(tǒng)架構的設計和數(shù)據(jù)層架構設計;
3、構建數(shù)據(jù)中臺,為多種行業(yè)應用提供主數(shù)據(jù)(畫像標簽/關系圖譜)、數(shù)據(jù)模型、人工智能業(yè)務算法及數(shù)據(jù)服務。
4、對海量數(shù)據(jù)處理的業(yè)務需求進行評估和方案設計、拆分任務并指導工程師完成開發(fā);
5、帶領大數(shù)據(jù)技術團隊提供并實現(xiàn)大數(shù)據(jù)平臺上各項數(shù)據(jù)分析和數(shù)據(jù)可視化的架構設計,支撐解決方案實施。
任職要求:
1、本科及以上學歷,具有5年及以上大數(shù)據(jù)架構設計和開發(fā)經驗;2年及以上帶領團隊經驗;溝通能力強。在大型互聯(lián)網企業(yè)從事大數(shù)據(jù)架構設計者優(yōu)先考慮;有分布式大型商業(yè)軟件系統(tǒng)設計經驗、主導過大型商業(yè)軟件的架構設計并取得過市場商業(yè)成功者優(yōu)先考慮;
2、熟悉整個大數(shù)據(jù)的完整處理流程,包括數(shù)據(jù)的采集、清洗、預處理、存儲、分析挖據(jù)、機器學習和數(shù)據(jù)可視化;
3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一種主流數(shù)據(jù)庫的使用,并能進行性能調優(yōu);
4、具備優(yōu)秀的團隊意識和溝通能力,學習能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰(zhàn)。
大數(shù)據(jù)架構師的主要職責說明 篇2
職責:
1. 負責公司大數(shù)據(jù)平臺的設計和開發(fā),負責spark, hadoop, flink等云計算平臺的開發(fā)和優(yōu)化;制定數(shù)據(jù)架構規(guī)范,進行核心代碼編寫,指導團隊落地;
2. 負責數(shù)據(jù)基礎架構和數(shù)據(jù)處理體系的升級和優(yōu)化,技術難題攻關,持續(xù)提升核心系統(tǒng)性能,保證系統(tǒng)的安全、穩(wěn)定、高效運行
3. 設計并實現(xiàn)對BI分析、數(shù)據(jù)產品開發(fā)、算法開發(fā)的系統(tǒng)性支持
4. 研究未來數(shù)據(jù)模型和計算框架的創(chuàng)新與落地,包括但不限于以下領域:大規(guī)模數(shù)據(jù)實時化、研發(fā)模式敏捷化、數(shù)據(jù)計算框架輕量化、數(shù)據(jù)模型組織方式業(yè)務化等方面參與制定并實踐團隊的技術發(fā)展路線
5. 建立良好的公司內外的業(yè)界技術影響力;參與培養(yǎng)未來數(shù)據(jù)人才;有效輔導團隊,提升數(shù)據(jù)研發(fā)能力
任職要求:
1. 有很強的數(shù)據(jù)設計抽象能力,善于從復雜的數(shù)據(jù)問題中找到關鍵路徑,能夠開發(fā)創(chuàng)新而實際的分析方法以解決復雜的商業(yè)問題
2. 有作為技術負責人系統(tǒng)化解決問題的成功案例;有海量數(shù)據(jù)建模實踐經驗優(yōu)先
3. 熟練掌握Hadoop、Spark、Flink、HBase的原理特性以及適用場景,精通流式計算開發(fā),有開源二次開發(fā)經驗者優(yōu)先,有NLP數(shù)據(jù)處理經驗者優(yōu)先
4. 性格積極樂觀,誠信,能自我驅動,有較強的語言表達能力;具備強烈的進取心、求知欲及團隊合作精神;具有良好的溝通、團隊協(xié)作、計劃和創(chuàng)新的能力
5. 本科以上學歷,扎實的計算機專業(yè)基礎,有5年以上大數(shù)據(jù)平臺開發(fā)經驗;
大數(shù)據(jù)架構師的主要職責說明 篇3
職責:
(1) 負責公司大數(shù)據(jù)平臺搭建,相關的設計和技術開發(fā)工作,負責大數(shù)據(jù)存儲系統(tǒng)、分布式計算系統(tǒng)、數(shù)據(jù)集成、挖掘算法等的設計、研發(fā)以及維護、優(yōu)化工作;
(2) 通過數(shù)據(jù)分析技術,挖掘有利于營銷中各業(yè)務場景的變量或規(guī)則類標簽,以提升模型效果,為文旅、教育業(yè)務提供數(shù)學模型理論及編程支撐;
(3) 對接溝通業(yè)務系統(tǒng)研發(fā)團隊和產品部門,提供數(shù)據(jù)驅動方面的專業(yè)咨詢方案,并對業(yè)務的大數(shù)據(jù)應用場景提出建設性意見;
(4) 配合部門領導進行項目需求分析、設計開發(fā)工作。
任職要求:
(1) 計算機、統(tǒng)計學,數(shù)學等相關專業(yè)本科以上學歷,5年以上大數(shù)據(jù)或文旅、教育數(shù)據(jù)產品設計開發(fā)經驗,高效高質量產出需求和技術文檔;
(2) 精通Hadoop,熟悉大數(shù)據(jù)生態(tài)技術,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等,有大規(guī)模集群架構、開發(fā)及運維經驗;熟悉HDFS/MapReduce等;
(3) 熟悉Java,能夠獨立應用python、R、SAS或類似分析工具進行數(shù)據(jù)分析;
(4) 熟悉大數(shù)據(jù)挖掘、可視化分析,各種BI算法和產品等,在計算廣告、搜索引擎、推薦系統(tǒng)、用戶畫像等有一個或多個算法領域的研發(fā)經驗,能夠運用數(shù)據(jù)作為產品解決業(yè)務方運營及決策問題;
(5) 有互聯(lián)網行業(yè)工作經驗者優(yōu)先,有海量數(shù)據(jù)的機器學習算法實踐經驗優(yōu)先;
(6) 工作認真、負責,有良好的團隊合作精神,良好的分析能力、溝通技巧。
大數(shù)據(jù)架構師的主要職責說明 篇4
職責:
1、負責公司大數(shù)據(jù)底層框架的整體架構設計,結合公司實際業(yè)務情況進行技術選型及大數(shù)據(jù)戰(zhàn)略規(guī)劃;
2、負責公司項目的整體評估、設計、架構及關鍵模塊的開發(fā);
3、負責架構優(yōu)化,協(xié)助團隊解決開發(fā)過程中遇到的技術難題;
4、負責新技術的調研和大數(shù)據(jù)相關開源組件的研究,并能在團隊進行推廣應用;
5、參與數(shù)據(jù)分析、數(shù)據(jù)建模、項目核心模塊及核心框架的開發(fā);
6、負責大數(shù)據(jù)平臺的性能條有和問題診斷。
任職要求:
1、計算機相關專業(yè),本科及以上學歷,3-5年以上工作經驗,2-3年大數(shù)據(jù)相關經驗;
2、具有扎實的大數(shù)據(jù)和數(shù)據(jù)倉庫理論功底,負責過大數(shù)據(jù)平臺或數(shù)據(jù)倉庫設計;
3、對基于Hadoop的大數(shù)據(jù)體系有深入的認識,具備相關產品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等)項目應用研發(fā)經驗,有Hadoop集群搭建和管理經驗,度過Hadoop和Spark源碼;
4、熟悉Linux和Python語言,了解Scala原理和底層技術;
5、熟悉分布式系統(tǒng)的架構及對其進行設計和優(yōu)化,對海量數(shù)據(jù)的清晰、分析處理及存儲有相關的實戰(zhàn)經驗;
6、算法基礎扎實,熟悉常見的數(shù)據(jù)結構,深入理解分布式算法和以上提到的分布式系統(tǒng),
7、必須有一線coding的能力;
8、有統(tǒng)計學、數(shù)學知識,海量數(shù)據(jù)處理、分析和挖掘,大型互聯(lián)網公司從業(yè)經歷著優(yōu)先。
大數(shù)據(jù)架構師的主要職責說明 篇5
職責:
1. 負責大數(shù)據(jù)基礎和應用平臺的整體規(guī)劃和架構設計,參與需求分析,架構設計,詳細設計以及技術選型決策
2. 參與數(shù)據(jù)挖掘和建模相關核心算法的代碼實現(xiàn)
3. 負責大數(shù)據(jù)算法平臺的技術把關,性能調優(yōu),控制架構質量,解決項目技術難題;對研發(fā)項目和任務需求進行評估和方案設計、拆分任務并指導工程師完成開發(fā)
4. 帶領團隊提供并實現(xiàn)大數(shù)據(jù)算法平臺上各項數(shù)據(jù)接入、數(shù)據(jù)挖掘分析及數(shù)據(jù)可視化的架構設計與能力,支持解決方案實施
5. 負責數(shù)據(jù)庫設計、應用架構設計、核心技術選型等工作
6. 協(xié)調解決開發(fā)中的技術問題、設計和監(jiān)控運營指標,保障系統(tǒng)穩(wěn)定運行
7. 培養(yǎng),指導有能力的員工,指導工程師進行技術驗證實現(xiàn),核心技術攻關,解決開發(fā)過程中的技術難題
任職要求:
1. 熟悉大數(shù)據(jù)和數(shù)據(jù)倉庫的系統(tǒng)架構設計方法
2. 熟練使用并理解HadoopSpark架構及生態(tài)。(Hadoop,Hive,Hbase,Elasticsearch,Kafka,SparkFlink等)
3. 熟悉分布式系統(tǒng)架構,有分布式實時、離線和機器學習平臺的架構和開發(fā)經驗,具備海量數(shù)據(jù)清洗、分析處理及存儲的實踐經驗
4. 熟練使用JAVA,具有大規(guī)模分布式系統(tǒng)調優(yōu)經驗
5. 熟悉AI相關算法,熟悉機器學習、深度學習。熟悉AI學習開源框架(Tensorflow、PyTorch等)者優(yōu)先;
6. 具備良好的團隊合作精神,對工作充滿激情。
7. 熟悉FusionInsight平臺開發(fā)經驗者優(yōu)先
大數(shù)據(jù)架構師的主要職責說明 篇6
職責:
負責公司大數(shù)據(jù)產品架構的設計與實現(xiàn);
配合大數(shù)據(jù)產品經理完成產品的快速研發(fā)與交付;
負責大數(shù)據(jù)產品架構的持續(xù)優(yōu)化設計;
負責大數(shù)據(jù)產品核心組件設計;
負責大數(shù)據(jù)相關數(shù)據(jù)架構規(guī)劃、數(shù)據(jù)建模、數(shù)據(jù)庫設計以及大數(shù)據(jù)產品研發(fā)工作;
為應用開發(fā)團隊提供技術支撐。
及時向上級反饋工作進度、遇到的問題或者對現(xiàn)有工作的建議等;
完成上級領導交辦的其它各項工作。
任職資格:
985/211本科及以上學歷,3年以上的大數(shù)據(jù)開發(fā)經驗、
2年以上大數(shù)據(jù)架構設計經驗;
豐富的JAVA研發(fā)經驗,精通JAVA,熟悉Python Scala等編程語言;具備深厚的分布式系統(tǒng)或數(shù)據(jù)庫系統(tǒng)的理論基礎,熟悉分布式計算系統(tǒng)的工作機制,具有分布式文件系統(tǒng)、分布式數(shù)據(jù)庫系統(tǒng)、集群存儲系統(tǒng)等架構設計經驗;
熟悉整個大數(shù)據(jù)的完整處理流程(數(shù)據(jù)的采集、清洗、預處理、存儲、分析挖掘、機器學習和數(shù)據(jù)可視化);
精通各種大數(shù)據(jù)相關技術體系:Hadoop、Spark、Storm、ElasticSearch、Kafka;
有數(shù)據(jù)挖掘、機器學習相關應用或研究背景;
溝通能力較好,積極主動意識較強,責任心較強。
具備優(yōu)秀的邏輯思維能力,對解決挑戰(zhàn)性問題充滿熱情,善于解決問題和分析問題;
良好的團隊合作精神,較強的溝通能力和學習能力 ;
大數(shù)據(jù)架構師的主要職責說明 篇7
1、負責大數(shù)據(jù)平臺的架構設計、核心代碼開發(fā)等任務;根據(jù)項目要求編寫相關技術文檔;
2、負責大數(shù)據(jù)平臺的架構評審,代碼評審,上線評審;參與數(shù)據(jù)應用需求、設計、審核和評審;
3、負責核心模塊研發(fā),負責大數(shù)據(jù)平臺的搭建,完成系統(tǒng)調試、集成與實施;
4、負責建立和維護大數(shù)據(jù)平臺技術標準規(guī)范,指導開發(fā)人員編寫代碼;
大數(shù)據(jù)架構師的主要職責說明 篇8
職責
1、負責大數(shù)據(jù)架構設計,包括定義數(shù)據(jù)的存儲、集成(ETL)、應用,支撐業(yè)務運營和數(shù)據(jù)分析類需求實現(xiàn);
2、制定數(shù)據(jù)治理領域的數(shù)據(jù)體系化管理措施,包括元數(shù)據(jù)設計、數(shù)據(jù)標準、數(shù)據(jù)質量、數(shù)據(jù)處理、數(shù)據(jù)安全等工作,確保數(shù)據(jù)可信與安全;
3、基于行業(yè)數(shù)據(jù)積累,滿足業(yè)務的數(shù)據(jù)挖掘需求,實現(xiàn)從數(shù)據(jù)到資產的轉變,根據(jù)目標行業(yè)建立具有前瞻性的數(shù)據(jù)模型;
4、對各產品的數(shù)據(jù)安全負責,主導制定和實施數(shù)據(jù)庫系統(tǒng)安全策略,保證整體方案數(shù)據(jù)安全;
崗位要求
業(yè)務技能要求:
1、深入理解云化、數(shù)據(jù)倉庫,在參與過的系統(tǒng)設計中,必須涉及這兩項關鍵技術;
n2、精通或者熟悉Hadoop體系架構,以及HDFS/HBase/Hive/MapReduce/Spark等技術,了解體系架構各組件的優(yōu)缺點,有直接的產品設計與開發(fā)、部署、調優(yōu)的經驗;
3、精通或熟悉常見RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜索引擎(Solr/ElasticSearch)的使用及開發(fā),了解各數(shù)據(jù)庫優(yōu)缺點, 熟悉與架構設計相關的數(shù)據(jù)存儲、性能調優(yōu)等相關領域知識,有相關項目經驗尤佳;
4、熟悉業(yè)界常用的數(shù)據(jù)采集、集成、數(shù)據(jù)存儲、計算、數(shù)據(jù)模型、數(shù)據(jù)分析的技術方案,具有數(shù)據(jù)分析或數(shù)據(jù)挖掘相關經驗者優(yōu)先;
n5、熟悉數(shù)據(jù)治理相關流程,包括數(shù)據(jù)接入、數(shù)據(jù)處理、數(shù)據(jù)治理、數(shù)據(jù)組織、數(shù)據(jù)服務等。
專業(yè)知識要求:
1、具備數(shù)據(jù)治理的知識與體系方案,包含政策、組織、角色、流程、規(guī)范等,以及規(guī)劃相應的支撐方案。了解業(yè)界的數(shù)據(jù)管理方法論;
2、具備數(shù)據(jù)用例設計和開發(fā)能力。能夠基于業(yè)務相關數(shù)據(jù)進行業(yè)務需求分析和痛點識別,將業(yè)務需求轉化為數(shù)據(jù)的需求,完成數(shù)據(jù)用例的設計和開發(fā);
3、精通海量數(shù)據(jù)(日增量百億)級別數(shù)據(jù)倉庫、數(shù)據(jù)集市的構建流程。熟悉公安、政務、工業(yè)、交通、醫(yī)療等多行業(yè)業(yè)務者優(yōu)先。
大數(shù)據(jù)架構師的主要職責說明 篇9
1、負責公司大數(shù)據(jù)處理框架研發(fā)工作,設計與開發(fā)分布式存儲、數(shù)據(jù)處理與分析架構。
2、負責大數(shù)據(jù)平臺與產品和相關技術的追蹤及研究。
3、負責大數(shù)據(jù)的處理工作,以及業(yè)務數(shù)據(jù)提取、加載、轉換處理流程的開發(fā)和優(yōu)化。
4、利用大數(shù)據(jù)平臺工具對數(shù)據(jù)維護。
5、負責相關項目的技術支持和服務。
6、持續(xù)對系統(tǒng)的技術架構進行改進和優(yōu)化。
大數(shù)據(jù)架構師的主要職責說明 篇10
職責:
1、負責大數(shù)據(jù)平臺及BI系統(tǒng)框架設計、規(guī)劃、技術選型,架構設計并完成系統(tǒng)基礎服務的開發(fā);
2、負責海量埋點規(guī)則、SDK標準化、埋點數(shù)據(jù)采集、處理及存儲,業(yè)務數(shù)據(jù)分布存儲、流式/實時計算等應用層架構搭建及核心代碼實現(xiàn);
3、開發(fā)大數(shù)據(jù)平臺的核心代碼,項目敏捷開發(fā)流程管理,完成系統(tǒng)調試、集成與實施,對每個項目周期技術難題的解決,保證大數(shù)據(jù)產品的上線運行;
4、負責大數(shù)據(jù)平臺的架構優(yōu)化,代碼評審,并根據(jù)業(yè)務需求持續(xù)優(yōu)化數(shù)據(jù)架構,保證產品的可靠性、穩(wěn)定性;
5、指導開發(fā)人員完成數(shù)據(jù)模型規(guī)劃建設,分析模型構建及分析呈現(xiàn),分享技術經驗;
6、有效制定各種突發(fā)性研發(fā)技術故障的應對預案,有清晰的隱患意識;
7、深入研究大數(shù)據(jù)相關技術和產品,跟進業(yè)界先進技術;
【任職要求】
1、統(tǒng)計學、應用數(shù)學或計算機相關專業(yè)大學本科以上學歷;
2、熟悉互聯(lián)網移動端埋點方法(點擊和瀏覽等行為埋點),無埋點方案等,有埋點SDK獨立開發(fā)經驗者優(yōu)選;
3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等,具備實際項目設計及開發(fā)經驗;
4、熟悉數(shù)據(jù)采集、數(shù)據(jù)清洗、分析和建模工作相關技術細節(jié)及流程
5、熟悉Liunx/Unix操作系統(tǒng),能熟練使用shell/perl等腳本語言,熟練掌握java/python/go/C++中一種或多種編程語言
6、具備一定的算法能力,了解機器學習/深度學習算法工具使用,有主流大數(shù)據(jù)計算組件開發(fā)和使用經驗者優(yōu)先
7、熟悉大數(shù)據(jù)可視化工具Tableau/echarts
8、具有較強的執(zhí)行力,高度的責任感、很強的學習、溝通能力,能夠在高壓下高效工作;
大數(shù)據(jù)架構師的主要職責說明 篇11
職責:
根據(jù)大數(shù)據(jù)業(yè)務需求,設計大數(shù)據(jù)方案及架構,實現(xiàn)相關功能;
搭建和維護大數(shù)據(jù)集群,保證集群規(guī)模持續(xù)、穩(wěn)定、高效平穩(wěn)運行;
負責大數(shù)據(jù)業(yè)務的設計和指導具體開發(fā)工作;
負責公司產品研發(fā)過程中的數(shù)據(jù)及存儲設計;
針對數(shù)據(jù)分析工作,能夠完成和指導負責業(yè)務數(shù)據(jù)建模。
職位要求:
計算機、自動化或相關專業(yè)(如統(tǒng)計學、數(shù)學)本科以上學歷,3年以上大數(shù)據(jù)處理相關工作經驗;
精通大數(shù)據(jù)主流框架(如 Hadoop、hive、Spark等);
熟悉 MySQL、NoSQL(MongoDB、Redis)等主流數(shù)據(jù)庫,以及rabbit MQ等隊列技術;
熟悉hadoop/spark生態(tài)的原理、特性且有實戰(zhàn)開發(fā)經驗;
熟悉常用的數(shù)據(jù)挖掘算法優(yōu)先.
大數(shù)據(jù)架構師的主要職責說明 篇12
職責:
1、負責大數(shù)據(jù)平臺架構的規(guī)劃與設計;
2、負責大數(shù)據(jù)平臺技術框架的選型與技術難點攻關;
3、參與企業(yè)級大數(shù)據(jù)產品和應用規(guī)劃;
4、研究跟進大數(shù)據(jù)架構領域新技術并分享;
5、大數(shù)據(jù)處理和分析應用平臺的設計指導。
任職資格:
1、 具備深厚的分布式系統(tǒng)或數(shù)據(jù)庫系統(tǒng)的理論基礎,熟悉分布式計算系統(tǒng)的工作機制,具有分布式文件系統(tǒng)、分布式數(shù)據(jù)庫系統(tǒng)、集群存儲系統(tǒng)等架構設計經驗;
2、熟悉BI平臺架構及相關項目標準,大數(shù)據(jù)解決方案包括Hadoop、Spark、Storm、機器學習等大數(shù)據(jù)平臺解決方案;
3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流數(shù)據(jù)數(shù)據(jù)庫;
4、 精通Linux/Unix環(huán)境,精通J java、scala、python、R中的一種或多種語言;
5、 具備優(yōu)秀的團隊意識和溝通能力,學習能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰(zhàn);
6、大專及以上學歷,3年及以上工作經驗。
大數(shù)據(jù)架構師的主要職責說明 篇13
1、負責大數(shù)據(jù)項目技術架構評估與設計;
2、負責關鍵功能的開發(fā),技術難題的解決,以及輸出代碼的關鍵把控;
3、負責對使用關鍵技術的預研和選型,完成PoC;
4、指導工程師完成開發(fā)工作,并能分享技術經驗。
大數(shù)據(jù)架構師的主要職責說明 篇14
職責:
1.負責企業(yè)數(shù)據(jù)中心建設,設計數(shù)據(jù)邏輯模型和物理模型,并完成相關開發(fā)
2.梳理公司各業(yè)務線常用的指標和維度,統(tǒng)一指標定義口徑
3.根據(jù)數(shù)據(jù)應用開發(fā)和數(shù)據(jù)分析需求,設計數(shù)據(jù)倉庫信息層模型,提高數(shù)據(jù)開發(fā)的效率
4.負責數(shù)據(jù)模型的運營和優(yōu)化,及時響應業(yè)務邏輯變更,保證模型的數(shù)據(jù)質量和穩(wěn)定性
5.負責公司數(shù)據(jù)標簽體系的建設,并推動標簽體系在實際業(yè)務場景中落地
崗位要求:
1.5年以上DW/BI數(shù)據(jù)架構設計、模型設計和性能調優(yōu)等相關經驗
2.有較強的數(shù)據(jù)分析能力,精通數(shù)據(jù)倉庫架構,熟悉Erwin或PowerDesigner建模工具
3.精通一種主流關系數(shù)據(jù)庫(如mysql等),熟悉Hive開發(fā)
4.有電商業(yè)務經驗,元數(shù)據(jù)管理,數(shù)據(jù)質量管理或標簽體系搭建經驗者優(yōu)先
5.優(yōu)秀的協(xié)調溝通與團隊協(xié)作能力,極強的責任心,能承受一定的工作壓力,認同企業(yè)文化和團隊價值
大數(shù)據(jù)架構師的主要職責說明 篇15
職責:
1. 負責設計企業(yè)級大數(shù)據(jù)平臺的整體架構,從技術層面制定清晰的大數(shù)據(jù)產品與系統(tǒng)技術架構,并負責實現(xiàn)關鍵技術和產品。
2. 負責設計具有創(chuàng)新價值的大數(shù)據(jù)底層平臺、大數(shù)據(jù)上層應用系統(tǒng)等,帶領團隊完成有質變的技術解決方案。
3. 負責組織同事研究行內最前沿的技術發(fā)展方向,突破現(xiàn)有的技術難題。
4. 負責研究院對外項目合作協(xié)調與支持,編寫項目建設方案及后期項目建設支持。
任職要求:
1. 碩士及以上學歷,計算機相關專業(yè)。
2. JAVA基礎扎實,不少于8年的一線開發(fā)經驗,精通Spring boot/MyBatis/Restful API的開發(fā)與管理. 熟悉ReactJS/Angular/Vue之一前端開發(fā)技術,熟悉Maven或Ant.,熟悉Python語言開發(fā)加分。
3. 不少于4年大數(shù)據(jù)的直接研發(fā)經驗,精通Hadoop/Spark系統(tǒng),有hands-on的架構設計、性能調優(yōu)、開發(fā)經驗。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive 等系統(tǒng)的開發(fā)經驗。
4. 掌握分布式系統(tǒng)原理,對分布式存儲、流式計算、消息隊列中的一項或多項有深入的理解和認識。
5. 熟悉分布式系統(tǒng)的監(jiān)控、運維、故障恢復,高可用原理和設計理念。
6. 算法基礎扎實,熟悉常見的數(shù)據(jù)結構,掌握大規(guī)模高并發(fā)訪問、大數(shù)據(jù)開發(fā)等處理經驗;熟練的Linux系統(tǒng), 網絡, 內存和存儲等方面知識。
7. 必須要有千萬級別的項目管理經驗,包括但不限于前期需求溝通,建設方案編寫,中期項目實施,進度匯報,后期項目維護。
大數(shù)據(jù)架構師的主要職責說明 篇16
1、正確理解業(yè)務需求,對需求進行工作量評估;
2、參與項目相關的需求、設計、投產手冊等文檔的編寫;
3、根據(jù)進度計劃,完成所承擔功能模塊的`設計、開發(fā)、單元測試、聯(lián)調測試;
4、配合測試組修復代碼缺陷,確保功能實現(xiàn)與代碼質量;
5、負責所承擔功能模塊投產、部署,及上線后的日常維護;
6、完成項目經理或者架構師安排的其他工作;
大數(shù)據(jù)架構師的主要職責說明 篇17
職責:
1、負責面向政府信領域的企業(yè)(不限于)大數(shù)據(jù)平臺、大數(shù)據(jù)應用等系統(tǒng)的架構設計、技術規(guī)劃、技術選型
2、跟進業(yè)界大數(shù)據(jù)技術發(fā)展動態(tài),匹配行業(yè)應用訴求,制定大數(shù)據(jù)策略,提前識別關鍵技術并完成技術驗證;
3、支撐售前完成項目解決方案技術架構的設計及重要客戶的交流;
4、負責指導研發(fā)完成大數(shù)據(jù)產品的開發(fā)
5、帶領團隊進行產品核心技術的創(chuàng)新和積累
崗位要求:
1、熟悉BI和大數(shù)據(jù)領域的解決方案,具備該領域全面的技術積累,包括報表平臺,OLAP引擎和DB,ETL,數(shù)據(jù)倉庫建模和設計,海量分布式數(shù)據(jù)處理分析架構;
2、在大數(shù)據(jù)處理和分析領域具有3年或者以上的技術規(guī)劃、架構設計經驗,并有成功的項目實踐;
3、4年以上Hadoop實戰(zhàn)經驗,熟悉Hadoop底層文件系統(tǒng)及分布式計算框架,具備傳統(tǒng)數(shù)據(jù)倉庫、MPP、Hadoop等混搭平臺架構的設計能力和數(shù)據(jù)建模能力,對大規(guī)模數(shù)據(jù)并行計算、傳輸、處理等有豐富的經驗;
4、有實際應用storm、spark、flume、kafka等項目經驗優(yōu)先;
5、卓越的技術領導力,善于溝通、發(fā)現(xiàn)和解決產品需求階段、開發(fā)階段和測試階段的問題,并能提供合理解決方案,有大中型互聯(lián)網企業(yè)工作背景優(yōu)先。
大數(shù)據(jù)架構師的主要職責說明 篇18
職責
1、負責企業(yè)級大數(shù)據(jù)平臺、數(shù)據(jù)云服務的設計與開發(fā);
2、基于大數(shù)據(jù)生態(tài)圈,支持智慧交通等大數(shù)據(jù)場景應用實現(xiàn);
3、負責公司大數(shù)據(jù)產品的設計、封裝與落地;
4、負責學習大數(shù)據(jù)相關算法研究、實現(xiàn)與應用
任職要求
1、統(tǒng)招本科及以上學歷;2年以上智慧城市建設或交通行業(yè)信息化相關工作經驗,3年以上大數(shù)據(jù)架構設計、開發(fā)經驗;
2、精通大數(shù)據(jù)生態(tài)圈的技術,包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備源碼級問題解決和集群優(yōu)化改造能力;
3、熟悉常用編程語言,包括Java、Python、Scala等;
4、具有很強的技術研發(fā)和創(chuàng)新能力,能有效把握技術發(fā)展方向,有較強的執(zhí)行能力、學習能力、溝通能力、適應能力,責任心強;
大數(shù)據(jù)架構師的主要職責說明 篇19
職責:
1.參與公司數(shù)據(jù)平臺系統(tǒng)規(guī)劃和架構工作,主導系統(tǒng)的架構設計和項目實施,確保項目質量和關鍵性能指標達成;
2.統(tǒng)籌和推進制造工廠內部數(shù)據(jù)系統(tǒng)的構建,搭建不同來源數(shù)據(jù)之間的邏輯關系,能夠為公司運營診斷、運營效率提升提供數(shù)據(jù)支持;
3.負責數(shù)據(jù)系統(tǒng)需求對接、各信息化系統(tǒng)數(shù)據(jù)對接、軟件供應商管理工作
5.根據(jù)現(xiàn)狀制定總體的數(shù)據(jù)治理方案及數(shù)據(jù)體系建立,包括數(shù)據(jù)采集、接入、分類、開發(fā)標準和規(guī)范,制定全鏈路數(shù)據(jù)治理方案;深入挖掘公司數(shù)據(jù)業(yè)務,超強的數(shù)據(jù)業(yè)務感知力,挖掘數(shù)據(jù)價值,推動數(shù)據(jù)變現(xiàn)場景的落地,為決策及業(yè)務賦能;
6.定義不同的數(shù)據(jù)應用場景,推動公司的數(shù)據(jù)可視化工作,提升公司數(shù)據(jù)分析效率和數(shù)據(jù)價值轉化。
任職要求:
1.本科以上學歷,8年以上軟件行業(yè)從業(yè)經驗,5年以上大數(shù)據(jù)架構設計經驗,熟悉BI平臺、大數(shù)據(jù)系統(tǒng)相關技術架構及技術標準;
2.熟悉數(shù)據(jù)倉庫、熟悉數(shù)據(jù)集市,了解數(shù)據(jù)挖掘、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)建模相關技術;
3.熟悉大數(shù)據(jù)相關技術:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;
4.熟悉制造企業(yè)信息化系統(tǒng)及相關數(shù)據(jù)庫技術;
5.具備大數(shù)據(jù)平臺、計算存儲平臺、可視化開發(fā)平臺經驗,具有制造企業(yè)大數(shù)據(jù)系統(tǒng)項目開發(fā)或實施經驗優(yōu)先;
6.對數(shù)據(jù)敏感,具備優(yōu)秀的業(yè)務需求分析和報告展示能力,具備制造企業(yè)數(shù)據(jù)分析和數(shù)據(jù)洞察、大數(shù)據(jù)系統(tǒng)的架構設計能力,了解主流的報表工具或新興的前端報表工具;
7.有較強的溝通和組織協(xié)調能力,具備結果導向思維,有相關項目管理經驗優(yōu)先。
大數(shù)據(jù)架構師的主要職責說明 篇20
職責:
1、負責相關開源系統(tǒng)/組件的性能、穩(wěn)定性、可靠性等方面的深度優(yōu)化;
2、負責解決項目上線后生產環(huán)境的各種實際問題,保障大數(shù)據(jù)平臺在生產上的安全、平穩(wěn)運行;
3、推動優(yōu)化跨部門的業(yè)務流程, 參與業(yè)務部門的技術方案設計、評審、指導;
4、負責技術團隊人員培訓、人員成長指導。
5、應項目要求本月辦公地址在錦江區(qū)金石路316號新希望中鼎國際辦公,月底項目結束后在總部公司辦公
任職要求:
1、熟悉linux、JVM底層原理,能作為技術擔當,解決核心技術問題;
2、3年以上大數(shù)據(jù)平臺項目架構或開發(fā)經驗,對大數(shù)據(jù)生態(tài)技術體系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;
3、掌握git、maven、gradle、junit等工具和實踐, 注重文檔管理、注重工程規(guī)范優(yōu)先;
4、熟悉Java后臺開發(fā)體系,具備微服務架構的項目實施經驗,有Dubbo/Spring cloud微服務架構設計經驗優(yōu)先;
5、性格開朗、善于溝通,有極強的技術敏感性和自我驅動學習能力,注重團隊意識。
大數(shù)據(jù)架構師的主要職責說明 篇21
職責:
1、負責大數(shù)據(jù)項目技術架構評估與設計;
2、負責關鍵功能的開發(fā),技術難題的解決,以及輸出代碼的關鍵把控;
3、負責對使用關鍵技術的預研和選型,完成PoC;
4、指導工程師完成開發(fā)工作,并能分享技術經驗。
任職要求:
1、3年以上相關工作經驗,其中具有1年以上架構設計經驗
2、熟悉商業(yè)智能系統(tǒng)相關技術,如 ETL、數(shù)據(jù)倉庫、OLAP開發(fā);
3、精通設計模式,熟悉面向服務架構(SOA)以及其它常用軟件架構思想,有SOA方案設計、開發(fā)實施的實際經驗,要具備實際的服務規(guī)劃、服務粒度劃分經驗;并且要善于設計可重用組件和可定制化產品。
4、相關技術棧:Java /Scala/Flume/Hive/Kafka/HBase/ Spark/Storm/Redis;
5、有扎實的計算機基礎,熟悉Java等編程語言;
大數(shù)據(jù)架構師的主要職責說明 篇22
1.負責大數(shù)據(jù)基礎和應用平臺的整體規(guī)劃和架構設計,參與需求分析,架構設計,詳細設計以及技術選型決策
2.參與數(shù)據(jù)挖掘和建模相關核心算法的代碼實現(xiàn)
3.負責大數(shù)據(jù)算法平臺的技術把關,性能調優(yōu),控制架構質量,解決項目技術難題;對研發(fā)項目和任務需求進行評估和方案設計、拆分任務并指導工程師完成開發(fā)
4.帶領團隊提供并實現(xiàn)大數(shù)據(jù)算法平臺上各項數(shù)據(jù)接入、數(shù)據(jù)挖掘分析及數(shù)據(jù)可視化的架構設計與能力,支持解決方案實施
5.負責數(shù)據(jù)庫設計、應用架構設計、核心技術選型等工作
6.協(xié)調解決開發(fā)中的技術問題、設計和監(jiān)控運營指標,保障系統(tǒng)穩(wěn)定運行
7.培養(yǎng),指導有能力的員工,指導工程師進行技術驗證實現(xiàn),核心技術攻關,解決開發(fā)過程中的技術難題
大數(shù)據(jù)架構師的主要職責說明 篇23
1)負責公司軟件產品整體架構的設計和關鍵功能實現(xiàn)
2)負責公司架構長期看護以及優(yōu)化;
3)負責軟件部門各模組間的協(xié)調配合;
4)提高鞏固軟件代碼質量;
5)負責大數(shù)據(jù)流式框架的設計、優(yōu)化及部署;
6)規(guī)劃研發(fā)部門員工的技術發(fā)展路線并提供必要的幫助和指導
大數(shù)據(jù)架構師的主要職責說明 篇24
職責
1、參與打造數(shù)據(jù)中內容的規(guī)劃、設計、開發(fā)和優(yōu)化工作,實現(xiàn)高質量數(shù)據(jù)的互通與共享;
2、參與數(shù)據(jù)模型體系構建及數(shù)據(jù)主題設計和開發(fā),搭建離線、實時數(shù)據(jù)公共層;
3、參與數(shù)據(jù)產品與應用的數(shù)據(jù)研發(fā),發(fā)掘數(shù)據(jù)商業(yè)價值,打造極致體驗的數(shù)據(jù)產品;
4、深入理解數(shù)據(jù)產品的使用場景,為業(yè)務方在可用性、成本上做更好的設計做參考;
5、團隊成員的搭建與培養(yǎng),任務劃分,進度監(jiān)控,代碼規(guī)范,質量保證。
任職要求
1、熟悉數(shù)據(jù)倉庫建模理論,3年以上相關領域實踐經驗;
2、Hadoop、Hive、Hbase、Storm、Spark等技術框架;
3、精通Java、Python、Scala、go等開發(fā)語言中的1到2種;
4、熟練使用Python/Java/scala或其他語言進行復雜業(yè)務邏輯的數(shù)據(jù)處理工作,具備海量數(shù)據(jù)處理以及性能優(yōu)化的能力;
5、對MySQL、Redis、HBase等數(shù)據(jù)庫有一定的了解和使用經驗;
6、對olap,多維分析及kylin熟悉的更好;
7、思路清晰,具備良好的溝通能力和理解能力,較強的學習能力以及快速解決問題的能力;
8、對新技術,新事物有很好的探索和求知欲;
9、熟悉常規(guī)的機器學習算法:降維(PCA、SVD)、SVM、邏輯回歸(LogisticsRegression)、決策樹(GBDT、RandomForest)、關聯(lián)規(guī)則(Apriori、FP-Growth)、聚類(K-Means)等優(yōu)先。
大數(shù)據(jù)架構師的主要職責說明 篇25
職責:
1、負責規(guī)劃科技大數(shù)據(jù)平臺及科技數(shù)據(jù)入庫自動化的方案設計;
2、負責大數(shù)據(jù)平臺的開發(fā)和維護,以及對外服務接口的開發(fā);
3、負責大數(shù)據(jù)平臺的優(yōu)化和改進工作。
任職要求
1、計算機相關專業(yè)本科及以上學歷,5年以上開發(fā)經驗,其中3年以上為互聯(lián)網、大數(shù)據(jù)相關的開發(fā)經驗;
2、熟知Hadoop生態(tài)圈體系,精通Hadoop/Spark/Storm/Kafka中的一項或幾項,深刻理解MapReduce的運行原理和機制,有MPI經驗者尚佳;
3、熟悉Elasticsearch、Redis、Hbased等相關數(shù)據(jù)庫的構建和操作,尤其是數(shù)據(jù)庫集群的構建和操作,熟悉Neo4j者尚佳;
4、具有機器學習相關項目經驗者優(yōu)先。
大數(shù)據(jù)架構師的主要職責說明 篇26
職責:
1、負責企業(yè)大數(shù)據(jù)平臺的基礎建設、管理及制定拓展規(guī)劃;
2、負責大數(shù)據(jù)平臺相關自動化服務工具的設計、開發(fā);
3、參與Hadoop、Hbase、Spark等核心平臺組件的開發(fā)、優(yōu)化;
4、對平臺特殊場景化的數(shù)據(jù)應用制定相關實踐方案;
5、大數(shù)據(jù)團隊的搭建。
任職資格:
1、統(tǒng)招本科以上學歷,計算機等相關專業(yè),5年以上工作經驗;
2、具有Hadoop等大規(guī)模集群管理經驗、海量(PB)數(shù)據(jù)處理經驗;
3、精通Hadoop、Hive、Hbase等離線平臺相關組件的原理機制;
4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系統(tǒng);
5、熟悉高并發(fā)、分布式開發(fā)等相關知識,具有后端服務優(yōu)化相關經驗;
6、熟悉爬蟲常用框架以及反爬技術;
7、具有良好的溝通能力、分析問題與攻關問題的能力;
8、有責任心,工作積極,對新領域新技術有熱情。
大數(shù)據(jù)架構師的主要職責說明 篇27
1.負責大數(shù)據(jù)平臺的基礎技術規(guī)劃,編制相關規(guī)范文檔。
2.負責大數(shù)據(jù)平臺的數(shù)據(jù)采集,處理,存儲以及挖掘分析的架構實現(xiàn)。
3.負責大數(shù)據(jù)平臺的實際規(guī)劃建設,包括環(huán)境和框架的規(guī)劃搭建以及部分核心編碼工作。
4.負責大數(shù)據(jù)相關技術發(fā)展方向的預研。
5.參與業(yè)務需求調研,根據(jù)需求及行業(yè)特點設計大數(shù)據(jù)解決方案并跟進具體實施項目。
6.制定大數(shù)據(jù)平臺中數(shù)據(jù)質量,業(yè)務質量監(jiān)控及管理辦法。
大數(shù)據(jù)架構師的主要職責說明 篇28
1、基于公司大數(shù)據(jù)基礎和數(shù)據(jù)資產積累,負責大數(shù)據(jù)應用整體技術架構的設計、優(yōu)化,建設大數(shù)據(jù)能力開放平臺;負責大數(shù)據(jù)應用產品的架構設計、技術把控工作。
2、負責制定大數(shù)據(jù)應用系統(tǒng)的數(shù)據(jù)安全管控體系和數(shù)據(jù)使用規(guī)范。
3、作為大數(shù)據(jù)技術方案到產品實現(xiàn)的技術負責人,負責關鍵技術點攻堅工作,負責內部技術推廣、培訓及知識轉移工作。
4、負責大數(shù)據(jù)系統(tǒng)研發(fā)項目任務規(guī)劃、整體進度、風險把控,有效協(xié)同團隊成員并組織跨團隊技術協(xié)作,保證項目質量與進度。
5、負責提升產品技術團隊的技術影響力,針對新人、普通開發(fā)人員進行有效輔導,幫助其快速成長。
大數(shù)據(jù)架構師的主要職責說明 篇29
職責:
1. 負責產品級業(yè)務系統(tǒng)架構(如業(yè)務數(shù)據(jù)對象識別,數(shù)據(jù)實體、數(shù)據(jù)屬性分析,數(shù)據(jù)標準、端到端數(shù)據(jù)流等)的設計與優(yōu)化。協(xié)助推動跨領域重大數(shù)據(jù)問題的分析、定位、解決方案設計,從架構設計上保障系統(tǒng)高性能、高可用性、高安全性、高時效性、分布式擴展性,并對系統(tǒng)質量負責。
2.負責云數(shù)據(jù)平臺的架構設計和數(shù)據(jù)處理體系的優(yōu)化,推動云數(shù)據(jù)平臺建設和持續(xù)升級,并制定云數(shù)據(jù)平臺調用約束和規(guī)范。
3. 結合行業(yè)應用的需求負責數(shù)據(jù)流各環(huán)節(jié)上的方案選型,主導云數(shù)據(jù)平臺建設,參與核心代碼編寫、審查;數(shù)據(jù)的統(tǒng)計邏輯回歸算法、實時交互分析;數(shù)據(jù)可視化方案等等的選型、部署、集成融合等等。
4. 對云數(shù)據(jù)平臺的關注業(yè)內技術動態(tài),持續(xù)推動平臺技術架構升級,以滿足公司不同階段的數(shù)據(jù)需求。
任職要求:
1. 熟悉云計算基礎平臺,包括 Linux(Ubuntu/CentOS)和 KVM、OpenStack/K8S 等基礎環(huán)境,熟悉控制、計算、存儲和網絡;
2. 掌握大型分布式系統(tǒng)的技術棧,如:CDN、負載均衡、服務化/異步化、分布式緩存、NoSQL、數(shù)據(jù)庫垂直及水平擴容;熟悉大數(shù)據(jù)應用端到端的相關高性能產品。
3. 精通 Java,Python,Shell 編程語言,精通 SQL、NoSQL 等數(shù)據(jù)庫增刪改查的操作優(yōu)化;
4. PB 級別實戰(zhàn)數(shù)據(jù)平臺和生產環(huán)境的實施、開發(fā)和管理經驗;
5. 熟悉 Docker 等容器的編排封裝,熟悉微服務的開發(fā)和日常調度;
6.計算機、軟件、電子信息及通信等相關專業(yè)本科以上學歷,5 年以上軟件工程開發(fā)經驗,2 年以上大數(shù)據(jù)架構師工作經驗。
大數(shù)據(jù)架構師的主要職責說明 篇30
1.負責企業(yè)數(shù)據(jù)中心建設,設計數(shù)據(jù)邏輯模型和物理模型,并完成相關開發(fā)
2.梳理公司各業(yè)務線常用的指標和維度,統(tǒng)一指標定義口徑
3.根據(jù)數(shù)據(jù)應用開發(fā)和數(shù)據(jù)分析需求,設計數(shù)據(jù)倉庫信息層模型,提高數(shù)據(jù)開發(fā)的效率
4.負責數(shù)據(jù)模型的運營和優(yōu)化,及時響應業(yè)務邏輯變更,保證模型的數(shù)據(jù)質量和穩(wěn)定性
5.負責公司數(shù)據(jù)標簽體系的建設,并推動標簽體系在實際業(yè)務場景中落地