大數(shù)據(jù)架構(gòu)師的基本職責（通用15篇）

大數(shù)據(jù)架構(gòu)師的基本職責 篇1

　　職責：

　　1.負責整個大數(shù)據(jù)平臺架構(gòu)的設計和構(gòu)建;

　　2.負責構(gòu)建大數(shù)據(jù)平臺的數(shù)據(jù)交換、任務調(diào)度等通用平臺;

　　3.制定開發(fā)、測試、實施、維護的標準和規(guī)范，指導和培訓工程師，不斷提升團隊能力。

　　4.參與系統(tǒng)需求分析、架構(gòu)設計、技術(shù)選型、應用設計與開發(fā)以及測試與部署，負責編寫核心部分代碼。

　　5.持續(xù)挑戰(zhàn)新的技術(shù)方向，攻克大數(shù)據(jù)量、高并發(fā)、高可用、可擴展等技術(shù)難點。

　　任職要求：

　　1.3年以上大數(shù)據(jù)架構(gòu)經(jīng)驗，豐富的數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、機器學習項目經(jīng)驗

　　2.大規(guī)模數(shù)據(jù)處理的架構(gòu)和設計實戰(zhàn)經(jīng)驗

　　3.精通Spark、MR，熟練HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等，并具有豐富的大型數(shù)據(jù)平臺工程經(jīng)驗

　　4.深刻理解大數(shù)據(jù)處理(流計算，分布式計算，分布式文件系統(tǒng)，分布式存儲等)相關(guān)技術(shù)和實現(xiàn)方法

　　5.熟悉主數(shù)據(jù)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等企業(yè)數(shù)據(jù)管理相關(guān)的體系和方法，熟練Linux/Unix平臺上的開發(fā)環(huán)境

　　6.本科或以上學歷，計算機軟件或相關(guān)專業(yè)，豐富的java開發(fā)經(jīng)驗和互聯(lián)網(wǎng)背景優(yōu)先。

　　7.具有比較強的問題分析和處理能力，有比較優(yōu)秀的動手能力，熱衷技術(shù)，精益求精

大數(shù)據(jù)架構(gòu)師的基本職責 篇2

　　職責：

　　1、負責大數(shù)據(jù)平臺的架構(gòu)設計、核心代碼開發(fā)等任務;根據(jù)項目要求編寫相關(guān)技術(shù)文檔;

　　2、負責大數(shù)據(jù)平臺的架構(gòu)評審，代碼評審，上線評審;參與數(shù)據(jù)應用需求、設計、審核和評審;

　　3、負責核心模塊研發(fā)，負責大數(shù)據(jù)平臺的搭建，完成系統(tǒng)調(diào)試、集成與實施;

　　4、負責建立和維護大數(shù)據(jù)平臺技術(shù)標準規(guī)范，指導開發(fā)人員編寫代碼;

　　任職要求：

　　1、本科及以上計算機相關(guān)專業(yè)畢業(yè);

　　2、精通離線和實時數(shù)據(jù)處理流程，掌握離線數(shù)據(jù)處理框架hive、impala、spark-sql等，掌握實時數(shù)據(jù)處理常用技術(shù)工具，包括Storm、SparkStreaming等;

　　3、熟悉大數(shù)據(jù)技術(shù)生態(tài)圈，精通大數(shù)據(jù)技術(shù)架構(gòu)，有大數(shù)據(jù)平臺構(gòu)建經(jīng)驗;

　　4、掌握常見數(shù)據(jù)流接入工具，包括Flume、kafka等;

　　5、熟練掌握基本的Linux操作系統(tǒng)和某種腳本語言編程(如Shell等);

　　6、掌握一種或以上實時處理語言，如JAVA、SCALA、PYTHON等，有SCALA經(jīng)驗者優(yōu)先;

　　7、有實際大規(guī)模數(shù)據(jù)(TB級以上)處理經(jīng)驗優(yōu)先;

大數(shù)據(jù)架構(gòu)師的基本職責 篇3

　　職責：

　　1. 深刻理解政府行業(yè)業(yè)務模式，構(gòu)建政府行業(yè)的數(shù)據(jù)模型，制定公司大數(shù)據(jù)技術(shù)發(fā)展路線;

　　2. 對接業(yè)務研究和技術(shù)部門，主動搜集和轉(zhuǎn)化需求，組織數(shù)據(jù)中心業(yè)務開發(fā)，進行數(shù)據(jù)相關(guān)產(chǎn)品需求分析和設計;

　　3. 搭建數(shù)據(jù)倉庫，研發(fā)數(shù)據(jù)庫管理系統(tǒng)，搜集、提取、處理業(yè)務積累的海量數(shù)據(jù)，開展數(shù)據(jù)分析和挖掘;

　　4. 根據(jù)公司戰(zhàn)略和發(fā)展需要，規(guī)劃數(shù)據(jù)中心重點工作和任務;落實部門人員、事務管理，開展跨部門、跨地區(qū)協(xié)作，協(xié)助對外交流與合作。

　　職位要求：

　　1. 5年以上相關(guān)工作經(jīng)驗，有團隊管理和項目管理經(jīng)驗者優(yōu)先;

　　2.了解政府運作機制，掌握財政行業(yè)知識，有電子政務行業(yè)經(jīng)驗者優(yōu)先;

　　3. 熟練掌握使用Java或Python,精通數(shù)據(jù)庫查詢語言如SQL，Oracle等,在機器學習模型和算法方向有應用經(jīng)驗者優(yōu)先;

　　4. 具備數(shù)據(jù)中心產(chǎn)品策劃整體思維，有大數(shù)據(jù)處理、分析、挖掘經(jīng)驗者優(yōu)先;

　　5. 邏輯思維嚴密，具備業(yè)務抽象、分解和標準化的能力，口頭和書面表達優(yōu)秀;

　　6. 有較強的大局意識和良好的團隊合作意識，富有領(lǐng)導力，具備優(yōu)秀的人際交往和溝通能力。

大數(shù)據(jù)架構(gòu)師的基本職責 篇4

　　職責:

　　1、從事電信行業(yè)大數(shù)據(jù)項目相關(guān)業(yè)務調(diào)研、產(chǎn)品標準建設、核心模型設計和優(yōu)化、系統(tǒng)測試等相關(guān)工作

　　2、與數(shù)據(jù)專業(yè)委員會一起研究數(shù)據(jù)建模方案和建模工具，負責產(chǎn)品線產(chǎn)品的數(shù)據(jù)架構(gòu)、數(shù)據(jù)模型設計

　　3、參與研究數(shù)據(jù)庫之間的數(shù)據(jù)轉(zhuǎn)換方式，參與項目中的數(shù)據(jù)移植工作，收集在項目中的數(shù)據(jù)移植經(jīng)驗，優(yōu)化產(chǎn)品的數(shù)據(jù)模型

　　4、負責培訓本部門隊伍的數(shù)據(jù)模型基礎(chǔ)理論工作，建立數(shù)據(jù)模型團隊

　　崗位要求：

　　1、統(tǒng)招本科學歷，3年以上主流數(shù)據(jù)上(DB2、Oracle、SQLServer、Mysql等)ETL設計、開發(fā)經(jīng)驗，具備大型數(shù)據(jù)倉庫邏輯模型和物理模型設計經(jīng)驗，精通SQL，有較好的SQL性能調(diào)優(yōu)經(jīng)驗;

　　2、擁有Python，R等數(shù)學建模工具的使用經(jīng)驗，并具備一定的數(shù)據(jù)處理和建模經(jīng)驗，可以輸出相應的模型分析結(jié)果、模型比較、模型效率以及對模型的理論和判斷依據(jù)方法并對其進行完整的解釋和說明;

　　3、熟悉統(tǒng)計學基本原理，做過實戰(zhàn)的數(shù)據(jù)建模項目;

　　4、有分布式數(shù)據(jù)倉庫建設相關(guān)經(jīng)驗者優(yōu)先，具備電信行業(yè)數(shù)據(jù)倉庫建設相關(guān)經(jīng)驗者優(yōu)先;

大數(shù)據(jù)架構(gòu)師的基本職責 篇5

　　職責：

　　1、負責公司的大數(shù)據(jù)處理框架的研發(fā)設計工作，梳理可實現(xiàn)方案和技術(shù)規(guī)范;

　　2、開發(fā)、完善公司大數(shù)據(jù)平臺;參與公司離線、實時大數(shù)據(jù)處理系統(tǒng)的設計、開發(fā)、測試及多個業(yè)務模塊的自動化集成;

　　3、負責業(yè)務平臺數(shù)據(jù)統(tǒng)計分析模塊的設計與規(guī)劃;

　　4、負責公司產(chǎn)品研發(fā)過程中的數(shù)據(jù)及存儲設計;

　　5、帶領(lǐng)和培養(yǎng)團隊完成組織分解的目標;

　　任職要求：

　　1、統(tǒng)招本科及以上學歷，計算機、軟件工程相關(guān)專業(yè)，至少8年以上工作經(jīng)驗，5年以上大數(shù)據(jù)開發(fā)經(jīng)驗;

　　2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相關(guān)技術(shù)的基礎(chǔ)架構(gòu)

　　3、熟悉數(shù)據(jù)倉庫，數(shù)據(jù)算法，分布式計算技術(shù)理論，具有大數(shù)據(jù)整體系統(tǒng)架構(gòu)設計經(jīng)驗;

　　4、熟悉Linux系統(tǒng)，熟練使用shell/perl/python腳本處理問題;

　　5、對深度學習框架(Tensorflow)和機器學習(svm 隨機深林貝葉斯等)有一定了解的優(yōu)先;

　　6、能夠組織項目開發(fā)組協(xié)同工作，包括團隊溝通、計劃、開發(fā)環(huán)境管理等

大數(shù)據(jù)架構(gòu)師的基本職責 篇6

　　1、建設大數(shù)據(jù)平臺，主要技術(shù)為k8s, docker;

　　2、跟進開源社區(qū)的更新，閱讀文檔，驗證feature;

　　3、閱讀容器生態(tài)圈各組件的開源項目代碼，開發(fā)新功能;

　　4、持續(xù)提升平臺的性能和穩(wěn)定性。

大數(shù)據(jù)架構(gòu)師的基本職責 篇7

　　職責：

　　1、負責大數(shù)據(jù)項目或產(chǎn)品中架構(gòu)設計、數(shù)據(jù)倉庫公共層與應用層建模;

　　2、負責大數(shù)據(jù)項目或產(chǎn)品中業(yè)務需求的需求理解、數(shù)據(jù)指標維度需求梳理、數(shù)據(jù)探查和分析，指導技術(shù)團隊進行工作;

　　3、負責大數(shù)據(jù)項目中的具體技術(shù)管理工作，完成驗收目標。

　　4、發(fā)現(xiàn)并解決數(shù)據(jù)質(zhì)量問題，推動整體數(shù)據(jù)質(zhì)量提升。

　　任職要求：

　　1、計算機相關(guān)專業(yè)，3年以上數(shù)據(jù)研發(fā)與數(shù)據(jù)倉庫相關(guān)開發(fā)經(jīng)驗;

　　2、熟練掌握維度建模方法，有大型數(shù)倉構(gòu)建經(jīng)驗優(yōu)先;

　　3、精通Oracle/DB2/Teradata等主流數(shù)據(jù)庫編程，有較好的SQL性能調(diào)優(yōu)經(jīng)驗;

　　4、扎實的編程基礎(chǔ)和動手能力，精通至少一門編程語言，有大數(shù)據(jù)、分布式開發(fā)經(jīng)驗尤佳;

　　5、有良好溝通協(xié)調(diào)能力，有帶領(lǐng)小團隊或項目管理工作經(jīng)驗;

　　6、具備很強的責任心，做事細致、嚴謹，同時需要具備較強的溝通和學習能力，能快速理解行業(yè)的需求，對農(nóng)業(yè)等行業(yè)數(shù)據(jù)應用有經(jīng)驗者優(yōu)先;

　　7、能夠接受出差。

大數(shù)據(jù)架構(gòu)師的基本職責 篇8

　　職責：

　　1、負責公司大數(shù)據(jù)產(chǎn)品的架構(gòu)設計，包含數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)應用，并完成相關(guān)架構(gòu)設計文檔的撰寫;

　　2、參與規(guī)劃從數(shù)據(jù)源到數(shù)據(jù)應用的整體流程，并參與相關(guān)產(chǎn)品的決策;

　　3、負責解決核心技術(shù)問題，對技術(shù)方案進行決策;

　　4、負責大數(shù)據(jù)研發(fā)團隊建設、人才梯隊培養(yǎng)和技術(shù)團隊管理;

　　5、積極了解業(yè)界發(fā)展，研究與跟蹤大數(shù)據(jù)新技術(shù)發(fā)展方向。

　　任職要求：

　　1、精通GoldenGate For BigData相關(guān)理論，具備大型數(shù)據(jù)利用的生產(chǎn)實戰(zhàn)經(jīng)驗;

　　2、精通數(shù)據(jù)驅(qū)動的理論，設計并生產(chǎn)上線相關(guān)數(shù)據(jù)驅(qū)動的產(chǎn)品;

　　3、精通常用消息中間件的使用，例如kafka/RocketMQ/Apache Pulsar，有解讀相關(guān)源碼者優(yōu)先;

　　4、掌握hadoop、spark生態(tài)體系相關(guān)產(chǎn)品的使用，掌握MapReduce編程或Spark編程;

　　5、了解傳統(tǒng)數(shù)據(jù)倉庫理論及相關(guān)ETL工具，例如kettle/datastage;

　　6、熟悉Oracle、Mongodb、Mysql數(shù)據(jù)庫的使用;

　　7、扎實的Java語言基礎(chǔ)，熟悉Java開發(fā)工具和調(diào)試工具的使用;

　　8、良好的團隊協(xié)作精神，有能力對團隊在軟件設計、實現(xiàn)和測試方面進行指導;

　　9、良好的邏輯分析能力和溝通能力，執(zhí)行力強、對待工作認真嚴謹、責任心強、具備出色的學習能力和團隊合作精神，有一定的推動能力;

　　10、計算機科學、信息技術(shù)或相關(guān)領(lǐng)域本科以上學歷，具有5年以上數(shù)據(jù)平臺項目開發(fā)經(jīng)驗，3年以上的架構(gòu)設計經(jīng)驗，具有大數(shù)據(jù)平臺應用大型項目架構(gòu)設計經(jīng)驗優(yōu)先;

大數(shù)據(jù)架構(gòu)師的基本職責 篇9

　　職責：

　　1、負責大數(shù)據(jù)開發(fā)團隊建設;

　　2、負責行業(yè)大數(shù)據(jù)產(chǎn)品架構(gòu)設計與研發(fā);

　　3、負責帶領(lǐng)團隊進行行業(yè)大數(shù)據(jù)產(chǎn)品關(guān)鍵技術(shù)攻關(guān)。

　　任職要求：

　　1、有三年以上大數(shù)據(jù)應用、開發(fā)經(jīng)驗;具備海量數(shù)據(jù)加工處理(ETL)相關(guān)經(jīng)驗，對數(shù)據(jù)挖掘及機器學習有較為深刻的理解;

　　2、熟悉Hadoop相關(guān)技術(shù)，對HDFS、MapReduce、Hive、HBase有一定的使用和開發(fā)經(jīng)驗;

　　3、熟悉Linux，熟練使用Shell或Python，進行腳本編寫;

　　4、對數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)統(tǒng)計分析算法有較為深刻理解;

　　5、掌握至少一種主流關(guān)系數(shù)據(jù)庫開發(fā)技術(shù)：Oracle、SQL Server、MySQL等;

　　6、掌握實時流計算技術(shù)，有Spark、Storm開發(fā)經(jīng)驗者優(yōu)先;

　　7、需要具備2年以上研發(fā)團隊管理經(jīng)驗。

大數(shù)據(jù)架構(gòu)師的基本職責 篇10

　　職責：

　　1.負責過多個大數(shù)據(jù)項目的架構(gòu);

　　2.精通Hadoop、Spark, HBase等主流的大數(shù)據(jù)平臺、精通各組件優(yōu)化設計原理;

　　3.精通大數(shù)據(jù)實時流式處理的設計和應用;

　　3.熟悉大數(shù)據(jù)平臺調(diào)優(yōu)，具備大數(shù)據(jù)生產(chǎn)平臺調(diào)優(yōu)經(jīng)驗;

　　4.金融行業(yè)，運營商行業(yè)大數(shù)據(jù)架構(gòu)經(jīng)驗更優(yōu);

　　5.研究大數(shù)據(jù)技術(shù)的最新發(fā)展，并引入到公司技術(shù)架構(gòu);

　　6.指導大數(shù)據(jù)工程師的日常工作，并培養(yǎng)技術(shù)骨干。

　　任職資格：

　　1.計算機相關(guān)專業(yè)本科或以上學歷;

　　2.具有5年以上大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗;

　　3.具有2年以上帶團隊經(jīng)驗

　　4.對Hadoop/Hive/Spark/HBase/ES等等大數(shù)據(jù)常用技術(shù)有深刻理解，能夠帶領(lǐng)團隊進行技術(shù)攻堅，完成中間件的實施、改造、調(diào)優(yōu);

　　5.精通海量數(shù)據(jù)和實時數(shù)據(jù)的分析處理，能對線上的數(shù)據(jù)處理性能問題做調(diào)優(yōu);

　　6.精通數(shù)據(jù)倉庫以及維度建模原理，有大型數(shù)據(jù)倉庫建設經(jīng)驗;

　　7.精通關(guān)系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫的使用，熟悉相關(guān)理論;

　　8.溝通順暢，重點突出，高效。

大數(shù)據(jù)架構(gòu)師的基本職責 篇11

　　職責：

　　1. 負責大數(shù)據(jù)基礎(chǔ)平臺、海量數(shù)據(jù)存儲/處理分布式平臺、數(shù)據(jù)分析系統(tǒng)架構(gòu)設計和研發(fā);

　　2. 負責實時計算平臺基礎(chǔ)架構(gòu)設計、部署、監(jiān)控、優(yōu)化升級;

　　3. 制定項目/數(shù)據(jù)倉庫設計及實現(xiàn)規(guī)范，指導設計研發(fā)和部署;

　　4. 協(xié)助策略和算法團隊工作，保障數(shù)據(jù)挖掘建模和工程化;

　　5. 深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品，跟進業(yè)界先進技術(shù);

　　任職要求：

　　1. 全日制本科及以上學歷，5年以上軟件和分布式系統(tǒng)研發(fā)經(jīng)驗，3年以上大數(shù)據(jù)系統(tǒng)架構(gòu)經(jīng)驗;

　　2. 精通Hadoop/HBase/Spark/Storm/Redis技術(shù)及其生態(tài)圈;

　　3. 具備良好的系統(tǒng)分析能力、故障診斷能力;

　　4 有大數(shù)據(jù)策略、算法、可視化經(jīng)驗優(yōu)先。

大數(shù)據(jù)架構(gòu)師的基本職責 篇12

　　職責：

　　1、負責面向政府信領(lǐng)域的企業(yè)(不限于)大數(shù)據(jù)平臺、大數(shù)據(jù)應用等系統(tǒng)的架構(gòu)設計、技術(shù)規(guī)劃、技術(shù)選型

　　2、跟進業(yè)界大數(shù)據(jù)技術(shù)發(fā)展動態(tài)，匹配行業(yè)應用訴求，制定大數(shù)據(jù)策略，提前識別關(guān)鍵技術(shù)并完成技術(shù)驗證;

　　3、支撐售前完成項目解決方案技術(shù)架構(gòu)的設計及重要客戶的交流;

　　4、負責指導研發(fā)完成大數(shù)據(jù)產(chǎn)品的開發(fā)

　　5、帶領(lǐng)團隊進行產(chǎn)品核心技術(shù)的創(chuàng)新和積累

　　崗位要求：

　　1、熟悉BI和大數(shù)據(jù)領(lǐng)域的解決方案，具備該領(lǐng)域全面的技術(shù)積累，包括報表平臺，OLAP引擎和DB，ETL，數(shù)據(jù)倉庫建模和設計，海量分布式數(shù)據(jù)處理分析架構(gòu);

　　2、在大數(shù)據(jù)處理和分析領(lǐng)域具有3年或者以上的技術(shù)規(guī)劃、架構(gòu)設計經(jīng)驗，并有成功的項目實踐;

　　3、4年以上Hadoop實戰(zhàn)經(jīng)驗，熟悉Hadoop底層文件系統(tǒng)及分布式計算框架，具備傳統(tǒng)數(shù)據(jù)倉庫、MPP、Hadoop等混搭平臺架構(gòu)的設計能力和數(shù)據(jù)建模能力，對大規(guī)模數(shù)據(jù)并行計算、傳輸、處理等有豐富的經(jīng)驗;

　　4、有實際應用storm、spark、flume、kafka等項目經(jīng)驗優(yōu)先;

　　5、卓越的技術(shù)領(lǐng)導力，善于溝通、發(fā)現(xiàn)和解決產(chǎn)品需求階段、開發(fā)階段和測試階段的問題，并能提供合理解決方案，有大中型互聯(lián)網(wǎng)企業(yè)工作背景優(yōu)先。

大數(shù)據(jù)架構(gòu)師的基本職責 篇13

　　職責：

　　1、負責大數(shù)據(jù)平臺架構(gòu)的評估、規(guī)劃和設計 ;負責海量數(shù)據(jù)采集、處理及存儲、應用方案的技術(shù)選型及架構(gòu)實現(xiàn);

　　2、開發(fā)大數(shù)據(jù)平臺的核心代碼，負責大數(shù)據(jù)平臺的搭建，完成系統(tǒng)調(diào)試、集成與實施，技術(shù)難題的解決，保證大數(shù)據(jù)產(chǎn)品的上線運行 ;

　　3、根據(jù)業(yè)務需求持續(xù)優(yōu)化數(shù)據(jù)架構(gòu)，保證產(chǎn)品的可靠性、穩(wěn)定性 ;

　　4、指導開發(fā)人員完成數(shù)據(jù)模型規(guī)劃建設，分析模型構(gòu)建及分析呈現(xiàn) ，分享技術(shù)經(jīng)驗;

　　5、負責大數(shù)據(jù)平臺的架構(gòu)評審，代碼評審，上線評審;參與數(shù)據(jù)應用需求、設計、審核和評審;

　　6、深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品，跟進業(yè)界先進技術(shù);

　　任職資格：

　　1.本科及以上學歷，數(shù)學或計算機相關(guān)專業(yè)畢業(yè)，不少于5年的工作經(jīng)驗，具有扎實的計算機基礎(chǔ)理論知識;

　　2.有3年以上Hadoop、Spark、Hbase平臺性能調(diào)優(yōu)經(jīng)驗;熟悉sparkstreaming等實時計算技術(shù)

　　3.熟悉hive、hbase、storm、mahout、flume、ElasticSearch、Spark、Kafka等，具備實際項目設計及開發(fā)經(jīng)驗;

　　4.熟悉sparkstreaming等相關(guān)的實時計算技術(shù);

　　5.熟悉大規(guī)模數(shù)據(jù)挖掘、機器學習、自然語言處理、分布式計算中一項或多項技術(shù)，并具備多年的實際工作經(jīng)驗;

　　6.熟悉主流關(guān)系型數(shù)據(jù)庫(Oracle、MySql)、NoSql數(shù)據(jù)庫，熟悉pl/sql編程;精通Linux操作系統(tǒng)，熟練使用Java;熟悉常用框架.如Spring、MyBatis等;

　　7.具有較強的執(zhí)行力，高度的責任感、很強的學習、溝通能力，能夠在高壓下高效工作;

大數(shù)據(jù)架構(gòu)師的基本職責 篇14

　　職責：

　　1. 負責大數(shù)據(jù)基礎(chǔ)和應用平臺的整體規(guī)劃和架構(gòu)設計，參與需求分析，架構(gòu)設計，詳細設計以及技術(shù)選型決策

　　2. 參與數(shù)據(jù)挖掘和建模相關(guān)核心算法的代碼實現(xiàn)

　　3. 負責大數(shù)據(jù)算法平臺的技術(shù)把關(guān)，性能調(diào)優(yōu)，控制架構(gòu)質(zhì)量，解決項目技術(shù)難題;對研發(fā)項目和任務需求進行評估和方案設計、拆分任務并指導工程師完成開發(fā)

　　4. 帶領(lǐng)團隊提供并實現(xiàn)大數(shù)據(jù)算法平臺上各項數(shù)據(jù)接入、數(shù)據(jù)挖掘分析及數(shù)據(jù)可視化的架構(gòu)設計與能力，支持解決方案實施

　　5. 負責數(shù)據(jù)庫設計、應用架構(gòu)設計、核心技術(shù)選型等工作

　　6. 協(xié)調(diào)解決開發(fā)中的技術(shù)問題、設計和監(jiān)控運營指標，保障系統(tǒng)穩(wěn)定運行

　　7. 培養(yǎng)，指導有能力的員工，指導工程師進行技術(shù)驗證實現(xiàn)，核心技術(shù)攻關(guān)，解決開發(fā)過程中的技術(shù)難題

　　任職要求：

　　1. 熟悉大數(shù)據(jù)和數(shù)據(jù)倉庫的系統(tǒng)架構(gòu)設計方法

　　2. 熟練使用并理解HadoopSpark架構(gòu)及生態(tài)。(Hadoop，Hive，Hbase，Elasticsearch，Kafka，SparkFlink等)

　　3. 熟悉分布式系統(tǒng)架構(gòu)，有分布式實時、離線和機器學習平臺的架構(gòu)和開發(fā)經(jīng)驗，具備海量數(shù)據(jù)清洗、分析處理及存儲的實踐經(jīng)驗

　　4. 熟練使用JAVA，具有大規(guī)模分布式系統(tǒng)調(diào)優(yōu)經(jīng)驗

　　5. 熟悉AI相關(guān)算法，熟悉機器學習、深度學習。熟悉AI學習開源框架(Tensorflow、PyTorch等)者優(yōu)先;

　　6. 具備良好的團隊合作精神，對工作充滿激情。

　　7. 熟悉FusionInsight平臺開發(fā)經(jīng)驗者優(yōu)先

大數(shù)據(jù)架構(gòu)師的基本職責 篇15

　　職責：

　　1、負責大數(shù)據(jù)基礎(chǔ)平臺的整體規(guī)劃和架構(gòu)設計，參與需求分析、技術(shù)決策以及詳細設計;

　　2、為現(xiàn)有大數(shù)據(jù)集群Hadoop、hive平臺提供性能調(diào)優(yōu)、架構(gòu)優(yōu)化重組，解決系統(tǒng)中的關(guān)鍵問題和技術(shù)難題;

　　3、把握基礎(chǔ)業(yè)務復雜系統(tǒng)的設計，確保系統(tǒng)的架構(gòu)質(zhì)量，編寫核心部分代碼;

　　4、持續(xù)挑戰(zhàn)新的技術(shù)方向，攻克大數(shù)據(jù)量，高并發(fā)，穩(wěn)定性等各種技術(shù)難點。

　　任職資格:

　　1、計算機或相關(guān)專業(yè)本科及以上學歷;

　　2、5年以上hadoop的應用開發(fā)經(jīng)驗，5年以上數(shù)據(jù)倉庫開發(fā)實踐經(jīng)驗，至少一個企業(yè)級數(shù)據(jù)倉庫項目開發(fā)經(jīng)驗或者大數(shù)據(jù)處理項目經(jīng)驗;

　　3、良好的編程開發(fā)能力，精通PHP及其他開發(fā)語言;

　　4、熟悉mysql等數(shù)據(jù)庫經(jīng)驗，具備優(yōu)秀的SQL編寫、調(diào)優(yōu)能力;

　　5、熟練掌握Linux常規(guī)命令與工具，精通shell, perl, python等腳本語言至少一種;

　　6、軟件基礎(chǔ)理論知識扎實，具有良好的數(shù)據(jù)結(jié)構(gòu)、算法功底;

　　7、對新技術(shù)敏感，學習能力強，樂于接受挑戰(zhàn)，具有良好的團隊合作精神;