大數據架構師的崗位職責 篇1
職責：
1.負責公司大數據底層框架的整體架構設計，結合公司實際業務情況進行技術選型及大數據戰略規劃;
2.負責統一數據平台項目的整體評估、設計、架構及關鍵模塊的開發，不斷提升系統的穩定性和效率;
3.負責架構優化及系統關鍵模塊的設計開發，協助團隊解決開發過程中的技術難題;
4.建立良好的公司內外的業界技術影響力;有效輔導團隊，提升數據研發能力;
任職要求：
1.從事大數據項目相關開發和設計2年以上經驗;有作為技術負責人系統化解決問題的成功案例;有海量數據實踐經驗優先;
2.擁有一定的算法和數據結構基礎;有很強的數據設計抽象能力，善於從複雜的數據問題中找到關鍵路徑;
3.熟悉目前正在發展的大數據分佈式平台前沿技術的應用;包括但不僅僅限於：hadoop、storm、spark、等;
4. 良好的邏輯思維能力，良好的業務解讀能力，懂電力或通信業務優先;
5.具有鑽研精神，樂於接受挑戰;
大數據架構師的崗位職責 篇2
職責：
1、負責公司大數據產品的架構設計，包含數據收集、數據存儲、數據應用，並完成相關架構設計文檔的撰寫;
2、參與規劃從數據源到數據應用的整體流程，並參與相關產品的決策;
3、負責解決核心技術問題，對技術方案進行決策;
4、負責大數據研發團隊建設、人才梯隊培養和技術團隊管理;
5、積極瞭解業界發展，研究與跟蹤大數據新技術發展方向。
任職要求：
1、精通GoldenGate For BigData相關理論，具備大型數據利用的生產實戰經驗;
2、精通數據驅動的理論，設計並生產上線相關數據驅動的產品;
3、精通常用消息中間件的使用，例如kafka/RocketMQ/Apache Pulsar，有解讀相關源碼者優先;
4、掌握hadoop、spark生態體系相關產品的使用，掌握MapReduce編程或Spark編程;
5、瞭解傳統數據倉庫理論及相關ETL工具，例如kettle/datastage;
6、熟悉Oracle、Mongodb、Mysql數據庫的使用;
7、紮實的Java語言基礎，熟悉Java開發工具和調試工具的使用;
8、良好的團隊協作精神，有能力對團隊在軟件設計、實現和測試方面進行指導;
9、良好的邏輯分析能力和溝通能力，執行力強、對待工作認真嚴謹、責任心強、具備出色的學習能力和團隊合作精神，有一定的推動能力;
10、計算機科學、信息技術或相關領域本科以上學歷，具有5年以上數據平台項目開發經驗，3年以上的架構設計經驗，具有大數據平台應用大型項目架構設計經驗優先;
大數據架構師的崗位職責 篇3
職責:
1)負責公司軟件產品整體架構的設計和關鍵功能實現
2)負責公司架構長期看護以及優化;
3)負責軟件部門各模組間的協調配合;
4)提高鞏固軟件代碼質量;
5)負責大數據流式框架的設計、優化及部署;
6)規劃研發部門員工的技術發展路線並提供必要的幫助和指導
任職資格:
1)本科及以上學歷，計算機相關專業，5年以上工作經驗;
2)頻繁換工作，比如一年一個公司，請繞路;
3)3年以上產品架構經驗，主導過產品的成功上線;
4)對底層設備通訊協議，B/S系統，手機APP開發等都有一定的瞭解;
5)對各種主流語言C#JavaPathon有一定的瞭解
5)精通各種大數據架構，並深入研究過其中一種，有stormkafka等流式實時處理經驗為佳
6)能夠承擔較強的工作壓力，有良好的自我驅動能力和責任感;
7)具備優秀的邏輯思維能力、表達能力、溝通協調能力。
大數據架構師的崗位職責 篇4
職責：
1、搭建基於Hadoop/Spark的數據挖掘體系和大數據分析系統架構;
2、研究大數據領域前沿數據挖掘技術，並引入相應技術在數據中心的使用;
3、進行大數據系統框架設計、模型算法開發;
4、負責大型數據挖掘項目方案制定、項目實施落地及優化等 ;
5、開展數據爬取、聚類分析、輿情分析、魚骨圖分析、定價策略等領域數據挖掘工作;
任職資格：
1、本科以上學歷(持有學士學位)(985，211優先)，計算機相關專業，五年工作經驗;
2、二年以上數據挖掘項目經驗，完整參與過數據挖掘大數據平台的架構開發過程，具備互聯網行業背景優先;
3、精通分佈式計算框架(hadoop、spark、Storm等)及相關經驗，熟練掌握Hive/SQL，Python，熟悉Python、R相關數值科學計算庫(NumPy,SciPy等);
4、瞭解傳統的BI/DW 理論，能結合傳統BI實踐設計大數據平台;
5、熟悉常用機器學習算法(如分類、迴歸、聚類、關聯規則等)及其原理，具備應用場景經驗，如用户畫像、商品關聯度分析、輿情分析;
6、熟悉主數據、元數據、數據質量、和數據建模等數據治理相關的體系和方法;
7、具備較強的邏輯思維能力、數據敏感度，擅於利用數據發現問題及解決問題;
大數據架構師的崗位職責 篇5
職責：
1、負責大數據開發團隊建設;
2、負責行業大數據產品架構設計與研發;
3、負責帶領團隊進行行業大數據產品關鍵技術攻關。
任職要求：
1、有三年以上大數據應用、開發經驗;具備海量數據加工處理(ETL)相關經驗，對數據挖掘及機器學習有較為深刻的理解;
2、熟悉Hadoop相關技術，對HDFS、MapReduce、Hive、HBase有一定的使用和開發經驗;
3、熟悉Linux，熟練使用Shell或Python，進行腳本編寫;
4、對數據結構和數據統計分析算法有較為深刻理解;
5、掌握至少一種主流關係數據庫開發技術：Oracle、SQL Server、MySQL等;
6、掌握實時流計算技術，有Spark、Storm開發經驗者優先;
7、需要具備2年以上研發團隊管理經驗。
大數據架構師的崗位職責 篇6
職責：
1、負責大數據項目技術架構評估與設計;
2、負責關鍵功能的開發，技術難題的解決，以及輸出代碼的關鍵把控;
3、負責對使用關鍵技術的預研和選型，完成PoC;
4、指導工程師完成開發工作，並能分享技術經驗。
任職要求：
1、3年以上相關工作經驗，其中具有1年以上架構設計經驗
2、熟悉商業智能系統相關技術，如 ETL、數據倉庫、OLAP開發;
3、精通設計模式，熟悉面向服務架構(SOA)以及其它常用軟件架構思想，有SOA方案設計、開發實施的實際經驗，要具備實際的服務規劃、服務粒度劃分經驗;並且要善於設計可重用組件和可定製化產品。
4、相關技術棧：Java /Scala/Flume/Hive/Kafka/HBase/ Spark/Storm/Redis;
5、有紮實的計算機基礎，熟悉Java等編程語言;
大數據架構師的崗位職責 篇7
職責：
1、負責公司大數據平台架構的技術選型和技術難點攻關工作;
2、依據行業數據現狀和客户需求，完成行業大數據的特定技術方案設計與撰寫;
3、負責研究跟進大數據架構領域新興技術並在公司內部進行分享;
4、參與公司大數據項目的技術交流、解決方案定製以及項目的招投標工作;
5、參與公司大數據項目前期的架構設計工作;
任職要求：
1、計算機及相關專業本科以上，5年以上數據類項目(數據倉庫、商務智能)實施經驗，至少2年以上大數據架構設計和開發經驗，至少主導過一個大數據平台項目架構設計;
2、精通大數據生態圈的技術，包括但不限於MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具備數據統計查詢性能優化能力。熟悉星環大數據產品線及有過產品項目實施經驗者優先;
3、優秀的方案撰寫能力，思路清晰，邏輯思維強，能夠根據業務需求設計合理的解決方案;
4、精通ORACLE、DB2、mySql等主流關係型數據庫，熟悉數據倉庫建設思路和數據分層架構思想;
5. 熟練掌握java、R、python等1-2門數據挖掘開發語言;
6. 熟悉雲服務平台及微服務相關架構思想和技術路線，熟悉阿里雲或騰訊雲產品者優先;
7、有煙草或製造行業大數據解決方案售前經驗者優先;
8、能適應售前支持和項目實施需要的短期出差;
大數據架構師的崗位職責 篇8
職責：
負責公司大數據產品架構的設計與實現;
配合大數據產品經理完成產品的快速研發與交付;
負責大數據產品架構的持續優化設計;
負責大數據產品核心組件設計;
負責大數據相關數據架構規劃、數據建模、數據庫設計以及大數據產品研發工作;
為應用開發團隊提供技術支撐。
任職要求：
本科及以上學歷，3年以上的大數據開發經驗、
2年以上大數據架構設計經驗;
豐富的JAVA研發經驗，精通JAVA，熟悉Python Scala等編程語言;具備深厚的分佈式系統或數據庫系統的理論基礎，熟悉分佈式計算系統的工作機制，具有分佈式文件系統、分佈式數據庫系統、集羣存儲系統等架構設計經驗;
熟悉整個大數據的完整處理流程(數據的採集、清洗、預處理、存儲、分析挖掘、機器學習和數據可視化);
精通各種大數據相關技術體系：Hadoop、Spark、Storm、ElasticSearch、Kafka;
有數據挖掘、機器學習相關應用或研究背景;
溝通能力較好，積極主動意識較強，責任心較強。
大數據架構師的崗位職責 篇9
職責：
1、負責規劃大數據平台及應用產品的需求和技術方案設計;
2、負責數據對接和對外服務設計、開發和維護，並能保證質量和性能;
3、負責基於大數據平台的應用設計、開發和維護;
4、能從系統全局和各子系統的角度思考可能存在的問題，並提出改進方案建議;
任職要求：
1、大學本科6年以上工作經驗，計算機相關專業。
2、至少4年以上的Java開發經驗，3年以上大數據應用系統的開發和設計經驗。
3、熟悉Hadoop生態圈技術體系， 對離線計算、內存計算和流式計算均有深刻理解， 如Hadoop、Storm、Spark三個中的任意二個， 能進行平台和組件優化。
4、精通Hive、HBase倉庫設計，深刻理解MR運行原理和機制，能進行以提供高任務執行效率的優化。
5、精通Java開發，熟悉JVM調優， 對GC有深刻理解。
6、熟悉Linux、Shell、Kafka、Oracle、Mysql、Redis等相關技術， 能進行hbase可靠性診斷和維護。
7、快速研究和學習技術能力。
大數據架構師的崗位職責 篇10
職責：
1、負責規劃科技大數據平台及科技數據入庫自動化的方案設計;
2、負責大數據平台的開發和維護，以及對外服務接口的開發;
3、負責大數據平台的優化和改進工作。
任職要求
1、計算機相關專業本科及以上學歷，5年以上開發經驗，其中3年以上為互聯網、大數據相關的開發經驗;
2、熟知Hadoop生態圈體系，精通Hadoop/Spark/Storm/Kafka中的一項或幾項，深刻理解MapReduce的運行原理和機制，有MPI經驗者尚佳;
3、熟悉Elasticsearch、Redis、Hbased等相關數據庫的構建和操作，尤其是數據庫集羣的構建和操作，熟悉Neo4j者尚佳;
4、具有機器學習相關項目經驗者優先。
大數據架構師的崗位職責 篇11
職責：
1.負責數據倉庫建設，基於數據驅動構建企業級數據模型，根據架構設計進行各層數據模型開發。
2.面向PB級別超大規模數據處理和查詢需求，設計適合業務變化的合理的多維數據分析系統架構，滿足多樣性需求。
3.構建設計良好的數據流、調度系統、查詢引擎、監控系統，保證系統穩定高效運行，以實現數據的最大價值。
4.指導團隊成員開展數據倉庫建設。
5.參與重點項目的評審，參與企業數據管理體系建設。
任職要求：
1.統招本科及以上學歷。
2.從事數據倉庫領域至少5年以上，熟悉數據倉庫模型設計與ETL開發經驗 ，掌握Kimball的維度建模設計方法，具備海量數據加工處理(ETL)相關經驗 。
3.具有一定數據模型和數據架構基礎，熟悉hadoophive和常用數據庫。
4. 精通SQL，有一定的SQL性能調優經驗，熟悉hive sql的開發。
5.具有管理團隊開發經驗，具備良好的組織能力、協調能力及項目管理能力。
6.具有較好的文字功底及語言表達能力，能夠快速、準確地理解需求。
7.具有專研、快速學習和創新精神，具備獨立分析問題和解決問題的能力。
8.具有責任心，時間觀念強，工作獨立性強，有良好的團隊合作精神。
9.全日制普通本科畢業。
大數據架構師的崗位職責 篇12
職責：
負責公司大數據產品架構的設計與實現;
配合大數據產品經理完成產品的快速研發與交付;
負責大數據產品架構的持續優化設計;
負責大數據產品核心組件設計;
負責大數據相關數據架構規劃、數據建模、數據庫設計以及大數據產品研發工作;
為應用開發團隊提供技術支撐。
及時向上級反饋工作進度、遇到的問題或者對現有工作的建議等;
完成上級領導交辦的其它各項工作。
任職資格：
985/211本科及以上學歷，3年以上的大數據開發經驗、
2年以上大數據架構設計經驗;
豐富的JAVA研發經驗，精通JAVA，熟悉Python Scala等編程語言;具備深厚的分佈式系統或數據庫系統的理論基礎，熟悉分佈式計算系統的工作機制，具有分佈式文件系統、分佈式數據庫系統、集羣存儲系統等架構設計經驗;
熟悉整個大數據的完整處理流程(數據的採集、清洗、預處理、存儲、分析挖掘、機器學習和數據可視化);
精通各種大數據相關技術體系：Hadoop、Spark、Storm、ElasticSearch、Kafka;
有數據挖掘、機器學習相關應用或研究背景;
溝通能力較好，積極主動意識較強，責任心較強。
具備優秀的邏輯思維能力，對解決挑戰性問題充滿熱情，善於解決問題和分析問題;
良好的團隊合作精神，較強的溝通能力和學習能力 ;
大數據架構師的崗位職責 篇13
職責：
1. 負責大數據基礎平台、海量數據存儲/處理分佈式平台、數據分析系統架構設計和研發;
2. 負責實時計算平台基礎架構設計、部署、監控、優化升級;
3. 制定項目/數據倉庫設計及實現規範，指導設計研發和部署;
4. 協助策略和算法團隊工作，保障數據挖掘建模和工程化;
5. 深入研究大數據相關技術和產品，跟進業界先進技術。
任職要求：
1. 全日制本科及以上學歷，5年以上軟件和分佈式系統研發經驗，3年以上大數據系統架構經驗;
2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態圈;
3. 具備Java/C++/Scala等開發經驗，熟悉數據挖掘和分析的策略與算法;
4. 具備良好的系統分析能力、故障診斷能力;
5. 有大數據策略、算法、可視化經驗優先;
6、211/985 重點學校畢業優先。
大數據架構師的崗位職責 篇14
職責：
1. 深刻理解政府行業業務模式，構建政府行業的數據模型，制定公司大數據技術發展路線;
2. 對接業務研究和技術部門，主動蒐集和轉化需求，組織數據中心業務開發，進行數據相關產品需求分析和設計;
3. 搭建數據倉庫，研發數據庫管理系統，蒐集、提取、處理業務積累的海量數據，開展數據分析和挖掘;
4. 根據公司戰略和發展需要，規劃數據中心重點工作和任務;落實部門人員、事務管理，開展跨部門、跨地區協作，協助對外交流與合作。
職位要求：
1. 5年以上相關工作經驗，有團隊管理和項目管理經驗者優先;
2.瞭解政府運作機制，掌握財政行業知識，有電子政務行業經驗者優先;
3. 熟練掌握使用Java或Python,精通數據庫查詢語言如SQL，Oracle等,在機器學習模型和算法方向有應用經驗者優先;
4. 具備數據中心產品策劃整體思維，有大數據處理、分析、挖掘經驗者優先;
5. 邏輯思維嚴密，具備業務抽象、分解和標準化的能力，口頭和書面表達優秀;
6. 有較強的大局意識和良好的團隊合作意識，富有領導力，具備優秀的人際交往和溝通能力。
大數據架構師的崗位職責 篇15
職責：
1.負責公司新業務方向平台大數據基礎架構的搭建及後期數據處理體系的升級和優化，不斷提升系統的穩定性和效率。為公司未來方向性產品提供大數據底層平台的支持和保證。
2.負責制定大數據平台調用約束和規範;
3.負責大數據方向技術難題的解決，以及代碼質量的把控;
4.作為大數據開發團隊的leader,負責大數據系統平台開發團隊建設與人才梯隊培養，分享技術經驗，撰寫相關技術文檔指導和培訓工程師。
任職要求：
1.熱衷於大數據技術，並能平衡大數據性能、穩定性、擴展性多重要素進行設計和優化;
2.熟悉服務器基本知識，能夠評估系統硬件性能瓶頸;
3.掌握Linux操作系統的配置，管理及優化，能夠獨立排查及解決操作系統層的各類問題，並能提供解決問題的理論依據;
4.精通Java服務器編程，熟悉JVM原理，對數據結構和算法設計有較為深刻的理解;
5.精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底層架構，熟悉原理、源碼、集羣部署，包括參數優化、Bug修復，貢獻過代碼或提交過bug者優先
6.具備數據中心資源管理、監控、調度等系統研發經驗者優先，具備分佈式系統研發經驗者優先;
7.具有應用大數據技術處理的項目開發、維護超過兩年的經驗者優先;
8.具有良好的文檔編寫能力，可進行方案設計、架構設計。
大數據架構師的崗位職責 篇16
職責：
1.負責過多個大數據項目的架構;
2.精通Hadoop、Spark, HBase等主流的大數據平台、精通各組件優化設計原理;
3.精通大數據實時流式處理的設計和應用;
3.熟悉大數據平台調優，具備大數據生產平台調優經驗;
4.金融行業，運營商行業大數據架構經驗更優;
5.研究大數據技術的最新發展，並引入到公司技術架構;
6.指導大數據工程師的日常工作，並培養技術骨幹。
任職資格：
1.計算機相關專業本科或以上學歷;
2.具有5年以上大數據相關開發經驗;
3.具有2年以上帶團隊經驗
4.對Hadoop/Hive/Spark/HBase/ES等等大數據常用技術有深刻理解，能夠帶領團隊進行技術攻堅，完成中間件的實施、改造、調優;
5.精通海量數據和實時數據的分析處理，能對線上的數據處理性能問題做調優;
6.精通數據倉庫以及維度建模原理，有大型數據倉庫建設經驗;
7.精通關係型數據庫和NoSQL數據庫的使用，熟悉相關理論;
8.溝通順暢，重點突出，高效。
大數據架構師的崗位職責 篇17
職責:
1、從事電信行業大數據項目相關業務調研、產品標準建設、核心模型設計和優化、系統測試等相關工作
2、與數據專業委員會一起研究數據建模方案和建模工具，負責產品線產品的數據架構、數據模型設計
3、參與研究數據庫之間的數據轉換方式，參與項目中的數據移植工作，收集在項目中的數據移植經驗，優化產品的數據模型
4、負責培訓本部門隊伍的數據模型基礎理論工作，建立數據模型團隊
崗位要求：
1、統招本科學歷，3年以上主流數據上(DB2、Oracle、SQLServer、Mysql等)ETL設計、開發經驗，具備大型數據倉庫邏輯模型和物理模型設計經驗，精通SQL，有較好的SQL性能調優經驗;
2、擁有Python，R等數學建模工具的使用經驗，並具備一定的數據處理和建模經驗，可以輸出相應的模型分析結果、模型比較、模型效率以及對模型的理論和判斷依據方法並對其進行完整的解釋和説明;
3、熟悉統計學基本原理，做過實戰的數據建模項目;
4、有分佈式數據倉庫建設相關經驗者優先，具備電信行業數據倉庫建設相關經驗者優先;
大數據架構師的崗位職責 篇18
職責：
1.參與公司數據平台系統規劃和架構工作，主導系統的架構設計和項目實施，確保項目質量和關鍵性能指標達成;
2.統籌和推進製造工廠內部數據系統的構建，搭建不同來源數據之間的邏輯關係，能夠為公司運營診斷、運營效率提升提供數據支持;
3.負責數據系統需求對接、各信息化系統數據對接、軟件供應商管理工作
5.根據現狀制定總體的數據治理方案及數據體系建立，包括數據採集、接入、分類、開發標準和規範，制定全鏈路數據治理方案;深入挖掘公司數據業務，超強的數據業務感知力，挖掘數據價值，推動數據變現場景的落地，為決策及業務賦能;
6.定義不同的數據應用場景，推動公司的數據可視化工作，提升公司數據分析效率和數據價值轉化。
任職要求：
1.本科以上學歷，8年以上軟件行業從業經驗，5年以上大數據架構設計經驗，熟悉BI平台、大數據系統相關技術架構及技術標準;
2.熟悉數據倉庫、熟悉數據集市，瞭解數據挖掘、數據抽取、數據清洗、數據建模相關技術;
3.熟悉大數據相關技術：Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;
4.熟悉製造企業信息化系統及相關數據庫技術;
5.具備大數據平台、計算存儲平台、可視化開發平台經驗，具有製造企業大數據系統項目開發或實施經驗優先;
6.對數據敏感，具備優秀的業務需求分析和報告展示能力，具備製造企業數據分析和數據洞察、大數據系統的架構設計能力，瞭解主流的報表工具或新興的前端報表工具;
7.有較強的溝通和組織協調能力，具備結果導向思維，有相關項目管理經驗優先。
大數據架構師的崗位職責 篇19
職責：
1、大數據平台的規劃、設計、實施，並優化數據庫;
2、對數據庫進行管理，負責數據庫應用系統的運營及監控;
3、對數據庫性能分析與調優，排錯，保證數據正確率;
4、配合其他部門進行的數據處理、查詢，統計和分析工作;
5、完成公司下達的項目開發任務。
任職要求：
1、計算機及相關專業本科以上學歷，5年以上軟件開發從業經驗，其中包括至少2年以上的大數據開發工作經驗;
2、熟悉hive,hadoop/spark,hbase等大數據相關技術架構，有管理或優化大型分佈式集羣經驗;
3、熟悉linux基本命令，精通SQL腳本的編寫，有豐富的數據庫管理、運維調優經驗;
4、熟悉C++、Java、C#等開發語言;
5、有互聯網電商行業大數據分析處理和大型數據倉庫的設計和實施經驗;
6、有分佈式系統分析及架構設計經驗和大型計算集羣的基礎設施開發維護經驗;
7、快速處理系統突發事件的能力，較強的學習和創新能力;
8、良好的溝通能力和團隊合作精神。
大數據架構師的崗位職責 篇20
職責：
1. 負責大數據基礎平台、海量數據存儲/處理分佈式平台、數據分析系統架構設計和研發;
2. 負責實時計算平台基礎架構設計、部署、監控、優化升級;
3. 制定項目/數據倉庫設計及實現規範，指導設計研發和部署;
4. 協助策略和算法團隊工作，保障數據挖掘建模和工程化;
5. 深入研究大數據相關技術和產品，跟進業界先進技術;
任職要求：
1. 全日制本科及以上學歷，5年以上軟件和分佈式系統研發經驗，3年以上大數據系統架構經驗;
2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態圈;
3. 具備良好的系統分析能力、故障診斷能力;
4 有大數據策略、算法、可視化經驗優先。
大數據架構師的崗位職責 篇21
1、負責公司大數據處理框架研發工作，設計與開發分佈式存儲、數據處理與分析架構。
2、負責大數據平台與產品和相關技術的追蹤及研究。
3、負責大數據的處理工作，以及業務數據提取、加載、轉換處理流程的開發和優化。
4、利用大數據平台工具對數據維護。
5、負責相關項目的技術支持和服務。
6、持續對系統的技術架構進行改進和優化。