數據倉庫工程師需要與團隊形成良好溝通,有效傳達設計意圖,並持續跟進設計的調整和優化。以下是本站小編整理的數據倉庫工程師的工作職責。
數據倉庫工程師的工作職責1
職責
1.負責數據ETL開發,優化ETL流程設計;
2.負責數據質量問題的分析、跟進、解決,進行數據質量監測、校驗和提升;
3.負責ETL開發實施文檔的編寫;
4.負責梳理公司數據倉庫/數據集市數據清單、數據映射關係,優化現有數據倉庫模型;
5.完善和梳理數據指標體系,完成和維護數據字典的工作;
6.參與數據標準的制定、數據標準管理和數據安全管理工作;
7.參與公司大數據平台的建設,包括Sugar報表或神策接口配置,用户畫像標籤體系的開發等
任職要求:
1.有shell或Python腳本開發經驗;
2.有傳統數據庫SQL Server和MySQL,有存儲過程編寫能力;
3.熟悉Hadoop生態相關技術並有相關實踐經驗,包括但不限於Sqoop、Hive、HBase、Kylin等開發經驗;
4.有kettle、azkaban或oozie工作流調度經驗;
5.熟悉Hive SQL或Flink SQL的開發;
6.有數據倉庫模型設計,有使用kafka+Flink Streaming實時數據處理經驗優先;
7.有Sugar、神策或Tableau使用經驗,有用户畫像或客户召回標籤工作經驗優先;
8.對數據挖掘和機器學習有所瞭解,包括常用的機器學習算法和數據建模過程的優先
數據倉庫工程師的工作職責2
職責:
1、負責數據源導入、清洗、集成等工作,優化ETL流程並解決ETL相關技術問題;
2、負責參與數據模型體系構建及數據主題設計和開發,數據倉庫和業務數據集市的建設;
3、負責數據集市需求調研和需求分析;
4、基於阿里雲Maxcompute,進行數據開發工作。
崗位要求:
1、3年或以上數據倉庫開發和模型設計經驗;
2、深入理解DW,BI相關的知識,包括:ETL、數據倉庫、OLAP、多維數據模型等;
3、熟悉MapReduce、Hive原理;
4、精通SQL,能夠熟練使用HiveSQL進行數據開發;
5、具有良好的團隊協作精神和溝通能力,較強的邏輯思維,學習能力和解決問題的能力,可承擔較大的工作壓力;
6、熟悉阿里雲大數據開發平台優先,如Maxcompute;
7、熟悉跨境電商及供應鏈業務優先。
數據倉庫工程師的工作職責3
職責:
1. 負責直播業務相關數據倉庫的數據模型設計;
3. 參與數據倉庫ETL流程設計、開發和優化,解決ETL過程相關技術問題;
3. 參與項目規劃,數據採集設計,數據倉庫開發,模型開發,報表開發等;
4. 總結數據倉庫建模的方法,負責數據產品平台化和系統化;
任職資格:
1. 2年及以上的數據倉庫/BI相關研發經驗,對數據和業務敏感,有較好的數據模型設計能力;
2. 熟悉數據倉庫各類模型建模理論,瞭解數據倉庫數據分層架構,多維數據模型設計;
3. 熟練使用Hadoop/Spark/Hive/HBase/Mysql,有列式數據庫/Kylin/ElasticSearch等經驗者優先;
4. 有較強的編程能力和編程經驗,至少熟悉Java/Scala/Python/PHP等其中一門編程語言;
5. 參與過大型數據倉庫架構設計、模型設計、ETL設計,具備海量數據處理、性能調優經驗;
6. 學習能力強,熱衷開源技術,有團隊觀念,具備獨立解決問題的能力;
數據倉庫工程師的工作職責4
職責:
1、 參與數據倉庫及ETL基礎架構規劃、安全規劃制定;
2、 負責數據倉庫及ETL的開發、測試和優化,並及時解決相關技術問題;
3、 負責相關數據準確性驗證及報表等日常維護;
4、 報表性能優化:對存在性能問題的數據報表進行優化;
5、 數據運維:及時處理線上問題;
6、 完成上級交代的其他工作。
崗位要求:
1.計算機相關專業本科及以上學歷,2年以上ETL開發或數倉相關工作經驗;
2.熟練使用Oracle、MySQL、PostgreSQL等主流數據庫,具有較強的SQL編寫、優化能力,熟悉存儲過程編寫;
3.熟悉數據倉庫數據處理流程,有一定的數據建模能力;
4.具有良好的溝通理解能力,能根據業務提出的需求,快速理解並落地實施;
5.有Kettle、Greenplum開發經驗者優先。
數據倉庫工程師的工作職責5
職責:
1. 負責數據倉庫架構設計與開發
2. 根據業務調研,設計信息模型與數據模型,負責大數據建模、ETL、數據產品及平台的設計與開發
3. 滿足業務數據需求,設計面向業務的數據集市模型
4. 需求的溝通與數據開發項目管理
5. 基於Hadoop生態的程序設計、開發和維護
崗位要求:
1.熟悉SQL語言,至少熟悉Oracle、MySQL、SQL sever一種及以上
2.精通數據庫系統(Oracle、SQL、mysql等):精通熟悉Oracle數據庫體系結構,基礎紮實;精通熟悉DataGuardRAC等高可用技術,能順利的配置和管理dataGuard;精通熟悉Oracle的備份與恢復技術;熟悉SQL和PLSQL,能編寫日常維護需要的腳本
3. 從事過數倉邏輯模型、物理模型設計與實施等工作
4. 有使用Hive、Hbase、kettle等相關應用經驗更佳