etl崗位職責 篇1
職位描述：
工作職責:
1、負責資料平臺的etl設計開發、工作流排程設計、儲存過程開發、自定義函式開發。
2、負責各業務系統資料來源業務調研、資料調研、準確性完整性驗證。
3、負責專案中與第三方系統基於資料庫的'資料對接、資料預處理、資料清洗、資料處理、資料匯入、資料校驗相關開發工作。
4、負責資料平臺的etl相關軟體和工具的研發和改進。
5、負責資料平臺日常管理、跑批、維護、監控、處理臨時資料需求。
任職資格:
1、本科計算機相關專業，5年工作經驗
2、具備3年或以上etl資料處理相關開發經驗
3、擁有3年以上sql開發
4、掌握hadoop?hive-hql?基礎技能
etl崗位職責 篇2
職位描述：
1.基於公司資料建設需要，完成資料平臺構建、資料內容開發等工作。包括：資料平臺基礎設施建設、資料採集、etl、數倉及資料集市、資料應用產品等開發工作；
2.充分理解需求文件，基於此進行自測，交付高質量的開發程式碼和資料內容；
3.工作中對資料平臺基礎設施、資料內容建設等工作主動深度思考，提升效能並積極建言、促進組織和系統發展；
4.團隊日常管理，及其他根據部門需要安排事宜。
崗位要求：
1.資訊技術類、數學、統計學、計量經濟學類專業，本科，工作年限5年以上；
2.熟悉資料倉庫模型設計和精通etl開發經驗，掌握3nf，kimball的.維度建模設計方法，具備海量資料加工處理（etl）相關經驗；
3.掌握至少一種資料庫開發技術：oracle、teradata、db2、mysql等，精通並靈活運用sql實現海量資料etl加工處理；
4.熟悉linux系統常規shell處理命令，靈活運用shell做的文字處理和系統操作；
5.有從事分散式資料儲存與計算平臺應用開發經驗；
6.熟練掌握一門或多門程式語言，並有大型專案建設經驗者優先，重點考察python、perl、java；
7.熟悉資料倉庫領域知識和技能者優先，包括但不侷限於：資料開發測試工具與方法、資料質量等；
8.良好的語言溝通與表達能力和自我驅動動力。
注：此崗位需在杭州一個月
etl崗位職責 篇3
職位描述：
工作職責:
1、根據公司資料分析需求進行基於hadoop平臺的專案開發；
2、根據需求進行資料倉庫模型設計，熟練使用kettle工具進行etl程式的開發；包括實時資料加工，計算，etl，管理，監控等；
3、負責針對源系統進行資料抽取、處理、分析等相關工作，及專案中涉及到的資料庫建立、維護及提供資料介面工作；
4、負責設計並優化基於hive的資料倉庫的'建設；
5、制定資料庫備份和恢復策略及工作流程與規範。
6、能出具消費品品牌製造行業應用的資料分析技術解決方案，並落地。
任職資格:
1.從事資料倉庫領域至少2年以上，熟悉資料倉庫模型設計與etl開發經驗，具備海量資料加工處理相關經驗；
2.熟悉資料倉庫領域知識和技能者優先，包括但不侷限於：元資料管理、資料開發測試工具與方法、資料質量、主資料管理；
3.有從事分散式資料儲存與計算平臺應用開發經驗，熟悉hadoop生態相關技術並有相關實踐經驗著優先，重點考察hive、hdfs、hbase;
4.熟練掌握kettlesqoop、datax、airflow等;
5.有消費品品牌製造、零售行業經驗，尤其快消品行業和財務領域資料專案經驗者優先;
6.熟悉分散式計算presto/imapa優先;
7.有實時計算方面的經驗的優先。
etl崗位職責 篇4
職位描述：
崗位職責：
1、數倉開發、etl開發；
2、銀行業資料模型的設計輔助、mapping和落地等；
3、shell指令碼開發維護；
4、銀行業務系統的資料調研和分析；
任職要求：
1、本科及以上學歷，計算機或相關專業；
2、2年以上oracle、db2等資料庫開發經驗，熟悉資料庫體系結構；
3、精通pl/sql程式設計，精通儲存過程開發；
4、熟悉linux作業系統；
5、熟悉etl排程工具和前端工具；
6、軟體基礎理論知識紮實，具備良好的.資料結構、演算法功底，有一定獨立分析、技術研究能力；
7、良好的溝通能力、團隊合作精神、樂於；
8、具備較強的自學能力，有一點抗壓能力，能夠接受出差性質的工作。
如有以下技術背景優先考慮：
1、有銀行業系統開發經驗；
2、參與過數倉專案開發、實施；
3、有資料治理專案經驗的。
etl崗位職責 篇5
職責描述：
崗位職責：
1、根據概要設計，進行詳細設計的文件編寫；
2、負責etl過程的`設計/開發實施、單元測試；
3、負責專案中etl相關需求調研、源資料調研、整體設計；
4、負責專案中環境安裝及配置。
5、維護和升級現有etl任務和儲存過程，快速定位並修復現有系統缺陷
職位要求：
1、大專及以上學歷，計算機相關專業，3年以上etl工作經驗。
2、熟悉etl開發流程，有hadoop和etl工作經驗；有從傳統資料庫抽取資料到hive資料倉庫經驗，瞭解sqoop應用原理者優先。
3、熟悉主流資料庫sql server、oracle、db2、mysql等；熟悉開源的etl工具。
4、有海量資料處理工作經驗，資料分析和挖掘經驗者優先；
5、做過資料倉庫、ods專案，對資料治理、資料標準及元資料有很好理念及實施經驗的優先；
6、熟練使用指令碼語言：如perl、python、shell等任意一種以上；
7、熟悉linux系統指令和效能優化；
8、善於學習新技術，對新技術有較強的接受能力；工作認真細緻，願意於人交流溝通。
9、有大型資料倉庫系統研發、設計經驗者優先；
10、熟悉java語言或hadoop技術者優先；
崗位要求：
學歷要求：大專
語言要求：不限
年齡要求：不限
工作年限：3-4年經驗
etl崗位職責 篇6
1.5年以上做bi、資料倉庫etl開發方向,行業不限;
2.過去做北京汽車專案;
3.英語能基本讀寫;
4.開發經驗豐富,能迅速完成交辦相關工作;
5.溝通能力良好,具備團隊合作精神,能適應一定壓力開展工作。 1.5年以上做bi、資料倉庫etl開發方向,行業不限;
2.過去做北京汽車專案;
3.英語能基本讀寫;
4.開發經驗豐富,能迅速完成交辦相關工作;
5.溝通能力良好,具備團隊合作精神,能適應一定壓力開展工作。
etl崗位職責 篇7
bi資料分析-資料開發(etl工程師)阿里健康阿里健康科技(中國)有限公司,阿里健康,阿里健康科技(北京)有限公司,阿里資料開發
1、構建全面的、準確的、能反映服務業務線特徵的整體指標體系,並基於業務監控指標體系,及時發現與定位業務問題;
2、根據日常業務及產品團隊的需求,提供業務監控,業務評估的各項資料指標;
3、根據業務發展情況,從資料中發現業務及產品的問題點及機會點,給業務及產品提供相應的方向;
4、沉澱分析思路與框架,提煉資料產品需求,與相關團隊(如技術開發團隊)協作並推動資料產品的'落地;
5、與業務協作(行業團隊)組織資料的理念、技能、工具的培訓。
崗位描述:
1.負責各條業務線資料倉庫搭建,場景梳理,資料維護;
2.負責公司內部跨部門專案資料場景梳理,資源調配工作;
3.負責從已有的資料中挖掘對業務目標起到推動作用的分析結論。
崗位要求:
1、統計、數學、資訊科技、生物統計本科以上學歷,有電商bi工作經驗優先;
2、良好的資料敏感度,能從海量資料提煉核心結果,有資料分析、挖掘、清洗和建模的經驗;
3、有從事分散式資料儲存與計算平臺應用開發經驗,熟悉hadoop生態相關技術並有相關開發經驗,熟練運用sql,能高效的與資料技術團隊進行溝通者尤佳;
4、較為豐富的資料倉庫及資料平臺的架構經驗,精通資料倉庫建模及etl設計開發。
etl崗位職責 篇8
職位描述：
職責：
1.按業務分析需求進行建模；
2.進行資料倉庫需求分析、方案設計、etl裝載過程設計；
3.從業務資料庫到資料倉庫的'etl開發；
4.結合業務流程和需求進行資料分析；
任職資格：
1.本科以上學歷，計算機等資訊科技相關專業；
2.有網際網路金融相關工作經驗，瞭解相關資料流和業務背景優先；
3.兩年及以上資料倉庫相關工作經驗，對資料倉庫系統架構具有良好的認識，熟悉資料倉庫相關技術，如etl、報表開發，具備資料分析技術並具有相關專案經驗；
4.具有hive、spark、mysql、oracle等至少一種大型資料庫的應用開發經驗，熟悉資料標準管理、元資料管理、資料質量管理；
5.具備python統計和資料探勘相關基本開發能力；
6.溝通能力好，善於規劃和總結，注重團隊合作及知識共享，能承擔一定的工作壓力；
etl崗位職責 篇9
職位描述：
工作職能：
1、負責海量資料的etl處理。
技能要求：
1、熟悉oracle資料庫及sql開發；
2、精通java、shell；
3、掌握hadoop、hive、kafka、elasticsearch、flink或多項大資料開發技術；
4、有flink相關開發經驗優先。
福利待遇：
雙休五險一金法定節假日健身房出國旅遊
免費體檢帶薪年假年終獎
etl崗位職責 篇10
職責描述：
1、負責資料分析、加工、清理、處理程式的開發
2、負責資料相關平臺的搭建、開發、維護、優化
3、分散式平臺應用開發（hadoop/spark/hive/hbase）
4、開發資料統計系統，各類統計程式報表。
任職要求：
1、2年以上java或python開發工作經驗，java基礎紮實；
2、熟悉常見線上與離線大資料系統， 如hive， hbase， es， kafka等的'工作原理與開發調優; 具有mapreduce開發經驗，有實際大資料專案經驗；
3、熟練掌握oracle、mysql等主流資料庫上的開發；
4、具有良好的溝通能力、組織能力及團隊協作精神，有較強的分析和解決問題的能力.
etl崗位職責 篇11
職位描述：
崗位職能：
1.基於公司資料建設需要，完成資料平臺構建、資料內容開發等工作。包括：資料平臺基礎設施建設、資料採集、etl、數倉及資料集市、資料應用產品等開發工作；
2.充分理解需求文件，基於此進行自測，交付高質量的`開發程式碼和資料內容；
3.工作中對資料平臺基礎設施、資料內容建設等工作主動深度思考，提升效能並積極建言、促進組織和系統發展；
4.其他根據部門需要安排事宜；
崗位要求：
1.資訊科技類、數學、統計學、計量經濟學類專業，研究生及以上學歷。優秀候選人學歷可以放寬至本科，工作年限5年以上；
2.熟悉資料倉庫模型設計和精通etl開發經驗，掌握3nf，kimball的維度建模設計方法，具備海量資料加工處理（etl）相關經驗；
3.掌握至少一種資料庫開發技術：oracle、teradata、db2、mysql等，精通並靈活運用sql實現海量資料etl加工處理；
4.熟悉linux系統常規shell處理命令，靈活運用shell做的文字處理和系統操作；
5.有從事分散式資料儲存與計算平臺應用開發經驗，熟悉hadoop生態相關技術並有相關實踐經驗著優先，重點考察hdfs、hive（hql)、hbase；
6.熟練掌握一門或多門程式語言，並有大型專案建設經驗者優先，重點考察python、perl、java；
7.熟悉資料倉庫領域知識和技能者優先，包括但不侷限於：資料開發測試工具與方法、資料質量等；
8.良好的語言溝通與表達能力和自我驅動動力。
etl崗位職責 篇12
職位描述：
崗位職責：
1、負責專案實施過程中所對接的第三方系統的資料處理及質量分析，並完成專案實施過程中的etl工作；
2、熟練掌握etl設計過程，參與大資料平臺架構的設計、開發、流程優化及解決etl相關技術問題；
3、與使用者和專案組進行有效溝通，採集專案需求，並提出相應的解決方案；
4、負責監控etl並解決出現的問題及效能調優，協助完成bi資料建模；
5、根據規範，完成專案相關設計開發文件的'整理與編寫；
任職要求：
1、統招全日制本科及以上學歷，具備大資料處理經驗尤佳；
2、熟悉etl工具，具有一定專案經驗，負責監控etl並解決出現的問題及效能調優；
3、熟悉hive和hadoop；
4、具備一定的程式設計能力，熟悉至少一種常用程式語言，java尤佳；
5、掌握關係資料庫常見用法，熟悉常見軟體的安裝，參與過專案的etl工具開發專案的完整分析、設計、開發流程者優先；
6、具備較強的自我學習能力、有較強分析問題的能力、人際溝通能力、團隊協作能力和工作責任感；
etl崗位職責 篇13
etl高階工程師職位要求
1、計算機、數學或統計等專業，本科以上學歷；
2、精通sql語言；熟悉資料倉庫設計、建模；
3、精通python，能夠編寫指令碼處理、分析資料；
4、熟悉批量離線式分散式平行計算技術（如hadoop、mapreduce、hive、spark等）
5、熟悉sqlserver、mysql資料庫；瞭解redis等非關係型資料庫；
6、熟悉至少一種常用etl工具（如kettle、ssis、gobblin）；瞭解常用報表工具（如reporting services以及各類開源報表）；
7、瞭解常用資料探勘方法（迴歸、決策樹、聚類等）。
etl高階工程師崗位職責
1、負責國際網站後臺資料倉庫搭建、維護；
2、運用各類大資料工具設計etl流程，消費生產環境埋點、日誌等資料；
3、日常資料監控以及資料預警，異常資料解讀挖掘，並與業務同事溝通解決方案；
4、分析使用者的特徵和行為資料，挖掘不同型別使用者的`行為特性，為實際的業務運營提供資料支援；
5、從資料分析結果中尋找insight和商業價值，並以簡明扼要的形式傳導到其他部分，指導實際的業務運營；
6、處理國際網站的臨時資料需求，並對於常用重要需求轉化成資料產品。
etl崗位職責 篇14
職責描述：
1、負責資料倉庫建模，業務資料集市建設開發
2、負責資料倉庫etl流程的優化及解決etl相關技術問題、etl流程監控，保障資料平臺架構穩定性
3、建立資料分析指標體系，不斷完善指標體系和分析模型；
4、通過專項分析，輸出專項分析報告
5、負責資料分析相關需求和資料測試的工作
任職要求：
學歷要求：
全日制統考類本科及以上學歷，計算機、通訊、電子、軟體工程、統計學、應用數學、資料分析等相關專業
專業技能：
1、熟悉資料倉庫各類模型建模理論，熟悉資料倉庫資料分層架構和多維資料模型設計；
2、豐富的資料分析經驗，熟練掌握sql、hql、sparksql，擅長運用其分析並完成複雜業務資料查詢
3、掌握至少一種資料庫開發技術：mysql/oracle/db2等，靈活運用sql實現海量資料etl加工處理；
4、熟悉hadoop生態（如：hdfs/mapreduce/hive/hbase等），並有相關實踐經驗；
5、熟練掌握一門或多門程式語言（如：python/shell/java/c++等），並有大型專案建設經驗者優先；
素質：
1、敏銳的資料觀察和分析能力，及時發現和分析其中隱含的變化和問題並給出建議；
2、良好的'溝通能力和團隊精神，較強的學習能力，能承擔一定的工作壓力。
經驗：
至少2年以上資料倉庫（離線&實時）模型設計開發、etl設計開發的相關經驗，有通訊運營商o域/b域大資料、智慧城市大資料的資料倉庫、etl設計研發經驗者優先'
etl崗位職責 篇15
職位描述：
1、負責公司資料平臺專案的etl設計、實現以及優化。
2、負責etl流程優化，關鍵問題解決、團隊技術與引導和前瞻性技術研究；
3、參與資料倉庫資料模型設計，進行資料質量監測、校驗和提升；
4、使用etl技術對醫院資訊系統資料進行提取、清洗、轉換和整合；
崗位要求：
1、至少三年以上etl資料開發經驗；計算機相關專業本科以上學歷，熟悉資料分析與資料探勘理論；
2、熟悉dw實施方法論和常規etl構架，有整體etl開發經驗，深刻理解元資料管理；
3、熟練掌握oracle、sql server、mysql、postgresql等至少兩種主流資料庫的使用；
4、熟練掌握ssis、kettle、informatica等至少一種etl工具的使用；
5、精通sql、儲存過程、函式的使用，具備編寫、優化複雜sql的`能力；
6、對數字，資料敏感，具備良好的邏輯思維能力；
7、具備專業的業務研究、分析能力，能夠獨立開展業務調研、資料分析、資料建模、報告編寫工作；
8、有醫療衛生資料平臺開發、實施經驗優先；
9、能適應長期出差。