大資料運維工程師的具體職責描述(精選17篇)

大資料運維工程師的具體職責描述 篇1

職責:

大資料運維工程師的具體職責描述(精選17篇)

1、負責分散式大資料平臺產品的運維和運維開發,保證其高可用和穩定性;

2、負責大資料系統架構的可運維性設計、容量規劃、服務監控,持續優化服務架構、叢集效能;

3、通過技術手段控制和優化成本,通過自動化工具及流程提升大資料平臺運維效率;

4、為專案開發人員提供大資料技術指導及解決大資料平臺應用中遇到的技術難題;

任職資格:

1、三年以上大資料運維相關工作經驗,有大型網際網路公司工作經驗者優先,全日制本科及以上學歷;

2、熟練掌握至少一門開發語言,有Java或Python語言開發經驗優先;

3、精通Hadoop生態及高效能快取相關的各種工具並有實戰經驗,包括但不限於Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;

4、熟悉Mysql等常用關係資料庫,熟練編寫SQL語句,有分散式nosql資料庫應用、效能調優經驗優先;

5、熟悉Linux環境,能夠熟悉使用shell指令碼;

6、對大資料技術有強烈興趣,有志於往大資料方向深層次發展;

7、具有很強的責任心、執行力、服務意識、學習能力和抗壓能力;

8、具備較好的溝通能力、主動性及責任感。

大資料運維工程師的具體職責描述 篇2

職責:

1、負責大資料叢集的日常維護、監控、異常處理等工作,保障叢集穩定執行;

2、負責大資料批處理管理以及運維;

3、負責大資料叢集的使用者管理、許可權管理、資源管理、效能優化等;

4、深入理解資料平臺架構,發現並解決重大故障及效能瓶頸,打造一流的資料平臺;

5、跟進大資料前沿技術,不斷優化資料叢集;

6、有華為大資料平臺運維經驗優先;

崗位要求:

1、1年以上大資料運維或開發經驗;

2、有良好的計算機和網路基礎,熟悉linux檔案系統、核心、效能調優,TCP/IP、HTTP等協議;

3、熟悉大資料生態,有相關(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)的運維及開發經驗;

4、熟練使用shell、python等指令碼語言開發相關運維管理工具;

5、良好的文件撰寫習慣;

大資料運維工程師的具體職責描述 篇3

職責:

1、負責資料平臺的運維管理工作(部署、監控、優化、故障處理);

2、負責Hadoop/Spark/Flink/Elasticsearch/Kafka等系統的架構稽核、容量規劃、成本優化;

3、負責大資料平臺的使用者管理、許可權分配、資源分配;

4、參與資料探勘、機器學習平臺的設計、並給出可執行的運維方案;

5、參與資料平臺的相關工具開發(包括自動化部署、監控、ETL等);

6、深入理解資料平臺架構,發現並解決故障隱患及效能瓶頸;

7、ETL工具、排程工具、關係型資料庫的運維。

任職資格:

1、本科以上學歷,計算機軟體相關專業;

2、1年以上大資料相關元件運維經驗(hadoop/yarn/hbase/hive/spark/kafka等),1年以上的CDH或HDP維護經驗,3年以上系統運維相關經驗;

3、深入理解Linux系統,能獨立部署開源軟體,熟練掌握一門以上指令碼語言(shell/perl/python等),熟悉python開發語言優先;

4、邏輯思維能力強,做事有條理,責任心強,工作積極主動,執行力強,有良好的團隊協作意識。

大資料運維工程師的具體職責描述 篇4

職責:

1、負責公司內部及專案中大資料叢集的構建,任務排程、監控預警,持續完善大資料平臺,保證穩定性、安全性;

2、負責叢集容量規劃、擴容、叢集效能優化及日常巡檢和應急值守,參與大資料基礎環境的架構設計與改進;

3、深入研究大資料業務相關運維技術,探索新的運維技術及發展方向。

任職要求:

1、熟悉Linux基礎命令操作,能夠獨立編寫Shell指令碼開展日常伺服器的運維;

2、熟悉Hadoop生態圈Hadoop、Kafka、Zookeeper、Hbase、Spark的安裝與調優;

3、熟悉軟硬體裝置,網路原理,有豐富的大資料平臺部署,效能優化和運維經驗;

4、工作認真負責,有較強的學習能力,動手能力和分析解決問題的能力;

5、能夠利用各種開源監控工具、運維工具,HA、負載均衡軟體完成工作任務;

6、熟悉JVM虛擬機器調優;

8、1年及以上相關崗位經驗,要有良好的安全和責任意識。

大資料運維工程師的具體職責描述 篇5

職責

1. 負責大資料ETL系統,運維及保障服務穩定可用;

2. 負責資料採集交換方案以及聯調測試;

3. 負責採集交換任務的評審和上線;

4. 負責及時排除ETL流程故障,形成知識庫,完善運維文件;

5. 負責監控和優化ETL的效能,持續性地提出改進自動化運維平臺建議

技能要求

1. 電腦科學或相關專業本科及以上學歷;

2. 熟悉Linux系統,熟練編寫shell/perl/python一種或多種指令碼語言;

3. 熟悉Hive、Hadoop、MapReduce叢集原理,有hadoop大資料平臺運維經驗者優先;

4. 熟悉資料庫的效能優化、SQL調優,有相應經驗;

5. 抗壓能力強,有強烈的責任心,良好的溝通能力、學習能力及團隊合作能力。

大資料運維工程師的具體職責描述 篇6

(1) 負責機房物理環境各項指標控制與安全管理;

(2) 負責各類伺服器的軟硬體的配置安裝和維護管理;

(3) 系統的資料保護,容量規劃,實施調整和監控及災難恢復、伺服器的效能監控與優化,配置安全策略;

(4) 為相關介面部門提供技術技持;

(5) 進行各項新應用的系統、網路測試工作;

(6) 提供服務監控和常規系統健康檢查;

(7) 負責各應用伺服器終端使用者帳號註冊、凍結、登出管理;

(8) 部門經理臨時安排其它工作任務處理。

大資料運維工程師的具體職責描述 篇7

職責:

1、負責公司網路維護及網路安全,各辦公區域IT規劃;

2、負責各類終端、網路、印表機等辦公裝置的日常維護及管理;

3、負責桌面運維,病毒的查殺及計算機故障;

4、負責內部資訊系統建設、維護及資料庫備份維護;

5、配合運營中心推動和建設標準化的運維體系和規範化的運維流程;

6、配合運營中心推動各資訊化專案開展。

任職資格:

1、能夠熟練掌握常見IT裝置(包括PC客戶端、機房裝置、多媒體投影等)故障處理及維護;

2、熟悉Windows server配置管理,精通DNS、DHCP等Windows服務管理配置;

3、熟悉各類主流網路相關裝置(交換機, 路由器, AP等)的配置和安裝;

4、有一年以上IT管理經驗,電腦科學、網路、資訊系統或相關專業優先;

5、有資訊化專案實施經驗優先;

6、有責任心,團隊適應力強,抗壓性強,具備良好的溝通能力,具備較強的學習能力,有強烈的進取心。

大資料運維工程師的具體職責描述 篇8

職責:

1、負責公司大資料平臺自動化運維開發、監控和優化工作,保障資料平臺服務的穩定性和可用性;

2、負責公司Hadoop核心技術元件日常運維工作 ;

3、負責公司大資料平臺現場故障處理和排查工作;

4、研究大資料前沿技術,改進現有系統的服務和運維架構,提升系統可靠性和可運維性;

任職要求:

1、本科或以上學歷,計算機、軟體工程等相關專業,3年以上相關從業經驗

2、精通Linux運維命令,熟悉Linux的維護和管理,熟悉Shell/Python指令碼開發,掌握Scala/JAVA優先;

3、熟悉大資料專案實施:包括不限於Kafka、Hadoop、Hive、Hbase、Spark等大資料生態的平臺搭建,監控和調優;

4、良好團隊精神服務意識,溝通協調能力;

大資料運維工程師的具體職責描述 篇9

職責:

1、負責公司產品平臺的執行維護,保障系統穩定,處理各種運維事故及事件;

2、負責Linux伺服器和叢集的規劃、部署、安全、備份、效能調優及監控;

3、負責在Linux/Java/mysql環境下,建設運維平臺,監控系統,日誌系統等;

4、資源部署及架構配置,確保產品的功能及效能按要求實現;

5、整理各種運維文件。

任職條件:

1.具備3年以上Linux作業系統運維經驗;

2.熟悉linux,docker,以及Mysql,Redis,Nginx,Tomcat,MongoDb等安裝部署;

3.熟練掌握常用命令、Shell指令碼程式設計,docker容器的使用;

4.熟悉Linux系統高可用技術、負載均衡、叢集等技術方案;

5.有紮實的Linux功底,熟練操作RedHat,CentOS等版本Linux系統;

6.精通MySql叢集管理,精通各種備份和恢復技術,熟悉Mysql複製,具備利用系統工具分析和優化資料庫的能力

7.有大規模Linux伺服器運維管理經驗者優先。

大資料運維工程師的具體職責描述 篇10

職責:

1、負責公司各專案Docker與k8s叢集管理、監控及相關業務支撐;

2、負責容器雲平臺的監控、應急響應等,及時定位及解決效能瓶頸和疑難問題;

3、編寫各種運維指令碼,推動業務自動化運維,確保日常部署工具安全高效進行;

4、負責線上系統的監控報警系統的優化和開發,確保更佳準確及時的反映線上系統狀態;

5、和團隊成員共同承擔線上7x24小時服務質量保障工作;

任職要求:

1、熟悉伺服器、儲存、網路等基礎設施的管理和運維工作;

2、熟練使用Linux系統,具有Linux系統安裝配置和系統引數優化經驗,至少熟悉centos和ubuntu。

3、熟悉shell/python指令碼語言,有指令碼的開發經驗;

4、熟悉虛擬化技術,至少熟悉一種虛擬化管理平臺,如vmware、xen、kvm等;

5、熟悉容器化技術,熟悉docker的常用管理命令,熟悉docker的儲存、網路管理方式,熟悉映象倉庫的搭建和管理。

6、熟悉Apache、Nginx、MySQL、Tomcat、Redis、RabbitMQ、ZABBIX等常用服務的安裝、配置、維護、和調優;

7、熟悉Kubernetes、有生產環境kubernetes運維經驗者優先;

8、工作認真嚴謹,責任心強,抗壓能力強;

9、有阿里雲,騰訊雲,華為雲等至少一家公有云使用經驗優先考慮

大資料運維工程師的具體職責描述 篇11

職責:

1、軟體產品及專案的部署、安裝、升級、維護,確保系統正常穩定執行;

2、專案資料庫維護、確保資料庫正常執行;

3、及時解決客戶在系統使用過程的各種問題,維護好客戶關係以及客戶培訓工作;

4、收集客戶在系統過程遇到的問題,進行分析和確認,並反饋至相關負責人;

5、完成上級安排的其他任務;

任職要求:

1、計算機相關專業,專科及以上學歷;

2、掌握計算機基礎知識,熟悉常用軟體的安裝與使用;

3、對軟體開發有一定的瞭解;

4、瞭解病毒防護、系統漏洞、防護牆等網路安全知識;

5、具有良好的溝通和語言表達能力,邏輯思維能力強,有責任心,工作態度端正、積極,有團隊意識及良好的操作規範意識。

大資料運維工程師的具體職責描述 篇12

職責:

1、負責網路體系規劃,各系統的運維策略實施及優化;

3、負責網路裝置硬體日常執行監控,維護及日誌分析;

4、負責Linux系統的運維工作,完成系統補丁、調優、日常巡檢、故障處理、效能優化等工作;

4、負責對網路攻擊、病毒、漏洞等安全問題進行響應處理;

5、負責Oracle資料庫的維護,完成環境搭建、調優,日常巡檢、故障處理解決、效能優化、資料庫升級、遷移和備份恢復等工作。

任職要求:

1、計算機或相關專業, 全日制專科及以上學歷;

2、熟悉華三、思科、深信服等品牌防火牆、路由器、交換機等網路安全裝置,具備CCNP或HCIE證書;

3、具有3年以上IT系統架構規劃、系統運維、系統監控實施相關經驗,熟悉Zabbix監控系統的搭建和維護;

4、精通Linux系統,熟悉Apache、NginX、MySQL、FTP、DNS等常用服務的安裝、配置、調優和維護,及相應的叢集、容災、單點故障等解決方案;

5、熟悉運維自動化,能夠掌握使用Shell、Perl、PHP、Python、Ruby、Go等至少一種語言;

6、掌握虛擬化解決方案,如VMware 、vSphere 、kvm等;

7、熟練掌握Oracle資料庫管理、維護等各種操作,能夠對Oracle、SQL SERVER、Mysql等資料庫進行日常維護,如:備份、還原、日誌壓縮、資料同步、效能調優等;

8、善於交流和溝通,具有良好的書面、語言表達能力和團隊協作意識,同時能夠根據業務和專案的需要,積極主動學習相關知識,願意接受挑戰,並能在壓力下工作。

大資料運維工程師的具體職責描述 篇13

職責:

1、能貫徹和落實公司的各項管理制度、公司業務規範,按時完成相關流程要求的交付物提交;

2、從事網路安全、通訊裝置的駐場安裝除錯和維護工作(包括定期巡檢、技術支援)等;

3、接收和協助解決客戶遇到的各種現場技術問題,能夠對使用者的需求給出相應的解決方案;

4、快捷準確並按要求提供所有報告、資料,如故障處理報告、週報總結等;

5、學習領悟力強,善於主動鑽研,向客戶提供全面優質的服務。

任職要求:

1、專科以上學歷,通訊或計算機相關專業,一年以上相關工作經驗;

2、熟悉掌握CISCO、華為等主流廠商的路由器/交換機裝置配置和維護;

3、熟練掌握相關網路技術、TCP/IP協議、路由與交換技術等,具有CCNP或HCNP認證或同等經驗證者優先;

4、具有良好的文件撰寫能力,語言溝表達能力強,能同客戶建立良好的溝通關係,適應團隊合作,能適應中短期出差;

5、思維清敏捷,具有較強網路故障排查和解決經驗的能力;較強的邏輯分析能力和對問題的診斷能力。

6、瞭解X86伺服器,熟悉LINUX命令等。

大資料運維工程師的具體職責描述 篇14

職責:

1、負責智慧化菜場專案上的網路安全執行與維護;

2、根據業務需求進行除錯、優化和部署;

3、負責弱電的設計與裝置配置;

4、現場的技術支援及運維服務。

崗位要求:

1、專科及以上學歷,計算機相關專業;

2、1年及以上IT相關工作經驗,有專案經驗的優先考慮;

3、熟練掌握網路裝置的配置及網路維護知識;

4、熟練掌握Windows Server或Linux;

5、優秀的溝通能力,較強的服務意識。

IT運維工程師工作的職責4

1. 負責公司網路、基礎設施及伺服器,交換機的日常維護巡檢,保持公司區域

內各機房執行環境的良好狀態,記錄環境資料;

2. 對公司IT基礎網路及其他運營裝置進行安裝、硬體維護、硬體故障處理等工作;

3. 日常問題及突發事件的及時響應反饋並解決跟進故障處理;

4. 對公司所有IT裝置及備件壞件定期檢查、檢修、替換和保修;

5. 協助客戶進行現場資產管理,包括線上、線下裝置(包含配件或者備件)的統計與登記,確保重要區域的資產安全;

6. 按照客戶的要求,嚴格執行相應的各項規範;

7. 按照客戶的要求,按時提供日常各類報告,包括運維日報、資產月報等;

8. 配合公司及客戶進行定期的資產盤點;

9. 能 7x24 小時故障響應;

10.輔助資訊保安管理工作。

大資料運維工程師的具體職責描述 篇15

職責

1、進行業務系統的維護

2、指導使用者正確使用操作軟體各業務模組;

3、分析並解決軟體使用過程中的問題,對軟體故障進行測試定位;

4、處理相關資料;

5、配合專案經理完成相關任務目標;

任職資格:

1、計算機相關專業,本科以上學歷;

2、優秀應屆畢業生可考慮;有稅務行業資訊化相關工作經驗者可破格錄取;具備軟體開發能力者優先。

3、熟悉JAVA程式語言及熟練操作SQL,具備一定資料庫知識。

4、能熟練使用所負責的軟體模組;

5、良好的良好的溝通能力、團隊合作精神。

大資料運維工程師的具體職責描述 篇16

職責:

1、負責客戶內部視訊會議系統及各應用系統日常管理維護;

2、負責客戶的PC、伺服器、儲存裝置的日常維護工作。

3、負責部署相關應用平臺,並提出平臺的實施、執行報告;

4、負責配合客戶搭建測試平臺,協助開發設計、推行、實施和持續改進;

5、負責日常系統維護,及監控,提供IT軟硬體方面的服務和支援,保證系統的穩定。

任職要求:

1.專科或以上學歷,計算機相關專業,2年以上相關工作經驗,有系統運維工作經驗者優先;

2.熟悉Windows/Linux系統安裝、維護、監控及日常維護;

3.瞭解各大廠商的伺服器、儲存等硬體裝置的基本安裝除錯;

4.有一定網路技術基礎,瞭解TCP/IP網路原理,熟悉交換機、路由器、防火牆配置更佳;

5.熟悉VMware軟體環境的管理及維護,有虛擬化專案實施經驗或VMware VCP認證者優先;

6、具備自我管理能力、溝通能力、團隊精神和責任服務意識,能組織並實施技術相關工作,較好的解決問題的優先。

大資料運維工程師的具體職責描述 篇17

職責

1、負責PC_SERVER的日常運維與管理;

2、系統整合專案的專案實施;

3、PC伺服器系統運維的優化和改進;

4、善於發現系統問題,並提出優秀的解決方案;

任職資格

1、計算機、電子類本科學歷以上,有二年以上相關工作經驗;

2、熟悉Linux、VMware ESX、Windows Server等主流作業系統,有一定的運維管理經驗。

3、精通品牌伺服器(重點惠普和戴爾)的管理維護,熟悉廠商的支援流程,能熟練判斷相關軟硬體故障;

4、具有較好的技術文件編制能力,良好的溝通能力;

5、較強的表達能力及與客戶溝通能力,良好的分析問題和實際動手能力,良好的學習和創新能力;

6、有PC_SERVER裝置應用系統維護、除錯經驗者優先考慮;

7、有相關係統認證、硬體廠商認證證書者優先考慮;

8、較強的組織、協調、溝通能力,良好的分析問題和實際動手能力,良好的學習和創新能力;

10、具有解決突發事件的能力;有團隊精神、刻苦鑽研精神,工作認真細緻、有責任心,能承受工作壓力。