更新于 5月1日

大數據開發工程師

6000-8000元
  • 太原小店區
  • 3-5年
  • 本科
  • 全職
  • 招1人

職位描述

數據挖掘
崗位描述:
1.負責Hadoop/Spark/Flink等分布式計算平臺的搭建、優化及運維,設計并開發數據采集、清洗、轉換、存儲的全鏈路ETL流程。 2.根據業務需求構建數據倉庫(OLAP)、數據湖(Data Lake)或實時數倉(如Hive/ClickHouse/Doris),設計高效數據模型,開發數據分析模型(如用戶畫像、推薦算法),支持業務決策與AI應用。 3.優化SQL查詢性能(如索引設計、分區裁剪、參數調優),解決數據傾斜、任務堆積等復雜問題,分析慢查詢日志、資源監控數據,提升集群資源利用率。 4.封裝數據接口,提供數據查詢、分析結果可視化服務,開發內部數據工具鏈。 5. 研究并落地新技術(如湖倉一體、流批一體、數據網格Data Mesh),推動數據架構升級,探索AI驅動的數據治理(如自動化血緣分析、異常檢測)。 6.領導交辦的其他事宜。 崗位要求: 1.本科及以上學歷,計算機、數學、統計學等相關專業。3年大數據開發經驗,重點參與過數據平臺或數倉項目。 2.精通Hadoop(HDFS/YARN)、Spark(SQL/Structured Streaming)、Flink實時計算,熟悉Kafka/RocketMQ消息隊列、Hive/HBase/ClickHouse數據存儲。 3.熟練使用SQL/Python/Java/Scala開發,掌握Flink SQL、Spark SQL高級特性,熟悉數據建模工具、ETL工具。 4.熟悉數據血緣、元數據管理、數據質量監控。 5.熟悉實時數倉架構(如Kafka+ Flink + ClickHouse),有流批一體項目經驗者優先,具備數據可視化工具開發經驗者優先。 福利待遇:五險一金,體檢,帶薪年假,雙休,通信補貼,餐補,交通補貼,節日福利等

工作地點

小店區中國電信太原算力中心

職位發布者

趙丹妮/HRM

三日內活躍
立即溝通
公司Logo勝通和科技有限公司山西分公司
廣東勝通和科技服務有限公司(簡稱“勝通和”),注冊資金5100萬元人民幣。公司圍繞實施網絡強國戰略,加快建設“數字中國”,推動物聯網、云計算和人工智能等技術向各行業全面融合滲透,構建萬物互聯、融合創新、智能協同、安全可控的新一代信息技術產業服務體系。廣東勝通和科技服務有限公司山西分公司,于2022年11月注冊成立。主要面向山西全省11個地市開展新一代信息技術產業外包服務。業務范圍包括但不限于5G通信技術服務、三網融合網絡技術服務、數據處理服務、通信傳輸設備專業修理、通信交換設備專業修理、通信工程管理服務、信息系統運行維護服務、信息咨詢服務、企業管理及信息技術等專業人力資源外包服務。公司現有員工5000余人,在全省11各地市設有分支機構。
公司主頁
日韩欧美视频一区二区