崗位描述:
1.負責Hadoop/Spark/Flink等分布式計算平臺的搭建、優化及運維,設計并開發數據采集、清洗、轉換、存儲的全鏈路ETL流程。
2.根據業務需求構建數據倉庫(OLAP)、數據湖(Data Lake)或實時數倉(如Hive/ClickHouse/Doris),設計高效數據模型,開發數據分析模型(如用戶畫像、推薦算法),支持業務決策與AI應用。
3.優化SQL查詢性能(如索引設計、分區裁剪、參數調優),解決數據傾斜、任務堆積等復雜問題,分析慢查詢日志、資源監控數據,提升集群資源利用率。
4.封裝數據接口,提供數據查詢、分析結果可視化服務,開發內部數據工具鏈。
5. 研究并落地新技術(如湖倉一體、流批一體、數據網格Data Mesh),推動數據架構升級,探索AI驅動的數據治理(如自動化血緣分析、異常檢測)。
6.領導交辦的其他事宜。
崗位要求:
1.本科及以上學歷,計算機、數學、統計學等相關專業。3年大數據開發經驗,重點參與過數據平臺或數倉項目。
2.精通Hadoop(HDFS/YARN)、Spark(SQL/Structured Streaming)、Flink實時計算,熟悉Kafka/RocketMQ消息隊列、Hive/HBase/ClickHouse數據存儲。
3.熟練使用SQL/Python/Java/Scala開發,掌握Flink SQL、Spark SQL高級特性,熟悉數據建模工具、ETL工具。
4.熟悉數據血緣、元數據管理、數據質量監控。
5.熟悉實時數倉架構(如Kafka+ Flink + ClickHouse),有流批一體項目經驗者優先,具備數據可視化工具開發經驗者優先。
福利待遇:五險一金,體檢,帶薪年假,雙休,通信補貼,餐補,交通補貼,節日福利等