大數據開發運維工程師 崗位職責： 1. 開發并維護ETL/ELT流程（Extract, Transform, Load/Extract, Load），確保數據準確性和時效性； 2. 負責使用Hadoop/Spark生態組件（如Hive、HBase、Flink）實現離線/實時數據處理； 3. 負責制定數據質量規則，開發自動化數據清洗腳本，保障數據倉庫的可用性； 4. 部署和管理數據倉庫工具（如Snowflake、Redshift、BigQuery），設計合理的存儲方案； 5. 負責優化數據管道性能，解決大規模數據處理中的技術瓶頸（如數據傾斜、計算效率）。 6. 負責識別目前大數據鏈路問題，構建平臺產品、工具方案，解決大數據平臺在實際應用中的各種技術問題； 7. 負責數據常規運維工作，包括數據接入、數據治理、數據分級安全、數據編目等日常操作。 崗位要求： 1. 本科及以上學歷，5年以上大數據項目架構/開發/調優/運維經驗； 2. 熟練掌握大數據常用開源產品，如：Hadoop、Kafka、Elasticsearch、Flink、Spark、StarRocks 等開源大數據組件，具備二次開發或封裝運維經驗優先； 3. 熟悉 Linux 開發環境，熟練掌握 Java/Scala/Python 語言中的一種，熟練掌握SQL查詢語言； 4. 熟悉數據開發鏈路，包括但不限于數據集成、數據處理、數據調度、BI展現等； 5. 參與過大型分布式系統或大數據平臺的設計、開發和部署，有Kafka、Zookeeper等分布式系統的使用經驗者優先； 6. 熟練使用MySQL、Doris、Redis等關系型或非關系型數據庫； 7. 具有云計算（如AWS、Azure等）或容器化技術（如Docker、Kubernetes等）和微服務架構的經驗者優先； 8. 掌握維度建模方法論，熟悉主流數倉平臺，具備從零到一搭建企業級數據倉庫的經歷優先； 9. 能夠理解業務需求并轉化為技術方案，具備良好的團隊合作精神。