主要職責： - 使用 **Spark（Scala）** 開發和優化高性能的大數據處理應用。 - 設計并實現 **ETL 流程**，確保數據的準確性、完整性和高效處理。 - 進行 **數據建模**，優化數據存儲和查詢性能。 - 與數據科學家、分析師和業務團隊合作，理解需求并交付可靠的數據解決方案。 - 維護和優化現有數據管道，提升系統穩定性和擴展性。 - （加分項）使用 **Pyspark、Delta Lake** 進行數據湖管理。 - （加分項）在 **GCP 或阿里云** 上部署和管理大數據服務。 任職要求： - **英語流利**（能夠熟練閱讀技術文檔并進行工作溝通）。 - 3年以上大數據開發經驗，**至少1年 Spark（Scala）實際項目經驗**。 - 扎實的 **ETL 開發經驗**，熟悉數據清洗、轉換和加載流程。 - 熟悉 **數據建模**，了解星型模型、雪花模型等數據倉庫設計方法。 - 熟悉 **SQL** 和分布式計算框架（如 Spark SQL、Hive）。 - 良好的問題排查和性能優化能力。