一、崗位職責 1、數據清洗與預處理： 負責海量原始數據的清洗、去噪、去重及結構化處理，解決數據不一致性、缺失值等問題； 構建高效的數據清洗流程和自動化工具，提升數據質量與可用性。 2、數據系統開發與維護： 參與大數據平臺架構設計與開發，包括分布式存儲、計算系統（如Hadoop、Spark、Flink等）的部署與優化； 開發高效ETL工具與數據管道，保障數據高效流轉與實時性需求。 3、數據中臺搭建與治理： 主導或參與企業級數據中臺建設，整合多源異構數據，提供統一數據服務接口； 設計數據分層模型（ODS/DWD/DWS/ADS），制定數據治理規范，確保數據資產的可復用性。 4、大模型數據處理與支持： 針對大模型（如LLM、多模態模型）訓練與推理需求，完成大規模數據集的采集、標注、特征工程及分布式處理； 優化數據存儲與計算鏈路，提升大模型訓練效率，支持算法團隊完成數據驅動的模型迭代。 二、任職要求 1、計算機科學、數據科學、統計學等相關專業本科及以上學歷； 2、3年以上大數據開發經驗，具備完整的大數據平臺或數據中臺項目落地經驗。 3、技術能力： 核心技能： 精通Java/Python/Scala等至少一門編程語言，熟悉SQL及NoSQL數據庫； 熟悉Hadoop生態組件（HDFS/YARN/Hive/Spark/Flink等），具備調優經驗； 熟練使用數據清洗工具（如Pandas、Spark SQL），具備復雜數據問題解決能力。 數據中臺經驗： 熟悉數據倉庫建模理論，具備數據血緣、元數據管理、數據服務化（API/數據湖）實踐經驗； 了解主流數據中臺架構（如阿里DataWorks、網易數帆等）或有自研經驗者優先。 大模型數據處理： 熟悉大模型數據處理流程（如Tokenization、分布式并行訓練數據預處理）； 有TensorFlow/PyTorch等框架下的大規模數據處理經驗，熟悉GPU集群優化者優先。 4、優秀的邏輯思維與問題拆解能力，能獨立承擔復雜數據任務； 5、良好的團隊協作意識，能與算法、產品、業務部門高效溝通； 6、對技術前沿敏感，具備技術方案快速落地的執行力。