【崗位職責】 1. 數據治理與標準化：參與公司大數據平臺的搭建與優化，優化離線實時數據倉庫全鏈路，確保數據的高效流通和價值挖掘。 2. 數據倉庫設計與開發：根據業務需求，設計和開發高效、可擴展的離線實時數據倉庫解決方案，涵蓋數據采集、清洗、轉換、存儲等全流程。 3. 數據倉庫維護與優化：負責離線實時數據倉庫的設計、開發與維護，確保數據的準確性和可靠性，包括數倉模型設計、ETL開發及性能優化。 4. 項目經驗：具備多次從0到1構建離線/實時數據倉庫的經驗優先。 【任職要求】 1. 本科以上學歷，數學、統計學、計算機相關專業；3年以上相關工作經驗，具備較強的邏輯思維能力和問題解決能力。 2. 技術能力： - 精通大數據技術體系（如Hadoop、Hive、Spark、Flink等），能夠獨立完成高質量的離線和實時開發場景。 - 熟悉Java代碼開發、掌握drools類的規則引擎庫設計和應用，具備flink和drools整合輸出符合規則的數據 - 熟悉Sql、Shell、Python等腳本語言，具備良好的編程能力。 - 熟悉常用的數據倉庫建模方法和規范，能夠獨立完成數據模型設計與開發，熟知數據倉庫各層開發規范和代碼要求。 3. 工具應用： - 具備DolphinScheduler工作流調度工具的應用經驗,整合大數據各項組件完成調度任務。 - 掌握SeaTunnel、datax數據同步工具，具備大數據集群調優維護能力，能夠解決常見的技術問題。 - 掌握hive、spark、flink代碼優化，具備參數調優能力 - 掌握Springboot,掌握flink整合drools處理數據,掌握部分規則校驗代碼開發功能