崗位職責:
1、參與公司大數據平臺的規劃、制定共享數據管理的規范,參與平臺產品的功能設計;
2、負責公司大數據平臺系統模塊的分解、接口設計、技術文檔規范的編制;
3、負責大數據平臺的研發,解決大數據平臺開發過程的各類技術問題;
4、負責大數據平臺的數據治理,為數據應用場景提供規范、清潔的數據;
5、開發可靠、高效、準確的數據集市, 并提供技術支持維護和升級大數據基礎設施。
任職要求:
1、熟悉使用Hadoop,Spark,HBase等大數據技術平臺,有大規模數據日志處理經驗者優先;
2、熟悉數據分析、數據挖掘、機器學習、分布式計算至少某一方面,有較深的理論研究和實踐經驗優先;
3、具有Hadoop/Spark,以及kafka、flume、hbase、hive、zookeeper等大數據生態圈實際開發經驗。深入了解Hadoop/Spark生態圈產品的工作原理及應用場景;
4、掌握主流數據庫技術(如hbase、MySQL、MangoDB、elasticsearch等),并熟悉SQL開發。