崗位職責:
1、負責數據中臺相關組件的開發工作;
2、制定數據治理方案,包括:數據清洗、數據規范、數據挖掘以及數據服務等方案的制定;
3、維護部門級大數據數據規范,包括:數據結構、數據字典、數據取值規范、數據共享規范等。
崗位要求:
1、統招本科及以上學歷,計算機相關專業,工作年限5年以上,從事大數據工作3年以上;
2、熟練掌握Python、Java、Scala至少一門編程語言;
3、出色的業務學習能力、對于數據采集、加工、存儲、共享等數據架構處理都需要把控,精通各類大數據技術,如Hadoop、HBase、Hive、Kafka、Sqoop、flume、Spark、Sparkstream;掌握流處理技術,有Flink落地經驗者優先;
4、熟悉各類數據庫、數據倉庫產品,包括RDBMS(如Oracle、Sqlserver、Mysql)、No-SQL、時序庫等,具備優化Sql的能力;
5、了解DevOps,了解Docker等概念;
6、了解常用的機器學習算法。