岗位职责:
1、参与公司大数据平台的规划、制定共享数据管理的规范,参与平台产品的功能设计;
2、负责公司大数据平台系统模块的分解、接口设计、技术文档规范的编制;
3、负责大数据平台的研发,解决大数据平台开发过程的各类技术问题;
4、负责大数据平台的数据治理,为数据应用场景提供规范、清洁的数据;
5、开发可靠、高效、准确的数据集市, 并提供技术支持维护和升级大数据基础设施。
任职要求:
1、熟悉使用Hadoop,Spark,HBase,doris等大数据技术平台,有大规模数据日志处理经验者优先
2、熟悉数据分析、数据挖掘、机器学习、分布式计算至少某一方面,有较深的理论研究和实践经验优先
3、具有Hadoop/Spark,以及kafka、flume、hbase、hive、zookeeper等大数据生态圈实际开发经验。深入了解Hadoop/Spark生态圈产品的工作原理及应用场景
4、掌握主流数据库技术(如hbase、MySQL、MangoDB、elasticsearch等),并熟悉SQL开发
5、具备大数据基础平台搭建和运维能力 。