1、参与公司级金融数据平台(包括离线计算、实时计算和湖仓一体架构)的建设及优化,确保平台的高效性、稳定性和安全性;
2、进行相关数据的全链路处理,包括数据采集、传输、清洗、加工、建模以及数据资产的管理和沉淀;
3、设计和建设稳定高效的金融数据仓库,满足多维度分析需求,并为业务系统提供数据支持;
4、参与平台和任务的日常运维工作,建设高效的监控和报警机制,进行应急响应,确保系统平台的稳定运行。
1、重点高校研究生及以上学历;计算机相关专业优先;五年以上大数据相关工作经验;
2、熟悉大数据传输、存储、计算和调度技术,熟悉Hadoop、Spark、Hive、Flink、MPP等引擎或组件及主流的调度和ETL工具中多种的原理、应用和调优;熟练掌握 SQL,能够编写复杂SQL完成高效数据处理和指标产出;
3、熟悉湖仓技术(Delta Lake、Hudi、Iceberg、Paimon)至少一种,对数据湖技术及应用有独到的见解和实际经验优先;熟练掌握 Java/Python/Scala 中至少一种编程语言,具有良好的编码规范和开发能力;
4、具备强烈的责任感,能应对较大压力的环境,有较强的执行力与问题解决能力。
5、对云原生、大数据生态圈及行业前沿技术有深入理解,阅读源码或社区活跃者优先。