国元证券完成大数据平台改造 提升业务支撑能力

国元证券于2024年6月至12月期间，携手网易数帆完成大数据平台国产化改造项目，投入资金506万元。项目搭建了基于网易有数大数据基础平台与原有CDH平台的异构主备架构，解决了单集群瓶颈、运维成本高及国产化要求等问题。通过开发自动化迁移工具（如NDHManager）、实现Kerberos互信、优化数据迁移与校验方案，完成了HDFS数据、Hive元数据及数百个计算任务的迁移，将计算引擎由Hive升级为Spark，提升跑批效率1倍。项目上线后，为公司C5、风控等30余个系统提供稳定数据支持，实现“零事故、低资源水位、高效存算”运行，降低部署成本50%，系统恢复时间（RTO）从天级压缩至小时级，提升了平台容灾能力与运维效率。