太极股份申请数据存储及处理专利，有效解决开发成本高的问题并提高数据处理效率lg...

摘要：金融界2023年12月20日消息，据国家知识产权局公告，太极计算机股份有限公司申请一项名为“一种基于异构技术的数据存储及处理方法“，公开号CN117251414A，申请日期为2023年11月。专利摘要显示，本发明提供了一种基于异构技术的数据存储及处理方法，涉及数据存储技术领域，包括：将以同步工具、分布采集工具以及Kafka消息队列构成数据采集模块采集到的目标数据写入数据湖Hudi后再利用Flink、Spark组件进行离线计算处理；将离线处理结果传输至数据仓库生成离线数据报表；利用计算引擎Flink读取并对Kafka消息队列中的数据以及Mysql同步数据实时计算；使用Apache Druid作为数据查询引擎，以供用户查询离线数据、实时数据处理结果。通过采用多数据模式的存储、Flink流批一体数仓计算架构以及Hudi异构技术栈完成所有离线和实时业务统计，有效解决开发成本够高的问题以及提高了数据处理效率；通过使用Apache Druid作为数据查询引擎实现更高效的数据查询以及分析，而改善数据查询效率。