本发明公开了一种基于流式实时分布式大数据的数据采集方法及系统,主要是采用分布式云集群的方式来处理数据采集,提高数据采集的处理性能和提供一定的可扩展性;构建分区关联的任务队列,不需要首先完成数据累计和落地,实时检测业务数据的变化,采用内存模型来高效存储增量收集的数据,减少本地临时文件保存时所占的空间,避免数据堆积和丢失,同时在基于内存模型的基础上,将数据块进行流化处理,直接在内存中对数据流进行并行处理并实时更新到分析数据集。本发明充分发挥了云集群的高效处理性能,同时利用基于内存的高效存储模型完成数据的收集和归类操作,为后续的实时数据分析提供数据基础,保证了实时数据采集可得到实时的反馈分析结果。
咨询热线:020-38033421
传真号码:020-38061201
电子邮箱:jm@jiaquanip.cn
Copyright © 嘉权专利商标事务所 All Rights Reserved. 粤ICP备2023151901号