首页 > 专利商城 > 专利交易
一种基于流式实时分布式大数据的数据采集方法及系统
交易价格:面谈
所属类型
发明专利
所属行业
H04-电信技术
所属国家
所属地域
PCT项
交易方式
  • 专利详情
  • 专利摘要
  • 主权利要求
  • 优先权项
  • PCT项
CN2017104029002
2017-06-01
发明专利
一种基于流式实时分布式大数据的数据采集方法及系统
华南理工大学
已授权

本发明公开了一种基于流式实时分布式大数据的数据采集方法及系统,主要是采用分布式云集群的方式来处理数据采集,提高数据采集的处理性能和提供一定的可扩展性;构建分区关联的任务队列,不需要首先完成数据累计和落地,实时检测业务数据的变化,采用内存模型来高效存储增量收集的数据,减少本地临时文件保存时所占的空间,避免数据堆积和丢失,同时在基于内存模型的基础上,将数据块进行流化处理,直接在内存中对数据流进行并行处理并实时更新到分析数据集。本发明充分发挥了云集群的高效处理性能,同时利用基于内存的高效存储模型完成数据的收集和归类操作,为后续的实时数据分析提供数据基础,保证了实时数据采集可得到实时的反馈分析结果。

联系方式

咨询热线:020-38033421

传真号码:020-38061201

电子邮箱:jm@jiaquanip.cn

关注嘉权专利商标事务所

Copyright © 嘉权专利商标事务所 All Rights Reserved.    粤ICP备2023151901号