期刊文献+
共找到47篇文章
< 1 2 3 >
每页显示 20 50 100
基于大数据时代的计算机信息处理技术浅析 被引量:2
1
作者 唐和卿 《网络安全技术与应用》 2019年第5期10-12,共3页
人们大量使用手持终端设备接入互联网,产生了庞大的数据量,这些数据已经成为信息社会的巨大财富,同时也带来了数据筛选和数据安全方面的巨大挑战。数据筛选即数据可用性问题成为大数据的重要挑战之一。大数据的价值并非数据本身,而是由... 人们大量使用手持终端设备接入互联网,产生了庞大的数据量,这些数据已经成为信息社会的巨大财富,同时也带来了数据筛选和数据安全方面的巨大挑战。数据筛选即数据可用性问题成为大数据的重要挑战之一。大数据的价值并非数据本身,而是由大数据所反映的'大决策','大知识','大问题'。近年来,大数据可用性的研究已经取得了一定成果,而计算机信息处理技术的发展就是要提高数据可用性,本文研究了大数据时代信息处理技术,供读者参考。 展开更多
关键词 数据 静态数据 流式数据 数据挖掘
基于多粒度Top-k查询的流式数据事件获取方法 预览
2
作者 王俊陆 梅昕苏 +2 位作者 丁琳琳 宋宝燕 罗浩 《辽宁大学学报:自然科学版》 CAS 2019年第3期244-249,共6页
流式数据中事件的查询及获取是研究流式数据各类操作的基础.现有流式数据系统中的事件查询只针对流中的异常数据点进行查询,而在实际情况下,流式数据中的事件多为一段连续时间的异常,包含时间、空间位置等多种信息,因此,传统的阈值查询... 流式数据中事件的查询及获取是研究流式数据各类操作的基础.现有流式数据系统中的事件查询只针对流中的异常数据点进行查询,而在实际情况下,流式数据中的事件多为一段连续时间的异常,包含时间、空间位置等多种信息,因此,传统的阈值查询方法无法从不同的时间及空间角度对事件进行全面分析,查询准确性极低,导致无法获取事件的全部信息.针对这些问题,本文提出一种基于多粒度Top-k查询的流式数据事件获取方法.该方法首先在监测区域内构建基于投影分区的区域监测簇;在此基础上,提出一种改进的多粒度空间Top-k查询方法对点进行查询,获取异常事件发生的空间位置信息;其次,基于事件峰谷点信息,对流式数据进行时间多粒度Top-k查询,找出异常事件的触发点和终止点,从而获得事件的完整信息.实验表明,本文提出的方法在系统资源开销、查询效率等方面均具有很大优势. 展开更多
关键词 流式数据 事件获取 TOP-K查询 投影分区 滑动窗口
在线阅读 下载PDF
基于PCA的高维流式数据聚类算法 预览 被引量:1
3
作者 张云龙 《电子技术与软件工程》 2019年第8期175-176,共2页
本文的基于PCA的高维流式数据聚类算法是在D-Stream算法的基础上提出来的。首先,从基本原理上分析了D-Stream算法在高维网格划分时,存在着大量计算,影响算法效率;其次,对于高维数据本身而言,存在着数据高维稀疏的特性;最后,本文采用PCA... 本文的基于PCA的高维流式数据聚类算法是在D-Stream算法的基础上提出来的。首先,从基本原理上分析了D-Stream算法在高维网格划分时,存在着大量计算,影响算法效率;其次,对于高维数据本身而言,存在着数据高维稀疏的特性;最后,本文采用PCA降维与滑动窗口技术相结合的思想来改进D-Stream算法,并通过仿真实验证明了算法的可行性。 展开更多
关键词 流式数据 PCA 滑动窗口 聚类
在线阅读 下载PDF
基于B-Spline曲线的流式数据事件模板构建方法 被引量:1
4
作者 王俊陆 杨兴东 +1 位作者 罗浩 宋宝燕 《小型微型计算机系统》 CSCD 北大核心 2019年第4期861-865,共5页
流式数据处理系统中常常要提取出事件的模板,进而针对将来发生在流式数据上的事件做预测分析处理.针对目前的流式数据系统中存在的事件模板的构建过程计算量过大,使用的数据节点较多,误差较大等问题,文本提出一种基于B-Spline曲线的流... 流式数据处理系统中常常要提取出事件的模板,进而针对将来发生在流式数据上的事件做预测分析处理.针对目前的流式数据系统中存在的事件模板的构建过程计算量过大,使用的数据节点较多,误差较大等问题,文本提出一种基于B-Spline曲线的流式数据事件模板构建方法.该方法首先给出了流式数据上的事件和事件模板的定义,在此基础上确定了基本尺度事件,基于该事件给出了基于线性变换变的流式数据事件的归一化处理方法.其次,本文提出使用B-Spline曲线来进行事件模板的拟合,采用均匀的节点矢量,通过遗传算法求解B-Spline的控制节点.实验表明,本文提出的方法能有效的减小事件模板构建过程中存在的计算量过大,使用数据节点较多、误差较大等问题,具有较高的可用性. 展开更多
关键词 流式数据 曲线拟合 遗传算法 B-Spline曲线 归一化
基于集群的协同过滤实时推荐系统研究 预览
5
作者 舒贵阳 辜丽川 +3 位作者 冯娟娟 陈卫 赵子豪 王超 《洛阳理工学院学报:自然科学版》 2018年第2期71-77,共7页
大数据环境下的信息挖掘已成为推荐系统研究较为活跃的领域,通过对现有大数据处理框架的对比,采用Spark大数据计算处理引擎,结合基于隐式反馈的ALS协同过滤推荐算法,提出一种Spark框架下ALS算法并行化解决方案,设计了分布式流式计算系统... 大数据环境下的信息挖掘已成为推荐系统研究较为活跃的领域,通过对现有大数据处理框架的对比,采用Spark大数据计算处理引擎,结合基于隐式反馈的ALS协同过滤推荐算法,提出一种Spark框架下ALS算法并行化解决方案,设计了分布式流式计算系统(Spark Distributed-ALS,SD-ALS)。实验结果验证了ALS算法在Spark集群环境下预测精度与单机环境基本保持一致,随迭代次数的增大,RMSE逐渐趋于稳定,并且计算效率显著提升,满足实时推荐的性能要求。 展开更多
关键词 流式数据 SPARK ALS 协同过滤 推荐系统
在线阅读 下载PDF
一种增量式学习的语音字典构造方法 预览
6
作者 滕少华 宋欢 +1 位作者 霍颖翔 张巍 《广东工业大学学报》 CAS 2018年第3期29-36,共8页
爆炸式增长的语音数据为存储与传输带来极大困难,现有方法难以实时应对海量语音频域数据.因此本文提出一种增量式学习的语音字典构造方法,该方法先将语音时域信号经短时傅里叶变换处理后转换为各窗频谱幅值,再将高维空间向量投影到低维... 爆炸式增长的语音数据为存储与传输带来极大困难,现有方法难以实时应对海量语音频域数据.因此本文提出一种增量式学习的语音字典构造方法,该方法先将语音时域信号经短时傅里叶变换处理后转换为各窗频谱幅值,再将高维空间向量投影到低维空间,并以字典中的少数基向量线性拟合当前窗向量.进而通过存储基向量的标识和拟合系数完成对当前窗向量的存储,把无法拟合的窗向量经处理后加入字典,实现增量式学习.解压过程依据用户请求将字典中指定条目经线性拟合实现.实验结果表明,本方法能大幅度压缩语音频谱包络,适用于受带宽限制下实时高采样率的流式语音数据,与同类算法相比,在保证还原质量的情况下,能对信号的存储空间以及传输带宽进行大幅度的压缩. 展开更多
关键词 语音压缩 语音解压 实时处理 流式数据 增量学习 稀疏字典学习
在线阅读 下载PDF
基于电力大数据的实时流数据处理技术研究
7
作者 彭晓平 段琳 +1 位作者 程旭明 胡勇 《中国战略新兴产业》 2017年第7X期82-83,共2页
随着电网输电设备的大批量投入,针对设备的实时状态和准实时状态在线监测的广度和深度不断加强,需要存储和处理的实时状态监测数据量不断增长,并成为电力大数据中重要的组成部分。输电设备每时每分所产生的数据信息以数据流的形式注入... 随着电网输电设备的大批量投入,针对设备的实时状态和准实时状态在线监测的广度和深度不断加强,需要存储和处理的实时状态监测数据量不断增长,并成为电力大数据中重要的组成部分。输电设备每时每分所产生的数据信息以数据流的形式注入到中央数据库,而设备处于长期工作中,就像流水一样间歇不断的流入大海,那么就得考虑:如何实时处理这些数据?如何存储这些流式数据?本文将针对项目涉及的实时和准实时的。本文将对物联网终端报文数据规约解析技术研究,致力于对输电终端采集报文数据进行归于解析;实时/准实时数据接入HBASE技术,将解析后上送至服务端的数据写入Hbase数据库中统一存储,避免数据的分散化;终端实时在线心跳监测技术,实现对在线监测终端进行实时监测。为解决电力流式数据的实时处理和存储问题,对建设电力大数据过程中涉及的技术进行研究。高效而可靠的完成电力大数据的处理,及时响应上层应用,快速完成输电设备性能评估。 展开更多
关键词 实时处理 流式数据 批处理
油气生产物联网的海量流式数据告警分析与处理 预览
8
作者 赵长军 《科技视界》 2017年第2期241-242,共2页
本文通过将油气生产物联网实时运行数据以数据流的方式,注入到Storm流式数据处理引擎中,并在引擎中加载各类告警规则,对实时运行的情况进行在线告警监测。通过利用Storm可对海量流式实时数据进行高速实时处理的优点,能够快速对大量的多... 本文通过将油气生产物联网实时运行数据以数据流的方式,注入到Storm流式数据处理引擎中,并在引擎中加载各类告警规则,对实时运行的情况进行在线告警监测。通过利用Storm可对海量流式实时数据进行高速实时处理的优点,能够快速对大量的多维度运行数据进行精确的分析处理;同时利用Storm的多层级处理方式,将各级输出数据组合为新的规则输入,实现各类告警规则的层层叠加,形成更为完善的分析体系,提升处理的准确性,达到提高油气生产的安全性的目的。 展开更多
关键词 STORM 告警分析 流式数据
在线阅读 下载PDF
基于Spark的分布式实时推荐系统 预览 被引量:1
9
作者 王佳娴 王中杰 《系统仿真技术》 2017年第2期158-161,共4页
提出了一个基于Spark的分布式实时推荐系统(RS)。该系统应用Movie Lens数据集,在Spark平台上实现了基于模型的协同过滤(CF)算法,并在Spark Streaming框架上运用该算法进行测试,评估实时推荐中算法的可靠性。
关键词 推荐系统(RS) 协同过滤(CF) 流式数据 SPARK
在线阅读 下载PDF
面向流式数据认证的变色龙认证树算法研究 预览
10
作者 黄雪刚 高天寒 李宇溪 《四川大学学报:工程科学版》 EI CAS CSCD 北大核心 2016年第2期139-144,共6页
针对流式数据应用的场景及其安全性需求,对流式数据认证相关内容进行研究,基于静态变色龙认证树算法,构造了针对流式数据的动态认证模型。动态变色龙认证树在初始化阶段不需要确定树的规模,在数据插入的过程中能够自适应地扩展规模,更... 针对流式数据应用的场景及其安全性需求,对流式数据认证相关内容进行研究,基于静态变色龙认证树算法,构造了针对流式数据的动态认证模型。动态变色龙认证树在初始化阶段不需要确定树的规模,在数据插入的过程中能够自适应地扩展规模,更适合流式数据环境。在这个算法模型下,实现流式数据的添加、查询、认证等操作。动态变色龙认证树算法插入数据更稳定,查询验证时返回的认证路径更短,因此减少了时间、空间开销,并且加快了验证效率。实验结果表明,动态变色龙认证树与静态变色龙认证树相比在插入、查询、验证效率上有了较大提升。 展开更多
关键词 流式数据 认证技术 变色龙 哈希函数
在线阅读 下载PDF
视频图像的云存储技术 预览
11
作者 王冠 《道路交通科学技术》 2015年第4期30-32,共3页
云存储技术具有统一管理、灵活安全等诸多优势和特点,但在进行视频图像数据存储时还有可以优化的空间。云存储系统可以使用更符合流式数据特点的存储方式,在不破坏数据完整性同时,可以根据精确的时间点坐标进行自定义的数据定位、查... 云存储技术具有统一管理、灵活安全等诸多优势和特点,但在进行视频图像数据存储时还有可以优化的空间。云存储系统可以使用更符合流式数据特点的存储方式,在不破坏数据完整性同时,可以根据精确的时间点坐标进行自定义的数据定位、查询、下栽、回放,视频图像数据的存储和使用效果会大幅提升。 展开更多
关键词 数据 云存储 分布式 虚拟化 视频图像 流式数据
在线阅读 下载PDF
面向流式数据的嵌入式文件系统 预览 被引量:1
12
作者 吴京洪 曾学文 +1 位作者 李明哲 陈君 《计算机工程》 CAS CSCD 北大核心 2015年第9期92-96,共5页
嵌入式服务器相对于传统服务器具有一定的特殊性和专用性,传统的文件系统难以满足特定嵌入式平台高效存储的需求。针对某特定嵌入式平台下大容量流式数据存储效率低下的问题,提出一种面向大容量流式数据的嵌入式文件系统SEFS,其中创... 嵌入式服务器相对于传统服务器具有一定的特殊性和专用性,传统的文件系统难以满足特定嵌入式平台高效存储的需求。针对某特定嵌入式平台下大容量流式数据存储效率低下的问题,提出一种面向大容量流式数据的嵌入式文件系统SEFS,其中创建文件时借助三层树状统计结构为新文件快速预分配存储空间,采用基于磁盘饱和度的均衡存储策略。实验结果表明,SEFS创建单个文件用时59ms,与Ext2和MSFS文件系统相比,读文件速率分别提升了8.63%和6.45%,写文件速率分别提升了6.48%和2.94%,并且具有较好的存储均衡性和稳定性。 展开更多
关键词 大容量 流式数据 嵌入式文件系统 预分配 磁盘饱和度
在线阅读 下载PDF
一种基于增量式BP神经网络的概念漂移数据流分类算法 被引量:1
13
作者 魏亚红 倪建成 《电子技术(上海)》 2015年第3期21-25,共5页
针对数据流时变性产生的概念漂移问题,在利用L-M算法优化BP神经网络的基础上,引入增量式学习机制,提出了一种具有动态自适应能力的概念漂移流式数据分类算法IBPNN-CDCA。实验结果表明,算法较之传统BP神经网络分类算法等具有更好的... 针对数据流时变性产生的概念漂移问题,在利用L-M算法优化BP神经网络的基础上,引入增量式学习机制,提出了一种具有动态自适应能力的概念漂移流式数据分类算法IBPNN-CDCA。实验结果表明,算法较之传统BP神经网络分类算法等具有更好的抗概念漂移能力,并且大幅度提高了分类准确度,从而为实时分类海量概念漂移数据提供了一种新方法。 展开更多
关键词 流式数据 概念漂移 分类 增量式学习 BP神经网络
基于流式感知数据的行为识别 预览
14
作者 朱平飞 卢耀宗 +1 位作者 罗艺闯 强劲 《电子科学技术》 2014年第1期102-105,共4页
行为识别侧重于通过使用传感器数据来推断当前用户的活动,典型的行为识别技术通常基于点对点的方法来处理传感器感知到的数据,其中,监督学习算法在该领域有广泛的应用。本文提出了一种基于聚类的分类算法来进行行为识别,该算法采用... 行为识别侧重于通过使用传感器数据来推断当前用户的活动,典型的行为识别技术通常基于点对点的方法来处理传感器感知到的数据,其中,监督学习算法在该领域有广泛的应用。本文提出了一种基于聚类的分类算法来进行行为识别,该算法采用增量式学习来挖掘数据流中的用户行为,通过将不同的活动行为赋予不同的类,融合监督、无监督和主动学习算法,并结合混合相似性度量方法建立一个鲁棒的识别系统。 展开更多
关键词 行为识别 流式数据 主动学习 增量学习 混合相似性度量
在线阅读 下载PDF
基于兴趣视图子集的流立方体计算方法 预览 被引量:2
15
作者 侯东风 张维明 +1 位作者 刘青宝 邓苏 《计算机研究与发展》 EI CSCD 北大核心 2011年第12期 2369-2378,共10页
流立方体计算是流式数据多维分析的重要基础,然而流式数据的动态性、无限性、突发性等特征使其面临巨大的挑战.在实际应用中,用户的兴趣通常集中在部分视图上,基于这个特点提出了一种基于兴趣视图子集的计算方法,依据用户历史查询信息... 流立方体计算是流式数据多维分析的重要基础,然而流式数据的动态性、无限性、突发性等特征使其面临巨大的挑战.在实际应用中,用户的兴趣通常集中在部分视图上,基于这个特点提出了一种基于兴趣视图子集的计算方法,依据用户历史查询信息确定兴趣视图子集与兴趣路径,同时定义了Stream-Tree结构用于在主存中物化存储兴趣视图子集所包含的数据单元,在运行过程中依据多层次时间窗口约束不断更新和维护Stream-Tree中存储的数据单元,而对于稀疏数据单元仅保留高层次的聚集值.实验和分析表明,该方法能够在有限的主存空间中维持流立方体当前窗口内的数据单元,同时能够支持快速更新维护存储结构和响应用户查询. 展开更多
关键词 流式数据 流立方体 多维分析 兴趣视图子集 多层次时间窗口
在线阅读 下载PDF
一种适应性的流式数据聚集计算方法 预览 被引量:6
16
作者 侯东风 刘青宝 +1 位作者 张维明 邓苏 《计算机科学》 CSCD 北大核心 2010年第3期 152-155,169,共5页
针对流式数据聚集查询问题,提出了一种基于适应性层次聚集树的计算方法。适应性层次聚集树结构基于多层次时间窗口模型,将距离当前时刻较近的数据保存为细粒度数据,而相对久远的数据仅保留高层聚集信息;适应性层次聚集树中粒度的划... 针对流式数据聚集查询问题,提出了一种基于适应性层次聚集树的计算方法。适应性层次聚集树结构基于多层次时间窗口模型,将距离当前时刻较近的数据保存为细粒度数据,而相对久远的数据仅保留高层聚集信息;适应性层次聚集树中粒度的划分取决于相应时间间隔的数据密度。稀疏密度的时间间隔对应粗粒度的划分,而高密度的间隔对应细粒度的划分。并且提出了相应的构建维护以及聚集查询计算方法。实验结果表明,该方法在非均匀分布条件下的流式数据聚集计算中具有较为明显的优势。 展开更多
关键词 流式数据 聚集计算 适应性层次聚集树 时间窗口
在线阅读 免费下载
流式数据多维模型 预览
17
作者 侯东风 陆昌辉 +1 位作者 刘青宝 张维明 《系统工程与电子技术》 EI CSCD 北大核心 2009年第8期2003-2007,共5页
流式数据固有的动态性、无限性等特征给流式数据的多维建模与分析带来了巨大的挑战。基于流式数据的这些特征,提出了一种相应的流式数据多维模型。该模型通过时间维度中多层次时间窗口的定义,刻画了流式数据的动态性和无限性,并且对快... 流式数据固有的动态性、无限性等特征给流式数据的多维建模与分析带来了巨大的挑战。基于流式数据的这些特征,提出了一种相应的流式数据多维模型。该模型通过时间维度中多层次时间窗口的定义,刻画了流式数据的动态性和无限性,并且对快照操作、持续操作以及动态维护等流式数据特有的操作形式进行了描述,从而为流式数据多维查询与分析奠定了理论基础。 展开更多
关键词 流式数据 多维数据模型 时间维度 快照操作 持续操作
在线阅读 下载PDF
MRST-- An Efficient Monitoring Technology of Summarization on Stream Data
18
作者 樊小泊 解婷婷 +1 位作者 李翠平 陈红 《计算机科学技术学报:英文版》 SCIE EI CSCD 2007年第2期190-196,共7页
在数据流上监视是获得数据流的人物的一个有效方法。然而,为每数据流的可用资源是有限的,因此怎么使用有限资源处理无限的数据流的问题是一个开的质问问题。在这篇论文,我们采用小浪和滑动窗口方法设计多决定摘要数据结构,能与输入... 在数据流上监视是获得数据流的人物的一个有效方法。然而,为每数据流的可用资源是有限的,因此怎么使用有限资源处理无限的数据流的问题是一个开的质问问题。在这篇论文,我们采用小浪和滑动窗口方法设计多决定摘要数据结构,能与输入数据逐渐地被更新的多决定摘要树(MRST ) 和罐头支持削尖询问,范围查询,多点的询问并且保留询问的精确。我们使用合成数据和真实世界的数据评估我们的算法。实验的结果显示质问的效率和 MRST 的适应性超过了当前的算法,同时它的实现比其它简单。电子增补材料电子增补材料为在 http://dx.doi.org/10.1007/s11390-007-9025-7 的这篇文章是可得到的并且为授权的用户可存取。 展开更多
关键词 流式数据 数据流监测 数据结构 数据采集
流式数据挖掘的现状及统计学的研究趋势 预览 被引量:3
19
作者 朱建平 来升强 《统计研究》 CSSCI 北大核心 2007年第7期 84-87,共4页
本文对近年来在国内外学术界涌现出的流式数据挖掘的研究成果进行剖析,分析了流式数据挖掘的研究现状。在此基础上,提出了统计学在流式数据挖掘研究中的发展趋势,以便更好地促进统计学和数据挖掘的结合,拓展统计学方法的研究思路。
关键词 流式数据 数据挖掘 统计学
在线阅读 下载PDF
面向快速响应的电网在线分析系统架构
20
作者 赵林 周二专 +2 位作者 范泽龙 冯东豪 袁启海 《电力系统自动化》 EI CSCD 北大核心 2019年第18期95-101,共7页
针对当前电网调控系统运行对在线分析提出更高时效性的需求,将流式数据处理、分布式实时数据库、内存数据网格等技术进行综合研究,提出了一种优化在线分析速率的系统架构,并基于该架构建立了一套面向快速响应的电网在线分析系统。通过... 针对当前电网调控系统运行对在线分析提出更高时效性的需求,将流式数据处理、分布式实时数据库、内存数据网格等技术进行综合研究,提出了一种优化在线分析速率的系统架构,并基于该架构建立了一套面向快速响应的电网在线分析系统。通过该系统可有效缩短在线分析从数据采集到完成分析的整体时间,从而能够快速跟踪电网运行方式变化。 展开更多
关键词 流式数据处理 分布式实时数据 内存数据网格 快速响应
上一页 1 2 3 下一页 到第
使用帮助 返回顶部 意见反馈