期刊文献+
共找到384篇文章
< 1 2 20 >
每页显示 20 50 100
HBase下基于列编码的访问控制搜索树 预览
1
作者 端家鑫 接鑫 +1 位作者 陈宇娥 郭丽红 《工业控制计算机》 2019年第7期59-61,共3页
近年来,由于Hbase适用于海量半结构化和非结构化数据存储,伸缩性较好,受到越来越多企业的青睐,但是当检测用户访问权限时,HBase细分到了表中某些列,在列的数量较多的情况下,它的实时访问权限检测效率不理想。从叠加树的角度,基于列编码... 近年来,由于Hbase适用于海量半结构化和非结构化数据存储,伸缩性较好,受到越来越多企业的青睐,但是当检测用户访问权限时,HBase细分到了表中某些列,在列的数量较多的情况下,它的实时访问权限检测效率不理想。从叠加树的角度,基于列编码通过搜索树中叶节点的方式来获取访问权限,在保证安全性的情况下,减少了搜索时间的开销。 展开更多
关键词 HBASE 访问控制 搜索树 搜索效率
在线阅读 下载PDF
基于HBase的农作物病虫害数据存储系统的研究与实现 预览
2
作者 董萌萍 牟少敏 +1 位作者 曹旨昊 孙肖肖 《山东农业大学学报:自然科学版》 北大核心 2019年第2期264-269,共6页
农作物病虫害数据具有多源、异构和海量等特征,传统的数据存储方法和系统存在存储效率低和扩展性弱等问题。针对这些问题,本文设计与实现了一种基于HBase的农作物病虫害数据存储系统,并将其应用于山东省小麦和玉米病虫害数据存储中。该... 农作物病虫害数据具有多源、异构和海量等特征,传统的数据存储方法和系统存在存储效率低和扩展性弱等问题。针对这些问题,本文设计与实现了一种基于HBase的农作物病虫害数据存储系统,并将其应用于山东省小麦和玉米病虫害数据存储中。该系统能够对病虫害数据进行持久化存储,对多源异构数据进行统一管理,对新型数据可扩展性强,弥补了传统关系数据库的不足,为大数据环境下的小麦和玉米病虫害数据存储提供了新方法。 展开更多
关键词 HBASE 病虫害数据 大数据 数据库
在线阅读 下载PDF
基于大数据HBase的电子病历智能全文检索系统研究 预览
3
作者 黄晓琴 戴静娟 徐海东 《中国数字医学》 2019年第5期27-29,共3页
针对当前医院临床信息系统中的检查报告、检验报告、电子病历等只能通过对一些结构化的数据库进行信息查询,如病人的检查ID号、性别、检查时间等结构化条件,然后通过病历相应的存储规则匹配找到,不能实现病历内容的全文检索。自主研发... 针对当前医院临床信息系统中的检查报告、检验报告、电子病历等只能通过对一些结构化的数据库进行信息查询,如病人的检查ID号、性别、检查时间等结构化条件,然后通过病历相应的存储规则匹配找到,不能实现病历内容的全文检索。自主研发了基于大数据HBase技术的临床智能搜索引擎,通过搜索引擎技术破解了非结构化临床信息检索的难题,实现了在220万份临床文件通过关键词检索仅需要25ms以内的查询速度,并对医疗领域中文自然语言处理的关键技术进行了深入剖析。 展开更多
关键词 电子病历 大数据 全文智能检索 HBASE
在线阅读 下载PDF
面向HBase的大数据脱敏技术实践 预览
4
作者 王明 张海洋 +1 位作者 王步放 付征 《电子技术与软件工程》 2019年第19期164-167,共4页
本文主要从技术角度讨论民航海量旅客敏感信息在当下最流行的分布式的、面向列的开源大数据数据库HBase的脱敏技术实践,介绍了HBase脱敏的过程中如何解决性能、权限等一系列问题,最终在兼顾了算法、性能和易用性的诸多要求下圆满完成脱... 本文主要从技术角度讨论民航海量旅客敏感信息在当下最流行的分布式的、面向列的开源大数据数据库HBase的脱敏技术实践,介绍了HBase脱敏的过程中如何解决性能、权限等一系列问题,最终在兼顾了算法、性能和易用性的诸多要求下圆满完成脱敏任务的过程。 展开更多
关键词 旅客敏感数据 数据保护 数据脱敏 HBASE HBase脱敏
在线阅读 下载PDF
基于海量数据的HBase写入性能测试与优化 预览
5
作者 青欣 文伟军 +1 位作者 金星 姜镇 《电脑知识与技术:学术版》 2019年第2X期9-13,共5页
HBase解决了大规模数据的结构化存储和实时的随机读写访问,但HBase提供的API在大规模数据批量写入等方面存在着性能瓶颈,不能很好地满足应用需求。本文提出了基于MapReduce架构实现HBase的性能优化方案,并设计了分布式程序进行验证,实... HBase解决了大规模数据的结构化存储和实时的随机读写访问,但HBase提供的API在大规模数据批量写入等方面存在着性能瓶颈,不能很好地满足应用需求。本文提出了基于MapReduce架构实现HBase的性能优化方案,并设计了分布式程序进行验证,实验表明在海量数据应用条件下采用MapReduce计算框架能够利用HBase集群的计算性能,相比传统的单线程和多线程数据写入方式具有更好的实用性和有效性,同时结合这三类数据写入方式的性能特征提出了以写入数据量为依据的选择策略。 展开更多
关键词 MAPREDUCE HADOOP HBASE 海量数据
在线阅读 下载PDF
天气雷达业务系统设计与实现
6
作者 张玉洁 房岩松 +1 位作者 陈庆亮 郭海涛 《现代雷达》 CSCD 北大核心 2019年第4期7-11,17共6页
针对目前天气雷达业务应用中存在的数据质控业务系统缺乏,数据质控算法不完善的问题,设计开发了天气雷达业务系统,实现了天气雷达数据的质量控制、数据生成、产品处理及三维前台展示,建立了雷达数据质控评估指标及数据标准统一的业务流... 针对目前天气雷达业务应用中存在的数据质控业务系统缺乏,数据质控算法不完善的问题,设计开发了天气雷达业务系统,实现了天气雷达数据的质量控制、数据生成、产品处理及三维前台展示,建立了雷达数据质控评估指标及数据标准统一的业务流程。同时,系统采用Java、C/C++和Python语言开发,提升了运行效率。利用MongDB和Hbase数据库技术,解决了雷达产品的数据存储及查询瓶颈问题。在数据可视化展示上采用WebGL技术进行革新,实现了基于B/S架构的三维数据展示。 展开更多
关键词 天气雷达 数据质量控制 MongDB数据库 Hbase数据库 三维数据显示
基于Thrift的HBase数据存储机制优化 预览
7
作者 温振蕙 樊永生 余红英 《科学技术与工程》 北大核心 2019年第6期185-189,共5页
针对Thrift接口服务定义的IDL对HBase数据库按行存储,当数据量大时频繁进行数据请求操作,增加服务调用时间,影响数据通信性能的问题,在详细分析Thrift源码架构基础上,提出了一种新的Thrift IDL设计模型。该模型重新定义了数据传输结构,... 针对Thrift接口服务定义的IDL对HBase数据库按行存储,当数据量大时频繁进行数据请求操作,增加服务调用时间,影响数据通信性能的问题,在详细分析Thrift源码架构基础上,提出了一种新的Thrift IDL设计模型。该模型重新定义了数据传输结构,将多行数据绑定在一起,经过一次RPC调用即可完成多行数据按块存储;采用新的IDL模型,修改了HBase Thrift 服务端的接口以及客户端的非阻塞实现。理论分析和实验结果表明,该方法可有效降低IDL向服务端发送数据操作请求频率,使得HBase储存效率提高4~5倍。 展开更多
关键词 HBASE THRIFT 远程访问 IDL 大数据
在线阅读 免费下载
Hbase行键优化设计与热点防治策略 预览
8
作者 陈玉林 王武 《信息与电脑》 2019年第15期145-146,共2页
信息系统支撑的业务量非常大的情况下,从数据量及查询要求来看首选HBase。HBase是一个分布式、面向列的数据库,适合存储非结构化数据,在现今大数据时代得到了广泛的应用。基于此,介绍HBase数据库中行键的主要特点,以Warehose数据表为例... 信息系统支撑的业务量非常大的情况下,从数据量及查询要求来看首选HBase。HBase是一个分布式、面向列的数据库,适合存储非结构化数据,在现今大数据时代得到了广泛的应用。基于此,介绍HBase数据库中行键的主要特点,以Warehose数据表为例,分析行键如何设计,考虑到HBase的负载均衡现象,分析可能出现的热点问题并提出通过加盐、Hash散列、反转三种方式进行防治。 展开更多
关键词 HBASE 行键 热点防治
在线阅读 下载PDF
面向大数据存储的HBase二级索引设计 预览
9
作者 李斌 郭景维 彭骞 《计算技术与自动化》 2019年第2期124-129,共6页
针对HBase缺乏二级索引的功能,导致在非行键列上的查询需要使用过滤器并配合全表扫描完来完成。在大数据的场景下性能较差的问题,结合HBase表行键的索引结构与关系型数据库的二级索引结构提出了索引列值聚集的二级索引解决方案。此外,... 针对HBase缺乏二级索引的功能,导致在非行键列上的查询需要使用过滤器并配合全表扫描完来完成。在大数据的场景下性能较差的问题,结合HBase表行键的索引结构与关系型数据库的二级索引结构提出了索引列值聚集的二级索引解决方案。此外,还提出二级索引机制的支持联合索引与特殊的索引列值的处理,提高了二级索引的性能并拓宽了二级索引的适用场景。最后,通过构建系统测试证明了二级索引极大地提高了HBase的查询效率。 展开更多
关键词 计算机软件 HBASE 二级索引 聚集 转义
在线阅读 下载PDF
基于Spark/HBase的交通流数据存储及索引模型探讨 预览
10
作者 李欣 《地理与地理信息科学》 CSCD 北大核心 2019年第4期1-8,共8页
为了对海量增长的交通流数据进行处理和管理,需要基于大数据框架设计更加高效的数据存储及索引模型,以满足智能交通应用的需求。该文设计了基于Spark/HBase的系统架构以及基于混合时空编码行键和动态扩展属性列族的交通流数据存储及索... 为了对海量增长的交通流数据进行处理和管理,需要基于大数据框架设计更加高效的数据存储及索引模型,以满足智能交通应用的需求。该文设计了基于Spark/HBase的系统架构以及基于混合时空编码行键和动态扩展属性列族的交通流数据存储及索引模型,并在此模型基础上,通过语义解析、时空行键索引查询、并行属性条件过滤实现交通流大数据高效语义查询。对比实验证明,该文设计的交通流大数据并行处理框架在清洗、索引和存储数据时运算高效,构建的混合时空编码行键索引时空权重均衡,能够实现更加高效的交通流大数据访存管理,可为智能交通应用提供技术基础。 展开更多
关键词 SPARK HBASE 交通流 时空编码行键 语义查询
在线阅读 免费下载
基于HBase的海量冠字号码多维索引研究 预览
11
作者 张艺 张重阳 《计算机与数字工程》 2019年第1期195-200,共6页
传统的关系型数据库在处理海量冠字号码数据时面临巨大挑战,系统扩展成本高,难度大。为此,论文采用HBase技术来解决海量冠字号码的存储与查询问题。HBase是云计算平台中一种典型的分布式数据库,对处理海量数据有着很大的优势。由于HBas... 传统的关系型数据库在处理海量冠字号码数据时面临巨大挑战,系统扩展成本高,难度大。为此,论文采用HBase技术来解决海量冠字号码的存储与查询问题。HBase是云计算平台中一种典型的分布式数据库,对处理海量数据有着很大的优势。由于HBase是基于键值对形式的非关系型数据库,只提供了键值这一种索引方式,所以在实际应用中很难满足多维查询的需求。为了解决这一问题,论文提出了一种基于时间序列与空间曲线结合的索引方式。经理论分析与实验结果证明,该方法能有效支持高吞吐量和多维查询,具有更好的效率。 展开更多
关键词 冠字号码 HBASE 空间曲线 多维索引
在线阅读 下载PDF
电能质量在线监测系统海量数据的双列族存储设计 预览
12
作者 屈志坚 袁慎高 范明明 《电力系统保护与控制》 CSCD 北大核心 2019年第2期154-160,共7页
针对高效存储海量电能质量在线监测数据的问题,提出一种基于HBase的双列族电能质量在线监测系统数据库设计新方法。通过将HBase的列族存储架构应用到繁杂的电能质量在线监测数据的高效存储中,然后构造存储优化函数来寻找和设计最优的电... 针对高效存储海量电能质量在线监测数据的问题,提出一种基于HBase的双列族电能质量在线监测系统数据库设计新方法。通过将HBase的列族存储架构应用到繁杂的电能质量在线监测数据的高效存储中,然后构造存储优化函数来寻找和设计最优的电能质量在线监测数据存储结构。最后进行几种不同列族数的数据读写时间的对比实验。实验证明:所提的电能质量监测数据双列族存储设计方法可以高效存储海量电能质量监测数据,具有较好的可行性。 展开更多
关键词 海量数据 电能质量 列族 HBASE 存储结构
在线阅读 下载PDF
基于IFC标准的建筑信息模型分布式大数据平台存储技术研究 预览
13
作者 陈远 胡航 岳石花 《计算机应用与软件》 北大核心 2019年第2期125-130,173共7页
随着建筑信息模型的规模和复杂性不断增加,利用单台计算机处理海量BIM数据的存储和分析变得越来越困难。传统的关系数据库、面向对象数据库等已经无法满足当下建筑业海量和多样化的数据存储和管理的需求。而大数据技术的出现为建筑信息... 随着建筑信息模型的规模和复杂性不断增加,利用单台计算机处理海量BIM数据的存储和分析变得越来越困难。传统的关系数据库、面向对象数据库等已经无法满足当下建筑业海量和多样化的数据存储和管理的需求。而大数据技术的出现为建筑信息模型海量数据的存储、管理和分析带来极大的潜力。利用大数据技术管理BIM结构化和非结构化数据的优势,探讨分布式大数据平台Hadoop和HBase数据库整体架构和存储模型;制定基于HBase数据库存储IFC(工业基础类)结构化数据和非结构化数据的策略及数据表格的设计;建立基于Hadoop和HBase大数据环境的建筑信息模型存储系统,实现对IFC数据的基本管理操作。通过实际案例验证该系统的可行性。 展开更多
关键词 建筑信息模型 IFC HADOOP HBASE
在线阅读 下载PDF
基于HBase的列存储压缩策略的选择优化 预览 被引量:1
14
作者 孙靖超 芦天亮 《计算机应用研究》 CSCD 北大核心 2019年第5期1419-1423,共5页
为解决现有列存储数据库压缩策略在压缩过程中遇到的数据离散程度大、分类粒度小、配套分类算法缺陷导致的学习成本高、压缩效率难以保证的问题,提出了一种基于排序的列区混合压缩策略。首先根据HBase特点设计了一种对各列数据进行排序... 为解决现有列存储数据库压缩策略在压缩过程中遇到的数据离散程度大、分类粒度小、配套分类算法缺陷导致的学习成本高、压缩效率难以保证的问题,提出了一种基于排序的列区混合压缩策略。首先根据HBase特点设计了一种对各列数据进行排序的方法加强数据紧密度,然后根据数据特点分别使用混级区压缩策略和混级列压缩策略进行压缩策略推荐,在TPC-DS标准数据集上与前人策略进行比较。实验结果显示,该方法在压缩率、压缩/解压时间方面均有优异的表现,从而证明了其有效性。 展开更多
关键词 列存储 数据压缩 HBASE 压缩策略选择方法
在线阅读 下载PDF
高速铁路道岔异构数据在Hbase上的云存储方案 预览
15
作者 张志哲 徐田华 李波 《铁路计算机应用》 2019年第1期9-14,共6页
实现健康预测管理(PHM)可以提高信号设备的运行安全性、系统可靠性和可维修性,道岔设备的数据对其PHM的研究有重要意义。目前,高速铁路道岔监测数据存储架构难以满足PHM海量异构历史数据存储问题,结合道岔监控数据以及道岔缺口监测图像... 实现健康预测管理(PHM)可以提高信号设备的运行安全性、系统可靠性和可维修性,道岔设备的数据对其PHM的研究有重要意义。目前,高速铁路道岔监测数据存储架构难以满足PHM海量异构历史数据存储问题,结合道岔监控数据以及道岔缺口监测图像等异构数据,引入大数据技术中的Hbase非结构化数据存储理念,提出高速铁路道岔设备海量异构数据的云存储及查询管理方案。针对图像数据尺寸不一致的问题,提出基于MapReduce的优化图像分块存储算法,实现高速铁路道岔异构数据的Hbase云存储,在实验室环境搭建平台对方案进行验证。结果表明:从MySQL到Hbase迁移10GB历史数据约为15min,在数量到达20万条以上时Hbase查询性能优于MySQL。通过MapReduce优化图像数据分块算法,存储速度得到提升。该方案对高速铁路道岔设备PHM中海量异构数据的存储提供了理论和技术支撑。 展开更多
关键词 高速铁路 道岔异构数据 HBASE 云存储 MAPREDUCE 图像分块算法 健康预测管理
在线阅读 免费下载
基于NoSQL数据库的农田物联网云存储系统设计与实现 预览 被引量:2
16
作者 许鑫 时雷 +2 位作者 何龙 张浩 马新明 《农业工程学报》 EI CAS CSCD 北大核心 2019年第1期172-179,共8页
为了解决农田物联网大量图像、视频和传感器等结构化和非结构化数据实时处理与写入问题,该文基于分布式存储与NoSQL(Not Only SQL)技术,结合农田物联网数据特征,利用HDFS(Hadoop Distributed File System)和HBase(Hadoop Database)存储... 为了解决农田物联网大量图像、视频和传感器等结构化和非结构化数据实时处理与写入问题,该文基于分布式存储与NoSQL(Not Only SQL)技术,结合农田物联网数据特征,利用HDFS(Hadoop Distributed File System)和HBase(Hadoop Database)存储非结构化和结构化数据,基于Redis缓存服务,设计了三层物联网数据云存储框架,实现了海量农田物联网数据存储中的业务处理、事务处理、图片打包与索引、负载均衡等关键技术。面对复杂业务下的事务数据一致性,该文采用基于HLock的乐观锁机制,实现了HBase对强事务性的支持,经过与传统MySQL集群事务对比测试,当数据量级在500万时,数据读取效率提升达35.75%。为了提高农田物联网中大量的小图片和小文件处理效率,基于图片打包合并策略,利用SequenceFile技术实现物联图片的快速索引读写技术,与原生HDFS存储效率相比,读写效率提升30%以上。该研究可以为海量农业物联网数据的存储和管理提供技术参考和理论支撑。 展开更多
关键词 农田 数据存储系统 管理 物联网 NOSQL Hadoop HBASE 云存储
在线阅读 下载PDF
基于HBase的大数据平台负载均衡算法分析与优化 预览 被引量:1
17
作者 邵芳 王勇 《软件导刊》 2019年第1期104-107,共4页
HBase原有负载均衡算法策略是保证每个Region Server的Region数目相同。但每个Region的访问并不均等,可能造成负载不均衡情况,产生热点数据,影响请求响应效率。部分Region会成为热点,导致一些Re?gion Server负载过重。为提高HBase数据... HBase原有负载均衡算法策略是保证每个Region Server的Region数目相同。但每个Region的访问并不均等,可能造成负载不均衡情况,产生热点数据,影响请求响应效率。部分Region会成为热点,导致一些Re?gion Server负载过重。为提高HBase数据库整体性能,将数据热度因素考虑在内,使用预测方法设计HBase负载均衡算法,把预测数据的热度作为Region Server负载。实验表明,优化后的负载均衡算法可在一定程度上提高HBase数据库性能。 展开更多
关键词 HBASE 大数据 负载均衡 热点数据 预测
在线阅读 免费下载
DMA漏损控制大数据处理模式
18
作者 马金锋 陈求稳 +3 位作者 徐强 饶凯锋 安伟 马梅 《中国给水排水》 CAS CSCD 北大核心 2019年第10期36-41,共6页
管网独立计量分区(DMA)管理是目前供水管网漏损控制的主要措施之一,日益受到自来水公司的重视。随着传感器成本的降低,数据采集越来越密集,产生的海量数据对传统数据处理和分析模式提出挑战,导致供水企业对传感器投入的效益比偏低。大... 管网独立计量分区(DMA)管理是目前供水管网漏损控制的主要措施之一,日益受到自来水公司的重视。随着传感器成本的降低,数据采集越来越密集,产生的海量数据对传统数据处理和分析模式提出挑战,导致供水企业对传感器投入的效益比偏低。大数据技术的发展为DMA有效管理提供技术支撑,基于大数据技术指导DMA漏损控制决策成为必然趋势。阐述了大数据技术在DMA管理中的应用价值,从数据采集、汇聚、传输、存储、计算及应用角度,论述了适用于DMA数据处理和决策分析的大数据处理模式,并实例验证了模式的可行性。该模式具有通用性,能够实现整套模式的移植使用,可为大中型供水企业的DMA数据管理及应用提供技术支持。 展开更多
关键词 供水管网 独立计量分区 大数据 Hadoop HBASE MAPREDUCE
面向电能质量数据采集的蚁群优化算法 预览
19
作者 王嘉怡 房俊 高鹏 《计算机与数字工程》 2019年第3期524-529,共6页
现有电网的数据采集一般采用集中式,单节点的方式,采集效率低,难以适应海量电能质量数据的采集需求。论文扩展数据接收处理节点,结合电能质量数据的特点,提出适用于电网电能质量数据采集的蚁群优化算法,实现服务器负载均衡,提升数据收... 现有电网的数据采集一般采用集中式,单节点的方式,采集效率低,难以适应海量电能质量数据的采集需求。论文扩展数据接收处理节点,结合电能质量数据的特点,提出适用于电网电能质量数据采集的蚁群优化算法,实现服务器负载均衡,提升数据收取效率。通过对电能质量数据采集的调度进行实验测试,实验结果表明:基于蚁群优化算法的调度写入速度约为现有数据调度方法的2.65倍,各接收服务器的数据分配比例基本维持在0.3~0.4;蚁群优化算法在服务器负载差异较小时,降低任务分配的随机性,分配比接近1:1:1;在服务器负载差异较大时,降低任务集中分配单一节点的概率,实现资源合理利用。找到蚁群优化算法相关参数组合的最佳取值范围,使任务平均耗时减少约3.7s。通过实验验证蚁群优化算法的可行性和有效性。 展开更多
关键词 蚁群算法 负载均衡 任务调度 HBASE
在线阅读 下载PDF
基于Hadoop平台的岗位推荐系统设计 预览
20
作者 顾军林 刘玮玮 陈冠宇 《现代电子技术》 北大核心 2019年第20期123-127,共5页
针对当前学生择业难而学校人才培养无法满足当前社会实际需求的问题,提出基于Hadoop平台的大数据就业岗位推荐系统。该系统利用爬虫技术爬取互联网招聘网站上的海量岗位信息,并对岗位信息进行整理、清洗、分析,HBase作为数据存储,将数... 针对当前学生择业难而学校人才培养无法满足当前社会实际需求的问题,提出基于Hadoop平台的大数据就业岗位推荐系统。该系统利用爬虫技术爬取互联网招聘网站上的海量岗位信息,并对岗位信息进行整理、清洗、分析,HBase作为数据存储,将数据制作成图表,给用户直观体验;根据用户提供的用户技能为用户筛选出合适的岗位,实现岗位的精确推荐。 展开更多
关键词 岗位推荐 HADOOP平台 爬虫技术 信息处理 HBASE 功能实现
在线阅读 下载PDF
上一页 1 2 20 下一页 到第
使用帮助 返回顶部 意见反馈