期刊文献+
共找到323篇文章
< 1 2 17 >
每页显示 20 50 100
基于大数据的分布式文件系统技术研究 预览 被引量:1
1
作者 张海涛 张文娟 《电子测试》 2019年第4期82-83,共2页
随着我国计算机网络水平不断提升,互联网企业也在不断加强数据处理工作,确保可以更好的应对大规模数据处理需求。从当今数据发展现状来看,数据存储量大是十分典型的特征,而传统分布式文件系统已经无法满足海量数据存储、处理工作,这就... 随着我国计算机网络水平不断提升,互联网企业也在不断加强数据处理工作,确保可以更好的应对大规模数据处理需求。从当今数据发展现状来看,数据存储量大是十分典型的特征,而传统分布式文件系统已经无法满足海量数据存储、处理工作,这就需要结合大数据技术,加强新型分布式文件系统研究。本文首先提出大数据、clover相关含义,进而提出基于大数据的分布式文件系统方案。 展开更多
关键词 分布式文件系统 大数据 CLOVER 技术
在线阅读 下载PDF
一种通用的工业大数据应用中海量对象存储方法实现
2
作者 黄明 赵若尘 张云龙 《冶金自动化》 2019年第1期42-46,共5页
随着工业大数据的蓬勃发展,海量产生的各类数据同时也推动了数据存储需求的不断变化,以往只能短期存储的数据存储方式逐步向长期存储的方式转变,存储数据的类型也变得更加多样化。Hadoop大数据生态软件以其低廉的硬件需求在工业大数据... 随着工业大数据的蓬勃发展,海量产生的各类数据同时也推动了数据存储需求的不断变化,以往只能短期存储的数据存储方式逐步向长期存储的方式转变,存储数据的类型也变得更加多样化。Hadoop大数据生态软件以其低廉的硬件需求在工业大数据领域中拥有巨大的先天优势,然而其原本的HDFS分布式文件系统并不适用于海量小文件的存储需求,相反Hbase以其支持随机读写的低延时访问优势弥补了HDFS的不足。因此本文将两者的优点进行有效结合,设计并实现了一种通用的适用于工业大数据场景下的海量对象存储方案。 展开更多
关键词 工业大数据 对象存储 海量 通用 分布式文件系统 小文件
基于Hadoop的大气污染物质量浓度预测系统设计
3
作者 丁凡 马敏劲 +1 位作者 胡昱全 胡国辉 《兰州大学学报:自然科学版》 CAS CSCD 北大核心 2019年第4期472-475,484共5页
针对大气污染物质量浓度预测及其大规模数据计算问题,设计了一种基于随机森林算法的污染物质量浓度预测算法,采用MapReduce并行计算框架并行化计算空气质量指数,实现了基于Hadoop平台的空气污染物质量浓度预测系统.通过试验比较了基于... 针对大气污染物质量浓度预测及其大规模数据计算问题,设计了一种基于随机森林算法的污染物质量浓度预测算法,采用MapReduce并行计算框架并行化计算空气质量指数,实现了基于Hadoop平台的空气污染物质量浓度预测系统.通过试验比较了基于随机森林算法和基于线性拟合算法的计算结果,显示本算法能够有效降低大气污染物质量浓度的预测误差. 展开更多
关键词 分布式文件系统 HADOOP 随机森林算法 空气质量指数
一种面向工业互联网的云存储方法
4
作者 孟祥曦 张凌 +4 位作者 郭皓明 郭黎敏 夏乾臣 吕江花 马世龙 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2019年第1期130-140,共11页
工业互联网是工业信息化进程中最受关注的热点,海量异构数据管理是其中的重点之一。传统的关系数据库(RDB)对海量多源异构数据的读写和检索都存在性能瓶颈,而近年来兴起的云数据管理方法主要是针对'键-值'(K-V)模式,无法依靠主... 工业互联网是工业信息化进程中最受关注的热点,海量异构数据管理是其中的重点之一。传统的关系数据库(RDB)对海量多源异构数据的读写和检索都存在性能瓶颈,而近年来兴起的云数据管理方法主要是针对'键-值'(K-V)模式,无法依靠主键以外的数据属性对数据进行快速查找。提出了一种面向工业互联网的云存储方法——StoreCDB,在异构采样数据统一表达数据模型基础上,实现非结构化存储管理,同时,利用两级索引实现海量数据的快速检索。通过实验,在分布式集群实验平台上,采用海量高铁列车运行模拟数据,验证了StoreCDB具有良好的异构数据存储和检索性能,为工业互联网提供了一种新的数据管理方法。 展开更多
关键词 工业互联网 异构数据 海量数据管理 分布式文件系统 分级索引
应用分布式存储技术优化省级CIMISS数据服务能力 预览
5
作者 宋智 徐晓莉 +2 位作者 张常亮 向筱铭 杨雪 《气象科技》 2019年第3期433-438,共6页
随着气象数据量的不断增长,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储系统动态扩展能力不足、并行计算与吞吐效率低下等限制CIMISS继续发展的问题,采用分布式文件系统和NAS技术替代GPFS建设共享文件系统,实现... 随着气象数据量的不断增长,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储系统动态扩展能力不足、并行计算与吞吐效率低下等限制CIMISS继续发展的问题,采用分布式文件系统和NAS技术替代GPFS建设共享文件系统,实现非结构化气象数据的存储功能;采用分布式数据库替代Oracle RAC建设关系数据库管理系统,实现结构化气象数据的存储功能和非结构化气象数据的索引功能。实践证明,该方案能够有效地改善CIMISS的数据存储能力、并发响应能力,适应未来气象业务对数据存储和应用的需求。 展开更多
关键词 CIMISS 分布式文件系统 共享文件系统 分布式数据库 关系数据库
在线阅读 下载PDF
分布式日志采集系统设计 预览
6
作者 代乾坤 《电脑知识与技术:学术版》 2019年第6Z期9-11,共3页
应用系统的分布式部署已成为应用程序高扩展、高并发性能的必然要求。分布式应用系统部署为业务系统的监控带来一定的难题。基于全国芯片印章多中心模式部署现状,在调研现有日志采集系统的基础上,结合业务流程、数据特点,设计了一套高... 应用系统的分布式部署已成为应用程序高扩展、高并发性能的必然要求。分布式应用系统部署为业务系统的监控带来一定的难题。基于全国芯片印章多中心模式部署现状,在调研现有日志采集系统的基础上,结合业务流程、数据特点,设计了一套高效可行的分布式日志采集系统。 展开更多
关键词 分布式文件系统 非结构化存储 面向切面编程 消息中间件 SATA
在线阅读 下载PDF
面向空间大数据的分布式存储策略 预览 被引量:2
7
作者 唐桂文 韩嘉福 李洪省 《计算机技术与发展》 2019年第3期194-197,共4页
云计算、物联网、互联网等的发展使社会进入了大数据时代,空间大数据是大数据的主体数据集之一,在国民经济和社会各领域应用广泛。空间大数据要发挥价值就需要在数据共享上做出突破,因此将空间大数据进行有效存储和管理是数据共享及利... 云计算、物联网、互联网等的发展使社会进入了大数据时代,空间大数据是大数据的主体数据集之一,在国民经济和社会各领域应用广泛。空间大数据要发挥价值就需要在数据共享上做出突破,因此将空间大数据进行有效存储和管理是数据共享及利用所目前面临的问题。通过分析比较目前大数据存储的主要技术,提出了一种基于iSCSI技术的分布式数据库和分布式文件系统相结合的空间大数据存储策略。采用iSCSI技术构建分布式Oracel RAC,完成对空间大数据中的矢量数据、影像和其他数据索引的存储。结合工作实践将这种存储策略应用到空间大数据管理中,验证了该策略的可靠性和可行性,对空间大数据的管理及应用有一定的参考价值。 展开更多
关键词 空间大数据 iSCSI网络存储技术 分布式文件系统 分布式数据库
在线阅读 下载PDF
基于云芯一号的分布式文件系统设计与实现 预览
8
作者 王界兵 王文利 董迪马 《信息技术与网络安全》 2019年第3期86-90,共5页
随着大数据现代化的逐步推进以及各类大数据处理技术的快速发展,各种类型的数据量已呈指数级增长。与此同时,分布式文件处理技术也是日新月异,公众对处理系统的硬件和平台环境的要求也越来越高。因此,提出基于云芯一号硬件加速卡的分布... 随着大数据现代化的逐步推进以及各类大数据处理技术的快速发展,各种类型的数据量已呈指数级增长。与此同时,分布式文件处理技术也是日新月异,公众对处理系统的硬件和平台环境的要求也越来越高。因此,提出基于云芯一号硬件加速卡的分布式系统设计,在传统的X86架构上进行硬件扩充和优化,并采用Hadoop分布式文件系统对大量数据进行处理。通过不同平台环境的实验结果对比,得出无论是在纯文件压缩上还是HDFS平台中文件的写入读取速度上,提出的系统都远远优于传统压缩方式,为后续工作带了更好的创新方向和架构支撑。 展开更多
关键词 分布式文件系统 硬件加速 文件压缩
在线阅读 下载PDF
基于大数据分析的分布式文件系统关键技术 预览
9
作者 田英 《信息与电脑》 2019年第15期140-141,共2页
我国在互联网应用方面具有很高的应用水平,这得益于我国互联网数据分析与处理技术的提升,该项技术也是各大互联网企业赖以生存的重要技术之一。随着当前互联网信息数据产生速度的不断加快,导致信息规模持续扩展,互联网为了维持正常的应... 我国在互联网应用方面具有很高的应用水平,这得益于我国互联网数据分析与处理技术的提升,该项技术也是各大互联网企业赖以生存的重要技术之一。随着当前互联网信息数据产生速度的不断加快,导致信息规模持续扩展,互联网为了维持正常的应用功能,对数据存储功能提出了更高的要求。但是,当前分布式文件系统已难以满足人们的使用需求。基于此,分析了当前大数据形势下的分布式文件系统的一些关键性技术。 展开更多
关键词 大数据 分布式文件系统 关键技术
在线阅读 下载PDF
基于MapReduce的并行异常检测算法 预览 被引量:1
10
作者 齐小刚 胡秋秋 刘立芳 《智能系统学报》 CSCD 北大核心 2019年第2期224-230,共7页
为了提高数据挖掘中异常检测算法在数据量增大时的准确度、灵敏度和执行效率,本文提出了一种基于MapReduce框架和Local Outlier Factor(LOF)算法的并行异常检测算法(MR-DLOF)。首先,将存放在Hadoop分布式文件系统(HDFS)上的数据集逻辑... 为了提高数据挖掘中异常检测算法在数据量增大时的准确度、灵敏度和执行效率,本文提出了一种基于MapReduce框架和Local Outlier Factor(LOF)算法的并行异常检测算法(MR-DLOF)。首先,将存放在Hadoop分布式文件系统(HDFS)上的数据集逻辑地切分为多个数据块。然后,利用MapReduce原理将各个数据块中的数据并行处理,使得每个数据点的k-邻近距离和LOF值的计算仅在单个块中执行,从而提高了算法的执行效率;同时重新定义了k-邻近距离的概念,避免了数据集中存在大于或等于k个重复点而导致局部密度为无穷大的情况。最后,将LOF值较大的数据点合并重新计算其LOF值,从而提高算法准确度和灵敏度。通过真实数据集验证了MR-DLOF算法的有效性、高效性和可扩展性。 展开更多
关键词 数据挖掘 异常检测 局部离群因子 HADOOP MAPREDUCE 分布式文件系统 并行计算 局部密度
在线阅读HTML 下载PDF
Scalable Distributed File Sharing System: A Robust Strategy for a Reliable Networked Environment in Tertiary Institutions 预览
11
作者 Emmanuel N. Ekwonwune Bright U. Ezeoha 《通讯、网络与系统学国际期刊(英文)》 2019年第4期49-58,共10页
The bane of achieving a scalable distributed file sharing system is the centralized data system and single server oriented file [sharing] system. In this paper, the solution to the problems in a distributed environmen... The bane of achieving a scalable distributed file sharing system is the centralized data system and single server oriented file [sharing] system. In this paper, the solution to the problems in a distributed environment is presented. Thus, inability to upload sizeable files, slow transportation of files, weak security and lack of fault tolerance are the major problems in the existing system. Hence, the utmost need is to build a client-server network that runs on two or more server systems in order to implement scalability, such that when one server is down, the other(s) would still hold up the activities within the network. And to achieve this reliable network environment, LINUX network operating system is recommended among others as a preferred platform for the synchronization of the server systems, such that every user activity like sending of internal memos/mails, publication of academic articles, is replicated;thereby, achieving the proposed result. Hence, Scalable Distributed File Sharing System provides the robustness required to having a reliable intranet. 展开更多
关键词 DISTRIBUTED SYSTEM Architecture FILES Sharing DISTRIBUTED File SYSTEM Replication Reliability TRANSPARENCY Data Access Interfaces FAULT Detection FAULT Tolerance Cache Consistency SCALABILITY
在线阅读 免费下载
基于堆叠式分布式文件系统的端到端校验
12
作者 李诗逸 古亮 喻之斌 《集成技术》 2019年第5期13-25,共13页
端到端校验是一种有效的数据完整性检测手段,可为分布式存储系统提供基本的可靠性保证。Glusterfs是一种常用的堆叠式分布式文件系统,但缺乏有效的数据完整性检测机制,存在用户数据遭受破坏而无法被发现的风险,即返回错误数据给用户。... 端到端校验是一种有效的数据完整性检测手段,可为分布式存储系统提供基本的可靠性保证。Glusterfs是一种常用的堆叠式分布式文件系统,但缺乏有效的数据完整性检测机制,存在用户数据遭受破坏而无法被发现的风险,即返回错误数据给用户。这种风险在某些情况还会扩散,造成多副本或灾备、双活情况下的数据丢失。针对这一问题,该文提出了一种高性价比的基于Glusterfs的端到端校验方案(命名为Glusterfs-E2E),可以有效解决Glusterfs文件系统中存在的数据完整性风险。该方案不但可以提供全路径的保护,具备2%~8%的高性能开销,而且还可以提供软件故障的定位功能。 展开更多
关键词 静默错误 数据完整性 端到端校验 分布式文件系统
基于RDMA的分布式存储系统研究综述 预览
13
作者 陈游旻 陆游游 +1 位作者 罗圣美 舒继武 《计算机研究与发展》 EI CSCD 北大核心 2019年第2期227-239,共13页
远程直接内存访问(remote directmemory access,RDMA)技术正在大数据领域被越来越广泛地应用,它支持在对方主机CPU不参与的情况下远程读写异地内存,并提供高带宽、高呑吐和低延迟的数据传输特性,从而大幅提升分布式存储系统的性能,因此... 远程直接内存访问(remote directmemory access,RDMA)技术正在大数据领域被越来越广泛地应用,它支持在对方主机CPU不参与的情况下远程读写异地内存,并提供高带宽、高呑吐和低延迟的数据传输特性,从而大幅提升分布式存储系统的性能,因此基于RDMA的分布式存储系统将为满足大数据高时效处理和存储带来新的机遇.首先分析了基于RDMA的分布式存储系统简单替换网络传输模块并不能充分发挥RDMA在语义和性能上的优势的原因,并指出存储系统架构需要变革的因素.然后阐述了高效运用RDMA技术主要取决于2个方面:第1方面是硬件资源的高效管理,包括网卡缓存和CPU缓存的合理利用、多核CPU的并行加速以及内存资源管理等;第2方面是软硬件的紧耦合设计,借助R DMA在语义和性能上的特性,重构新型数据组织和索引方式、优化分布式协议等.同时,以分布式文件系统、分布式键值存储和分布式事务系统为典型应用场景,分别阐述了它们在硬件资源管理和软件重构这2个方面的相关研究.最后,给出了总结和展望. 展开更多
关键词 远程直接内存访问 分布式存储 键值存储 文件系统 分布式事务
在线阅读 下载PDF
海量地理国情普查数据分布式存储研究 预览
14
作者 齐东兰 向娟 +2 位作者 杜鑫 魏永强 杨雨佳 《地理空间信息》 2018年第12期42-44,129共4页
针对地理国情普查成果数据量大、复杂且多样化、管理难度大、应用效率低等特点,提出了一种基于ISCSI构建ORACLERAC数据库和Gluster FS分布式文件系统来管理地理国情普查数据的方法。实验结果表明,该方法能够充分利用普通的硬件和网络资... 针对地理国情普查成果数据量大、复杂且多样化、管理难度大、应用效率低等特点,提出了一种基于ISCSI构建ORACLERAC数据库和Gluster FS分布式文件系统来管理地理国情普查数据的方法。实验结果表明,该方法能够充分利用普通的硬件和网络资源来构建数据存储环境,保障地理国情普查数据库快速稳定地运行,并且能够无缝地扩展存储资源。 展开更多
关键词 地理国情普查数据 ISCSI ORACLERAC 分布式文件系统
在线阅读 下载PDF
基于组合策略对分布式文件系统的加密研究 预览
15
作者 徐树 《工业控制计算机》 2018年第11期109-110,共2页
现如今,随着各类应用在数据量上的不断扩展,单机环境的文件系统已经很难满足在业务上的需求,因此分布式文件系统便不断地被广泛使用。HDFS是一个开源的、分布式的、可扩展的文件系统,它由多个节点构建的计算机集群组成。介绍一种用... 现如今,随着各类应用在数据量上的不断扩展,单机环境的文件系统已经很难满足在业务上的需求,因此分布式文件系统便不断地被广泛使用。HDFS是一个开源的、分布式的、可扩展的文件系统,它由多个节点构建的计算机集群组成。介绍一种用组合策略来加密存储在HDFS上的文件,并对这种基于组合策略的加密存储进行性能上的分析。 展开更多
关键词 分布式文件系统 加密存储 组合策略
在线阅读 下载PDF
海量小文件系统的可移植操作系统接口兼容技术 预览
16
作者 陈博 何连跃 +2 位作者 严巍巍 徐照淼 徐俊 《计算机应用》 CSCD 北大核心 2018年第5期1389-1392,1398共5页
基于Hadoop分布式文件系统(HDFS)研发的海量小文件系统(SMDFS)遗留了HDFS不兼容可移植操作系统接口(POSIX)约束的问题,为解决SMDFS的这一问题,提出基于本地缓存的POSIX兼容技术和基于数据暂存区的元数据高效管理技术。首先,通... 基于Hadoop分布式文件系统(HDFS)研发的海量小文件系统(SMDFS)遗留了HDFS不兼容可移植操作系统接口(POSIX)约束的问题,为解决SMDFS的这一问题,提出基于本地缓存的POSIX兼容技术和基于数据暂存区的元数据高效管理技术。首先,通过设置数据暂存区来实现读写模式文件流的重定向,然后建立异步线程池模型,实现数据暂存区镜像文件的同步,从而完成用户层到存储层的所有POSIX相关的文件操作。此外,借助跳表结构的元数据缓存实现List目录等元数据操作效率优化。测试表明,相较于HDFS的Linux客户端,基于技术成果实现的SMDFS3.0的随机读性能有10倍以上的性能提升,顺序读和顺序写性能有约3~4倍的提升,随机写性能可以达到本地文件系统的20%,基于目录的元数据缓存的设计使目录的List操作效率提升近10倍。但是,由于用户空间文件系统(FUSE)挂栽的客户端会引入额外的内核态和用户态切换等带来的开销,因此SMDFS3.0的Linux客户端相对于系统的Java接口会有大约50%的性能损耗。 展开更多
关键词 海量小文件系统 分布式文件系统 可移植操作系统接口兼容 元数据缓存 云存储
在线阅读 下载PDF
一种面向遥感影像的分布式存储方法 预览 被引量:1
17
作者 聂沛 陈广胜 景维鹏 《测绘工程》 CSCD 2018年第11期40-45,共6页
高光谱影像数据量大、结构复杂,利用集群对海量数据进行分布式存储成为研究热点,但当前研究多将影像像元数据与元数据分离存储,导致系统内聚性差,影响数据存取性能,同时没有充分考虑上层各种遥感算法的数据访问需求,使得系统可用性不高... 高光谱影像数据量大、结构复杂,利用集群对海量数据进行分布式存储成为研究热点,但当前研究多将影像像元数据与元数据分离存储,导致系统内聚性差,影响数据存取性能,同时没有充分考虑上层各种遥感算法的数据访问需求,使得系统可用性不高。针对上述问题,基于HDFS(分布式文件系统)模型提出一种分布式影像存储模型,将整个影像数据模型存储在同一个结构中,提升系统内聚性,并且提供灵活的数据分块策略以供上层应用调用,满足多种数据访问需求。通过对比实验表明,该存储模型较现有的方案有更好的存取性能,具有较高的可行性。 展开更多
关键词 遥感影像 分布式文件系统 HDFS 存储模型 MapImage
在线阅读 下载PDF
基于分布式文件系统的开源云存储的技术研究 预览
18
作者 秦玉春 宋丽娜 《南钢科技与管理》 2018年第2期18-23,共6页
详细分析了开源云存储分布式文件系统的技术原理和性能优势,提出了基于MFS分布式文件系统架构实现开源云存储的方法。充分利用现有低端硬件设备的处理能力,利用MFS分布式文件系统的可扩展性、高容错性、高性价比,对开源云存储架构进行... 详细分析了开源云存储分布式文件系统的技术原理和性能优势,提出了基于MFS分布式文件系统架构实现开源云存储的方法。充分利用现有低端硬件设备的处理能力,利用MFS分布式文件系统的可扩展性、高容错性、高性价比,对开源云存储架构进行学习、改造,形成了基于keepalived+drbd+mfs的开源云存储架构。有效解决了主节点单点故障及磁盘故障率高的问题,逐步形成数据中心开源云存储平台。 展开更多
关键词 开源云存储服务 MFS 分布式文件系统
在线阅读 下载PDF
一种结合SSD特征的分布式文件系统元数据优化技术 被引量:1
19
作者 罗圣美 陆游游 +3 位作者 秦雄军 杨洪章 张佳程 舒继武 《小型微型计算机系统》 CSCD 北大核心 2018年第5期930-937,共8页
分布式文件系统的元数据性能是制约系统整体性能的关键瓶颈.尽管固态盘(Solid State Drive,SSD)提供高速的数据访问,但是由于元数据呈现粒度小、更新频繁的特征,SSD的性能表现仍然较差,同时导致寿命损耗加速.基于SSD存储介质的写入特... 分布式文件系统的元数据性能是制约系统整体性能的关键瓶颈.尽管固态盘(Solid State Drive,SSD)提供高速的数据访问,但是由于元数据呈现粒度小、更新频繁的特征,SSD的性能表现仍然较差,同时导致寿命损耗加速.基于SSD存储介质的写入特性,提出了面向分布式文件系统元数据的数据管理机制和更新方法,包括元数据内存页面的重新组织和管理、多次变化数据的迭代更新、元数据写入方式的进一步优化等.所提方法减少了元数据更新的写入频次和实际写入量,减少了随机写操作,提高了元数据写入性能. 展开更多
关键词 固态盘 分布式文件系统 元数据 数据管理
基于Linux构建Hadoop高性能服务器集群 预览
20
作者 汪瑜斌 《通信电源技术》 2018年第9期151-152,154共3页
随着大多数企业在生产过程中对并行计算要求的提高,而且Hadoop框架已成为当今大数据时代的关键部件,构建高性能的Hadoop服务器集群已成为大势所趋。文章介绍了如何在Linux下实现Hadoop高性能服务器集群的搭建,并且创建了一个hadoop账号... 随着大多数企业在生产过程中对并行计算要求的提高,而且Hadoop框架已成为当今大数据时代的关键部件,构建高性能的Hadoop服务器集群已成为大势所趋。文章介绍了如何在Linux下实现Hadoop高性能服务器集群的搭建,并且创建了一个hadoop账号,对帐号的home目录下的hadoop文件夹中相关的6个配置文件进行配置。针对这些关键的配置文件,设置hdfs.replication配置文件块的副本数,完成Map和Reduce任务数的配置,通过和硬件的结合来使Hadoop服务器性能达到最优。 展开更多
关键词 Linux 服务器 HADOOP MAPREDUCE 分布式文件系统 高性能
在线阅读 下载PDF
上一页 1 2 17 下一页 到第
使用帮助 返回顶部 意见反馈