期刊文献+
共找到241篇文章
< 1 2 13 >
每页显示 20 50 100
基于虚拟化的水务分布式大数据存储平台设计 预览
1
作者 闫健卓 高凯丽 +1 位作者 许红霞 于涌川 《水利信息化》 2019年第3期17-24,共8页
针对自然界与人类社会二元水循环产生的海量水务观测数据,现有水务数据管理系统存在存储负荷大,数据库扩展困难,查询速度慢的问题,无法满足存储与分析的需要。针对问题,首先,结合虚拟化技术、Hadoop基础架构,设计分布式大数据存储平台... 针对自然界与人类社会二元水循环产生的海量水务观测数据,现有水务数据管理系统存在存储负荷大,数据库扩展困难,查询速度慢的问题,无法满足存储与分析的需要。针对问题,首先,结合虚拟化技术、Hadoop基础架构,设计分布式大数据存储平台的基本架构;其次,依据现有水务大数据情况及实际业务数据库表,实现分布式大数据存储平台的设计;最后,完成从集中式平台到分布式平台的数据迁移代码实现,并进行数据迁移实验测试。实验结果验证了分布式大数据存储平台设计方案的可行性与有效性,可为大规模行业数据的存储与处理提供一种理想的分布式解决方案。 展开更多
关键词 水务数据 大数据 分布式存储 存储平台 虚拟化 HADOOP集群 数据迁移
在线阅读 下载PDF
系统数据迁移常见问题及案例分析 预览
2
作者 陆叶杉 《计算机科学》 CSCD 北大核心 2019年第B06期412-416,共5页
社会发展日趋进步,技术框架日新月异,日常系统以新换旧已经成为趋势,新系统代替旧系统势必会涉及到新旧系统的数据对接问题。在某市某组织的系统建设中,项目需要将旧系统的所有业务数据迁移到新系统。由于新旧系统使用的表空间、表结构... 社会发展日趋进步,技术框架日新月异,日常系统以新换旧已经成为趋势,新系统代替旧系统势必会涉及到新旧系统的数据对接问题。在某市某组织的系统建设中,项目需要将旧系统的所有业务数据迁移到新系统。由于新旧系统使用的表空间、表结构及表字段都不一致,为了保证数据的一致性与完整性、迁移前后的数据没有漏误、不迁入脏数据来影响新系统的运行,在项目中如何在新旧系统之间进行数据迁移成为了重要课题。为了解决数据迁移的问题,文中设计了一套基于ETL工具的数据迁移流程,并通过组合和串联得到了完整的数据迁移流程线,从而实现了数据迁移,完成了新旧系统的数据对接。文中阐述了以下几个数据在迁移中出现的问题及其解决方法:1)数据流转中出现的常见错误及解决方法;2)数据类型不一致的数据迁移问题及解决方法;3)数据迁移目标数据库字段长度不一致的问题及解决方法;4)数据迁移完成后,原数据出现新变动将如何重新调整迁移测量的问题及解决方法。基于此,文中对数据迁移过程中出现的问题与解决这些问题的方法进行了简要的分析与总结。 展开更多
关键词 数据迁移 ETL工具 SQL语句 数据流转
在线阅读 免费下载
民航陆空通话语音识别BiLSTM网络模型 预览
3
作者 邱意 贾桂敏 +1 位作者 杨金锋 刘远庆 《信号处理》 CSCD 北大核心 2019年第2期293-300,共8页
民航陆空通话对民航飞行安全十分重要,但因其通话模式有特殊的语法结构与发音方式,日常语音识别声学模型无法有效应用于民航陆空通话的语音处理问题。针对民航陆空通话的特殊语境,本文提出了基于双向长短时记忆网络(BiLSTM)的民航陆空... 民航陆空通话对民航飞行安全十分重要,但因其通话模式有特殊的语法结构与发音方式,日常语音识别声学模型无法有效应用于民航陆空通话的语音处理问题。针对民航陆空通话的特殊语境,本文提出了基于双向长短时记忆网络(BiLSTM)的民航陆空通话语音识别方法。首先,提取民航陆空通话语音的FBANK特征作为输入,以时序链式连接(CTC)为目标函数,训练BiLSTM网络得到BiLSTM/CTC模型。然后,利用声学模型,语言模型与陆空通话词典实现民航陆空通话的语音识别,并结合数据增强与数据迁移对模型进行增强训练提高语音识别性能。实验结果表明本文提出的方法适用于民航陆空通话语音识别,并且数据增强模型可有效降低民航陆空通话语音识别的词错误率。 展开更多
关键词 民航陆空通话 语音识别 双向长短时记忆网络 数据增强 数据迁移
在线阅读 下载PDF
一种SSD存储系统中的先应式垃圾回收算法 预览
4
作者 屠雪真 黄震江 陈正光 《电信科学》 2019年第5期86-96,共11页
提出了一种基于预测的先应式垃圾回收算法,首先根据不同的热度因子对数据进行读、写热度分离,然后对未来将达到的不同类型的页面分配请求(page allocation request,PAR)数量进行上位和下位预测,在满足页面分配请求PAR下位预测的同时,最... 提出了一种基于预测的先应式垃圾回收算法,首先根据不同的热度因子对数据进行读、写热度分离,然后对未来将达到的不同类型的页面分配请求(page allocation request,PAR)数量进行上位和下位预测,在满足页面分配请求PAR下位预测的同时,最大程度地满足PAR上位预测需求,优化了WA问题,减少了不必要的有效数据迁移,从而最大化垃圾回收效用。对此问题定义了数学模型,并给出了一种获取近似最优解的算法,对模型适用场景进行了分析。实践结果表明,本算法能够获取最大收益,提升SSD读写性能并降低成本。 展开更多
关键词 SSD 垃圾回收 数据迁移 写入放大 碎片整理
在线阅读 下载PDF
端信息跳扩混合的主动网络防御技术研究 预览
5
作者 石乐义 郭宏彬 +4 位作者 温晓 李剑蓝 崔玉文 马猛飞 孙慧 《通信学报》 EI CSCD 北大核心 2019年第5期125-135,共11页
受扩频通信技术启发,提出了端信息扩展的概念,利用多项端信息组成的序列来表示一条信息,使通信端信息与所传递信息无关,实现了端信息高隐蔽传输。进一步提出了端信息跳扩混合主动网络防御技术,将端信息跳变策略与同步策略分离,通过端信... 受扩频通信技术启发,提出了端信息扩展的概念,利用多项端信息组成的序列来表示一条信息,使通信端信息与所传递信息无关,实现了端信息高隐蔽传输。进一步提出了端信息跳扩混合主动网络防御技术,将端信息跳变策略与同步策略分离,通过端信息扩展机制实现跳变通信双方的同步认证,解决了高隐蔽性要求下的高速跳变同步问题。详细讨论了端信息跳扩混合主动网络防御技术中扩展序列的生成、传输、同步认证方式和数据迁移策略,并对所提模型的安全性能和同步性能进行理论分析与实验验证。理论分析与实验结果表明,端信息跳扩混合主动网络防御技术提升了高速跳变下网络服务的可用性和隐蔽性,对于高强度对抗要求的主动网络防护应用具有重要意义。 展开更多
关键词 端信息扩展 端信息跳扩混合 主动网络防御 数据迁移 高速跳变
在线阅读 下载PDF
Hadoop海量数据迁移系统开发及应用 预览
6
作者 尹乔 魏占辰 +2 位作者 黄秋兰 孙功星 石京燕 《计算机工程与应用》 CSCD 北大核心 2019年第13期66-71,共6页
当前高能物理实验产生的数据量越来越大,利用大数据处理平台Hadoop进行高能物理数据处理时,面临数据迁移的实际需求,而现有迁移工具不支持HDFS与其他文件系统间的数据传输,性能存在明显缺陷。从高能物理数据同步、归档等需求出发,设计... 当前高能物理实验产生的数据量越来越大,利用大数据处理平台Hadoop进行高能物理数据处理时,面临数据迁移的实际需求,而现有迁移工具不支持HDFS与其他文件系统间的数据传输,性能存在明显缺陷。从高能物理数据同步、归档等需求出发,设计和实现了一个通用的海量数据迁移系统,通过扩展HDFS数据访问方式,使用Map-Reduce直接在HDFS数据节点和其他存储系统/介质之间迁移数据。此外,系统设计实现了动态优先级调度模型,进行多任务的动态优先级评定和选取。该系统已经应用于大型高海拔空气簇射观测站(LHAASO)宇宙线等物理实验中的数据迁移,实际运行结果表明系统性能良好,能够满足各个实验的数据迁移需求。 展开更多
关键词 高能物理 数据迁移 GridFTP协议 动态优先级调度 多属性决策 Hadoop系统
在线阅读 下载PDF
基于群体智能算法的大数据迁移策略研究 预览
7
作者 曾毅 马琳娟 鱼明 《重庆理工大学学报:自然科学》 CAS 北大核心 2019年第6期122-127,共6页
针对云数据中心不同于传统的数据中心,其管理和维护需要解决更加复杂的问题的情况,为实现云计算平台中大数据系统的平稳升级和更新,提出了一种基于群体智能算法的大数据迁移策略,解决了负载平衡和带宽瓶颈问题。首先对云计算体系架构上... 针对云数据中心不同于传统的数据中心,其管理和维护需要解决更加复杂的问题的情况,为实现云计算平台中大数据系统的平稳升级和更新,提出了一种基于群体智能算法的大数据迁移策略,解决了负载平衡和带宽瓶颈问题。首先对云计算体系架构上的大数据迁移技术进行研究和分析,然后采用人工鱼群优化算法解决m个服务器之间n个数据迁移的最优解问题。最后,将量子比特引入到人工鱼群算法中实现其三大基本行为。Cloudsim仿真平台上的测试结果表明:相比其他迁移策略,所提出算法能更有效地提高云数据中心的运行效率,具有更好的全局寻优能力。 展开更多
关键词 群体智能 量子人工鱼群 云计算 数据迁移 全局寻优 负载平衡
在线阅读 免费下载
面向智能交通系统的仿真路网快速建模方法 预览
8
作者 石敏 孙科 +1 位作者 毛天露 郑玲 《图学学报》 CSCD 北大核心 2019年第3期489-496,共8页
提出了一种面向智能交通系统的仿真路网模型,与传统路网模型相比,增强了几何表达和拓扑表达能力,同时其上可附着丰富的交通属性数据,能够满足精细化智能交通仿真的需求。在此基础上,研究了一种路网数据迁移方法,从现有电子地图快速提取... 提出了一种面向智能交通系统的仿真路网模型,与传统路网模型相比,增强了几何表达和拓扑表达能力,同时其上可附着丰富的交通属性数据,能够满足精细化智能交通仿真的需求。在此基础上,研究了一种路网数据迁移方法,从现有电子地图快速提取并构建面向智能交通系统的道路路网。通过对几何精确性、拓扑完备性和建模高效性的测试表明,该路网模型及其建模方法,提高了交通仿真基础路网建模的效率,降低了建模成本,为智能交通仿真的广泛应用提供了高效、可靠的道路数据来源。 展开更多
关键词 智能交通系统 路网建模 电子地图 数据迁移
在线阅读 下载PDF
基于擦除上限的动态阈值磨损均衡算法 预览
9
作者 朱增昌 《电脑知识与技术:学术版》 2019年第4X期223-225,231共4页
为了提升磨损均衡算法的性能,该文提出一种基于擦除上限的动态阈值磨损均衡算法。首先,该算法通过块的擦除上限来调整磨损均衡的执行频率,在闪存寿命前期较少触发磨损均衡,后期较频繁触发磨损均衡;其次,该算法优化了冷热数据迁移和候选... 为了提升磨损均衡算法的性能,该文提出一种基于擦除上限的动态阈值磨损均衡算法。首先,该算法通过块的擦除上限来调整磨损均衡的执行频率,在闪存寿命前期较少触发磨损均衡,后期较频繁触发磨损均衡;其次,该算法优化了冷热数据迁移和候选块的选取条件,保证了候选块是擦除次数较少的年轻块,并且存储的数据为冷数据。仿真表明该算法不仅降低了磨损均衡的损耗,同时有效地提升闪存的寿命。 展开更多
关键词 磨损均衡 动态阈值 数据迁移 候选块
在线阅读 下载PDF
基于云计算的管理信息系统迁移模式与策略研究 被引量:3
10
作者 顾东晓 李童童 +1 位作者 梁昌勇 徐健 《情报科学》 CSSCI 北大核心 2018年第12期71-76,共6页
【目的/意义】以处理海量数据存储、资源数据共享和虚拟化为特征的云计算技术给管理信息系统发展带来了历史性机遇与挑战,传统信息系统如何成功转化为基于云计算的信息系统已经成为信息和资源管理领域亟待解决的重要课题。【方法/过程... 【目的/意义】以处理海量数据存储、资源数据共享和虚拟化为特征的云计算技术给管理信息系统发展带来了历史性机遇与挑战,传统信息系统如何成功转化为基于云计算的信息系统已经成为信息和资源管理领域亟待解决的重要课题。【方法/过程】本文综合分析了云环境下信息系统的数据、技术、安全、管理与服务特征,研究了管理信息系统的云化模式,探讨了信息系统迁移过程中云平台的选择方法,并梳理了信息系统云化过程中应用迁移策略和数据迁移策略。【结果/结论】迁移过程总体上分为四个阶段:迁移调研、迁移方案设计并测试、迁移实施、迁移结果验证。由于企业越来越多的实践,云迁移研究的成熟度日渐提高,趋于完善。 展开更多
关键词 云计算 云化迁移 管理信息系统 云服务 迁移策略 数据迁移
Oracle数据迁移技术选择 预览
11
作者 宁迪斯 《信息与电脑》 2018年第12期162-163,共2页
伴随IT硬件设备和技术的不断推陈出新,对信息系统的升级改造被提到议程上,而数据从旧系统迁移到新系统的进程越来越重要。Oracle作为目前最常用的大型关系型商用数据库管理系统,有多种数据迁移的技术方法,笔者简单阐述Oracle数据库... 伴随IT硬件设备和技术的不断推陈出新,对信息系统的升级改造被提到议程上,而数据从旧系统迁移到新系统的进程越来越重要。Oracle作为目前最常用的大型关系型商用数据库管理系统,有多种数据迁移的技术方法,笔者简单阐述Oracle数据库应用中数据迁移常用的方案及各自适用范围,并给出建议的方案和技术,以助数据库管理员比较与决策。 展开更多
关键词 ORACLE 数据迁移 数据备份 数据恢复
在线阅读 下载PDF
欧盟数据治理新指向:《非个人数据自由流动框架条例》(提案)研究 预览
12
作者 吴沈括 霍文新 《网络空间安全》 2018年第3期30-35,共6页
数据流动规则在数字市场中占据主要地位,个人数据与非个人数据均是数据空间治理框架中的重要规制对象,据此以《非个人数据自由流动框架条例》(提案)作为基础研究文本。通过提案的核心内容要素加以分析数据本地化的规则适用、数据存储... 数据流动规则在数字市场中占据主要地位,个人数据与非个人数据均是数据空间治理框架中的重要规制对象,据此以《非个人数据自由流动框架条例》(提案)作为基础研究文本。通过提案的核心内容要素加以分析数据本地化的规则适用、数据存储和处理活动以及数字市场的相关调整政策,旨在研究欧盟数据治理的新指向,深刻体会欧盟对非个人数据自由流动规则的协调概念。 展开更多
关键词 非个人数据 数据本地化 数据迁移 数字单一市场
在线阅读 下载PDF
分级存储系统中的数据迁移技术专利综述 预览
13
作者 李娇 邓泽微 《数字技术与应用》 2018年第5期224-225,共2页
本文通过分析分级存储系统中的数据迁移技术的历年申请趋势、发展脉络、优缺点等,从判断处理过程中数据迁移的单位对分级存储系统中的数据迁移技术进行分类,并对数据迁移的触发的时机的技术也进行了分类等,最后从分类所得的技术分支对... 本文通过分析分级存储系统中的数据迁移技术的历年申请趋势、发展脉络、优缺点等,从判断处理过程中数据迁移的单位对分级存储系统中的数据迁移技术进行分类,并对数据迁移的触发的时机的技术也进行了分类等,最后从分类所得的技术分支对涉及分级存储系统中的数据迁移专利技术进行了综述。 展开更多
关键词 分级存储 数据迁移 迁移策略
在线阅读 下载PDF
基于云平台大数据的迁移与研究 预览
14
作者 陈鹤元 彭章友 《工业控制计算机》 2018年第9期52-53,55共3页
在互联网高速发展的时代,面对数据量的爆炸式增长,通过现有的数据迁移存储系统可以完成大数据量的迁移存储任务但是效率还是较低。尤其是通过对表中数据计数和基于Value值这两种方法查询时整合后的效率要远低于单独使用Hive的查询效率,... 在互联网高速发展的时代,面对数据量的爆炸式增长,通过现有的数据迁移存储系统可以完成大数据量的迁移存储任务但是效率还是较低。尤其是通过对表中数据计数和基于Value值这两种方法查询时整合后的效率要远低于单独使用Hive的查询效率,远不能满足企业数据处理方面的需求。所以对于通过对表中数据计数和基于Value值这两种查询方法的效率还有提升的空间。在对表中数据计数和基于Value值两种数据查询方式进行了优化,主要使用为HBase表分配Region以及设置caching的方法。通过测试得到证明,以上两种查询方式得到了极大优化。主要针对于基于Hadoop平台迁移与查询的性能优化问题。在完成千万条以上数据量的迁移存储时,通过优化查询性能完善了数据存储方面的功能,给企业带来了更为便捷、高效的数据管理服务。 展开更多
关键词 数据查询 数据迁移 HBASE
在线阅读 下载PDF
面向金融行业的大数据迁移的研究与实现 预览
15
作者 王永超 鲁鸣鸣 《计算机工程与应用》 CSCD 北大核心 2018年第13期93-99,共7页
现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大... 现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大数据迁移管理平台,实现了异构关系型数据库业务系统向Hadoop大数据平台的统一迁移,以及海量数据的集中整合、拓展存储、高效分析查询等一站式管理平台,在保证迁移准确的情况下,其速度可达到3 MB/s。 展开更多
关键词 大数据 数据迁移 关系型数据库 HADOOP平台 HiETL
在线阅读 下载PDF
浅谈高校图书馆电子数据迁移及存储安全——以中国政法大学图书馆为例 预览
16
作者 夏振华 《农业图书情报学刊》 2018年第6期48-52,共5页
大数据、云计算时代的到来给图书馆带来新的服务模式,服务理念、服务形式变革,为读者提供更好的阅读体验。同时,数据存储管理工作也面临了新的挑战。随着数据量的加大,数据安全重要性日益凸显。文章以中国政法大学图书馆电子资源存储管... 大数据、云计算时代的到来给图书馆带来新的服务模式,服务理念、服务形式变革,为读者提供更好的阅读体验。同时,数据存储管理工作也面临了新的挑战。随着数据量的加大,数据安全重要性日益凸显。文章以中国政法大学图书馆电子资源存储管理实践为出发点,探讨图书馆电子数据迁移及数据存储安全维护中存在的问题及相关解决方案。 展开更多
关键词 电子数据 数据迁移 数据安全
在线阅读 下载PDF
Oracle海量数据自动化归档平台的研究与实现 预览
17
作者 王小刚 汪贺 《数字技术与应用》 2018年第7期69-70,共2页
本论文针对电信行业中每月产生的海量数据,设计和实现了自动化归档平台,通过此平台可灵活的配置每张表的归档与清理策略,实现了海量数据的自动化归档与清理。该系统基于linux系统与oracle数据库,使用JAVA开发,采用B/S架构,通过任务调度... 本论文针对电信行业中每月产生的海量数据,设计和实现了自动化归档平台,通过此平台可灵活的配置每张表的归档与清理策略,实现了海量数据的自动化归档与清理。该系统基于linux系统与oracle数据库,使用JAVA开发,采用B/S架构,通过任务调度的方式,实现归档与清理的自动化,批量化。 展开更多
关键词 ORACLE 数据归档 归档平台 数据迁移
在线阅读 下载PDF
存储虚拟化和全闪存技术在烟草核心系统的应用 预览
18
作者 刘荣 沈松 李子苑 《计算机应用与软件》 北大核心 2018年第6期96-101,128共7页
广东烟草三大核心系统(卷烟营销和专卖管理系统、决策分析系统和办公自动化系统)已运行多年,积累了大量业务数据,所使用的存储平台难以满足当前及今后业务发展的需要,在容量和性能上均存在较大的瓶颈。通过设计一套基于存储虚拟化和... 广东烟草三大核心系统(卷烟营销和专卖管理系统、决策分析系统和办公自动化系统)已运行多年,积累了大量业务数据,所使用的存储平台难以满足当前及今后业务发展的需要,在容量和性能上均存在较大的瓶颈。通过设计一套基于存储虚拟化和全闪存技术的存储基础平台来解决遇到的问题。该平台具有高性能和高可靠性,通过存储镜像功能进一步提高大集中系统的可用性,并且能够整合旧存储充分利旧。三大系统数据量大,可停机时间短,基于存储虚拟化的数据迁移方法有效地解决了这个问题,总结该迁移方法为行业有效推广做了有益的探索。 展开更多
关键词 存储虚拟化 全闪存 数据迁移 存储平台
在线阅读 下载PDF
基于Hadoop平台的数据迁移方法研究实现 预览
19
作者 王铭 田茂 +1 位作者 赵鑫 金山城 《计算机测量与控制》 2018年第4期225-230,共6页
随着计算机科学的发展和大数据时代的到来,应用系统已经出现了数据海量化、用户访问高量化的局面,使得企业应用系统的原有关系型数据库(RDBMS)面临承担更大负荷的压力,系统的高性能要求得不到有效满足,对于关系型数据库所面临的问题,Had... 随着计算机科学的发展和大数据时代的到来,应用系统已经出现了数据海量化、用户访问高量化的局面,使得企业应用系统的原有关系型数据库(RDBMS)面临承担更大负荷的压力,系统的高性能要求得不到有效满足,对于关系型数据库所面临的问题,Hadoop平台中的HBase数据库可有效解决;以关系型数据库中MySQL数据库及Hadoop平台中分布式数据库HBase数据库为研究基础,应对企业应用数据海量化增长,提出从关系型数据库(MySQL数据库)向分布式数据库(HBase数据库)进行数据迁移的方法,并通过研究HBase数据库存储原理提出从MySQL到HBase的表模式转换原则实现高效数据查询性能的数据迁移方法;最后,将该方法与同类数据迁移工具Sqoop进行比较,证明该方法进行数据迁移的便捷性和在迁移后数据库中进行连接查询的高效性。 展开更多
关键词 HADOOP 关系型数据库 HBASE 数据迁移
在线阅读 下载PDF
采用多叉树模型数据迁移算法的设计与实现 预览
20
作者 宋春红 王佳斌 郑力新 《华侨大学学报:自然科学版》 北大核心 2018年第6期932-936,共5页
针对目前传统关系型数据库中的历史数据向非关系型数据库迁移的低效率问题,提出利用多叉树模型对历史数据存储模式进行重构.基于4种模式迁移规则对各表节点之间的关联关系进行分析,推导算法完成传统关系型数据库中存储模式和历史数据的... 针对目前传统关系型数据库中的历史数据向非关系型数据库迁移的低效率问题,提出利用多叉树模型对历史数据存储模式进行重构.基于4种模式迁移规则对各表节点之间的关联关系进行分析,推导算法完成传统关系型数据库中存储模式和历史数据的自动化迁移.该算法不受源数据库存储模式的限制,具有一定的通用性.数据迁移实验表明:在查询性能上,基于多叉树的迁移算法比官方迁移工具Sqoop有较大的提高. 展开更多
关键词 关系型数据库 非关系型数据库 数据迁移 多叉树模型 Sqoop
在线阅读 下载PDF
上一页 1 2 13 下一页 到第
使用帮助 返回顶部 意见反馈