期刊文献+
共找到1,874篇文章
< 1 2 94 >
每页显示 20 50 100
基于MapReduce技术的WebGIS系统研究 预览
1
作者 彭大为 《江西科学》 2019年第5期783-786,共4页
针对当前GIS数据种类繁多且数据量大,数据处理效率低等问题,通过分析MapReduce分布式数据处理机制,设计出基于MapReduce技术的WebGIS系统模式。依据当前国际社会对海量空间地理数据的高效处理需求,证明了该架构可用于对地理空间数据处理... 针对当前GIS数据种类繁多且数据量大,数据处理效率低等问题,通过分析MapReduce分布式数据处理机制,设计出基于MapReduce技术的WebGIS系统模式。依据当前国际社会对海量空间地理数据的高效处理需求,证明了该架构可用于对地理空间数据处理,提出一套基于地理空间数据的处理方案,该方案适合对地理空间数据进行并发处理,可提高运算效率。 展开更多
关键词 GIS WebGIS架构模式 MAPREDUCE 分布式集群 master/worker 海量数据
在线阅读 下载PDF
DMA漏损控制大数据处理模式
2
作者 马金锋 陈求稳 +3 位作者 徐强 饶凯锋 安伟 马梅 《中国给水排水》 CAS CSCD 北大核心 2019年第10期36-41,共6页
管网独立计量分区(DMA)管理是目前供水管网漏损控制的主要措施之一,日益受到自来水公司的重视。随着传感器成本的降低,数据采集越来越密集,产生的海量数据对传统数据处理和分析模式提出挑战,导致供水企业对传感器投入的效益比偏低。大... 管网独立计量分区(DMA)管理是目前供水管网漏损控制的主要措施之一,日益受到自来水公司的重视。随着传感器成本的降低,数据采集越来越密集,产生的海量数据对传统数据处理和分析模式提出挑战,导致供水企业对传感器投入的效益比偏低。大数据技术的发展为DMA有效管理提供技术支撑,基于大数据技术指导DMA漏损控制决策成为必然趋势。阐述了大数据技术在DMA管理中的应用价值,从数据采集、汇聚、传输、存储、计算及应用角度,论述了适用于DMA数据处理和决策分析的大数据处理模式,并实例验证了模式的可行性。该模式具有通用性,能够实现整套模式的移植使用,可为大中型供水企业的DMA数据管理及应用提供技术支持。 展开更多
关键词 供水管网 独立计量分区 大数据 Hadoop HBASE MAPREDUCE
面向MapReduce的迭代式数据均衡分区策略 预览
3
作者 张元鸣 蒋建波 +2 位作者 陆佳炜 徐俊 肖刚 《计算机学报》 EI CSCD 北大核心 2019年第8期1873-1885,共13页
MapReduce是一种适用于大数据处理的重要并行计算框架.然而,由于难以提前全面获得中间数据的分布规律,默认的数据分区策略往往会造成Reducer端的数据倾斜,会直接影响MapReduce的整体性能.为了实现数据均衡分区,本文提出一种迭代式数据... MapReduce是一种适用于大数据处理的重要并行计算框架.然而,由于难以提前全面获得中间数据的分布规律,默认的数据分区策略往往会造成Reducer端的数据倾斜,会直接影响MapReduce的整体性能.为了实现数据均衡分区,本文提出一种迭代式数据均衡分区策略,将每个Mapper节点要处理的数据块细分后以迭代方式循环处理,根据已迭代轮次的微分区分配结果决定当前迭代轮次的微分区分配方案,以不断调整历次迭代产生的数据倾斜,逐步实现数据均衡分区.给出了迭代式数据分区策略的分配时机、分配准则、分配评价模型和分配算法.基于公开的数据集,对迭代式数据均衡分区策略进行了详细测评,结果表明,该策略能够得到更均衡的数据分区结果,当数据集本身倾斜比较显著时,MapReduce整体性能比默认分区策略平均提高了11.1%和19.7%. 展开更多
关键词 MAPREDUCE 大数据 数据倾斜 迭代式数据分区 微分区 均衡分区
在线阅读 下载PDF
"分布式计算与开发模式"综合设计性实验案例 预览
4
作者 杨丹 张晶 +1 位作者 赵骥 王刚 《实验技术与管理》 CAS 北大核心 2019年第10期197-200,共4页
针对面向计算机专业本科生开设的"分布式计算与开发模式"专业课的特点和大纲要求,设计了该综合设计性实验.该实验在Windows系统下,使用Hadoop分布框架和Eclipse快速开发平台,实现了地震数据集的统计任务.对实验目的、任务要... 针对面向计算机专业本科生开设的"分布式计算与开发模式"专业课的特点和大纲要求,设计了该综合设计性实验.该实验在Windows系统下,使用Hadoop分布框架和Eclipse快速开发平台,实现了地震数据集的统计任务.对实验目的、任务要求、实验方法和步骤、算法流程等进行了详细介绍.实践结果表明,通过此综合设计性实验,学生的实验积极性和对分布式计算的掌握程度大大提高. 展开更多
关键词 分布式计算 综合设计性实验 HADOOP MAPREDUCE
在线阅读 下载PDF
逻辑回归中的批量梯度下降算法并行化研究 预览
5
作者 李姚舜 刘黎志 《武汉工程大学学报》 CAS 2019年第5期499-503,510共6页
逻辑回归中的批量梯度下降算法需要访问全部数据样本,在单节点环境下计算耗时较长。针对大批量数据集的训练问题,提出了一种基于MapReduce框架的并行化算法。首先利用HDFS文件系统存储训练数据集,MapReduce框架会对输入数据集进行分片处... 逻辑回归中的批量梯度下降算法需要访问全部数据样本,在单节点环境下计算耗时较长。针对大批量数据集的训练问题,提出了一种基于MapReduce框架的并行化算法。首先利用HDFS文件系统存储训练数据集,MapReduce框架会对输入数据集进行分片处理,每一个分片交由一个Map节点进行处理;Map过程的输出结果会传给Combiner节点,进行各个分片内部的数据归并;所有分片的归并结果会通过Shuffle过程,进行各个分片间的数据合并,汇总成一个输出文件;输出文件会传给Reduce节点进行运算,最后将计算结果用于参数更新。实验结果表明,集群环境下的参数训练结果正确,随着数据集的扩大,并行化计算的优势逐渐显现。 展开更多
关键词 逻辑回归 参数训练 MAPREDUCE 并行化
在线阅读 免费下载
基于Hadoop的气象大数据分析GIS平台设计与试验 预览 被引量:1
6
作者 李涛 冯仲科 +1 位作者 孙素芬 程文生 《农业机械学报》 EI CAS CSCD 北大核心 2019年第1期180-188,共9页
针对海量气象数据在传统WebGIS平台下存储和分析计算受到限制的问题,提出基于Hadoop的分布式计算和存储框架,使用了Hadoop生态体系中的HDFS分布式文件存储框架来存储管理分析海量气象数据。在海量数据的并行计算分析方面,使用MapReduce... 针对海量气象数据在传统WebGIS平台下存储和分析计算受到限制的问题,提出基于Hadoop的分布式计算和存储框架,使用了Hadoop生态体系中的HDFS分布式文件存储框架来存储管理分析海量气象数据。在海量数据的并行计算分析方面,使用MapReduce作为分布式计算编程模型,该模型通过分析海量气候数据可对农业生产进行决策。最后,利用地理信息系统空间可视化技术,在前端页面以三维形式对分析结果进行展示,并分析比较数据量和集群中节点数对计算耗时的影响。试验结果表明,使用分布式多节点集群可以有效提高海量气象数据的存储和计算效率,解决了传统WebGIS平台数据存储与计算的局限性问题。 展开更多
关键词 气象数据 分布式 HADOOP MAPREDUCE
在线阅读 下载PDF
一种基于密度聚类的分布式离群点检测算法 预览
7
作者 刘亚梅 闫仁武 《计算机与数字工程》 2019年第6期1320-1325,共6页
局部离群点检测算法是数据挖掘中的一个重要研究方向,随着数据的爆炸式增长,挖掘离群点的工作变得更加有意义,当前的各种检测算法在处理大规模数据上存在很多不足。论文将传统的离群点检测算法LOF和Hadoop分布式平台下的MapReduce分布... 局部离群点检测算法是数据挖掘中的一个重要研究方向,随着数据的爆炸式增长,挖掘离群点的工作变得更加有意义,当前的各种检测算法在处理大规模数据上存在很多不足。论文将传统的离群点检测算法LOF和Hadoop分布式平台下的MapReduce分布式框架结合,实现了并行化策略,并且通过密度聚类算法DBSCAN对其进行了改进。论文算法和LOF算法、其他改进算法相比在效率和准确率上均有所提高。并且随着Hadoop系统中数据节点个数的增加,算法的运行效率相应的有所提高,实验结果表明论文算法在处理大规模数据上是可行的。 展开更多
关键词 局部离群点检测 密度聚类 Hadoop MAPREDUCE 并行化 局部离群因子
在线阅读 下载PDF
高速铁路道岔异构数据在Hbase上的云存储方案 预览
8
作者 张志哲 徐田华 李波 《铁路计算机应用》 2019年第1期9-14,共6页
实现健康预测管理(PHM)可以提高信号设备的运行安全性、系统可靠性和可维修性,道岔设备的数据对其PHM的研究有重要意义。目前,高速铁路道岔监测数据存储架构难以满足PHM海量异构历史数据存储问题,结合道岔监控数据以及道岔缺口监测图像... 实现健康预测管理(PHM)可以提高信号设备的运行安全性、系统可靠性和可维修性,道岔设备的数据对其PHM的研究有重要意义。目前,高速铁路道岔监测数据存储架构难以满足PHM海量异构历史数据存储问题,结合道岔监控数据以及道岔缺口监测图像等异构数据,引入大数据技术中的Hbase非结构化数据存储理念,提出高速铁路道岔设备海量异构数据的云存储及查询管理方案。针对图像数据尺寸不一致的问题,提出基于MapReduce的优化图像分块存储算法,实现高速铁路道岔异构数据的Hbase云存储,在实验室环境搭建平台对方案进行验证。结果表明:从MySQL到Hbase迁移10GB历史数据约为15min,在数量到达20万条以上时Hbase查询性能优于MySQL。通过MapReduce优化图像数据分块算法,存储速度得到提升。该方案对高速铁路道岔设备PHM中海量异构数据的存储提供了理论和技术支撑。 展开更多
关键词 高速铁路 道岔异构数据 HBASE 云存储 MAPREDUCE 图像分块算法 健康预测管理
在线阅读 免费下载
大数据环境下基于前缀树的频繁项集挖掘
9
作者 黄彩娟 刘卓华 +1 位作者 所辉 杨滨 《控制工程》 CSCD 北大核心 2019年第11期2136-2140,共5页
针对大数据环境下频繁项查找效率低和可扩展性问题,提出了一种基于MapReduce框架运行的新分布式FIM算法。首先,使用前缀序列树来构建候选序列子集,避免了昂贵的扫描过程。接着,使用宽幅支持度的方法产生频繁项集,每个MapReduce迭代将修... 针对大数据环境下频繁项查找效率低和可扩展性问题,提出了一种基于MapReduce框架运行的新分布式FIM算法。首先,使用前缀序列树来构建候选序列子集,避免了昂贵的扫描过程。接着,使用宽幅支持度的方法产生频繁项集,每个MapReduce迭代将修剪掉非频繁项集,显著地压缩内存消耗,以及每一个MapReduce作业的迭代时间。最后,在不同事务规模和支持度下,与不同算法进行实验对比。实验结果表明,提出的序列增长算法获得了良好的效率和可扩展性,特别是在处理大数据集和长项集方面。 展开更多
关键词 频繁项集挖掘 MAPREDUCE 前缀序列树 模糊支持度 大数据
大规模RDF图数据上高效率分布式查询处理 预览 被引量:1
10
作者 王鑫 徐强 +2 位作者 柴乐乐 杨雅君 柴云鹏 《软件学报》 EI CSCD 北大核心 2019年第3期498-514,共17页
知识图谱是智能数据的主要表现形式,随着知识图谱领域的不断发展,大量的智能图数据以资源描述框架(resource description framework,简称RDF)形式发布出来.RDF 图上的SPARQL 查询语义对应于图同态,是一个NP-完全问题.因此,如何使用分布... 知识图谱是智能数据的主要表现形式,随着知识图谱领域的不断发展,大量的智能图数据以资源描述框架(resource description framework,简称RDF)形式发布出来.RDF 图上的SPARQL 查询语义对应于图同态,是一个NP-完全问题.因此,如何使用分布式方法在大规模RDF 图上有效回答SPARQL 查询是一个富有挑战性的问题.目前已有研究使用MapReduce 计算模型处理大规模RDF 数据,但其将SPARQL 查询拆分成单个的查询子句,没有考虑RDF 数据的丰富语义和自身的图特性,导致MapReduce 迭代次数过多.首先,利用RDF 数据内嵌的语义和结构信息作为启发式信息,将查询图分解为星形的集合,可以在更少次迭代内得到查询结果.同时,分解算法给出中间结果较少的星形匹配顺序,基于此顺序,每轮MapReduce 操作通过连接操作匹配一个新的星形,直至产生最终的答案.最后,在标准合成数据集WatDiv 和真实数据集DBpedia 上进行大量的实验评估.实验结果表明:所提基于星形分解的分布式SPARQL BGP 匹配算法能够高效回答查询,查询时间比SHARD和S2X算法的查询时间平均提高一个数量级,且优化算法的查询时间与基本算法相比缩短了49.63%~78.71%. 展开更多
关键词 星形分解 分布式 基本图模式匹配 大规模RDF MAPREDUCE
在线阅读 下载PDF
基于空间近邻查询的移动医疗呼叫算法 预览
11
作者 季长清 肖鹏 +4 位作者 刘畅 汪祖民 西方 邵寅博 李泽宇 《计算机工程与应用》 CSCD 北大核心 2019年第2期206-212,共7页
随着大数据时代的到来,传统的计算机因为单机资源有限、运行速度慢、分布式处理支持差,已满足不了现行的医疗体系中的大数据处理需求,基于时空数据的移动医疗呼叫系统方法可以很好地解决这些问题。在移动云计算环境下研究k最近邻查询算... 随着大数据时代的到来,传统的计算机因为单机资源有限、运行速度慢、分布式处理支持差,已满足不了现行的医疗体系中的大数据处理需求,基于时空数据的移动医疗呼叫系统方法可以很好地解决这些问题。在移动云计算环境下研究k最近邻查询算法是当前一个热点问题,支持可扩展和分布式的空间数据索引对于kNN查询的效率影响很大,目前已有的查询算法不适合并行化或者会导致内容冗余。将MapReduce分布式处理技术与空间kNN查询方法相结合,设计可以快速检索到满足用户查询需求的医生位置信息的移动医疗呼叫算法。提出并构建了一个新的分布式空间数据索引方法:倒排Voronoi图索引,它将倒排索引和Voronoi图索引进行结合;提出了一种基于MapReduce的利用Voronoi图来处理kNN查询的高效算法,其在分布式环境下可以有效提高查询效率;用真实的和仿真的数据集来进行大量实验评估,实验结果表明所提出的方法具有良好的高效性和可扩展性。 展开更多
关键词 k最近邻 VORONOI图 MAPREDUCE 空间数据索引
在线阅读 下载PDF
面向大图数据的并行图查询 预览
12
作者 刘小轩 《现代电子技术》 北大核心 2019年第20期45-47,52共4页
针对传统图模式查询算法难以实现在大图数据上查询或查询时间太长问题,提出基于MapReduce的图查询并行算法PGPQ。该方法包括计算初始匹配节点集、初始不匹配父亲节点集和图模式查询三个部分。在图模式查询过程利用初始不匹配父亲节点集... 针对传统图模式查询算法难以实现在大图数据上查询或查询时间太长问题,提出基于MapReduce的图查询并行算法PGPQ。该方法包括计算初始匹配节点集、初始不匹配父亲节点集和图模式查询三个部分。在图模式查询过程利用初始不匹配父亲节点集迭代初始匹配节点集中的节点,如果数据图匹配模式图,返回一个最大的匹配。实验结果表明,PGPQ算法查询能有效地进行大图模式查询。 展开更多
关键词 并行处理 图模式查询 图模式匹配 大图数据 MAPREDUCE 实验验证
在线阅读 下载PDF
云计算环境下气象大数据的应用研究 预览
13
作者 刘骥超 叶钒 谢寒生 《计算机技术与发展》 2019年第5期168-171,共4页
随着气象现代化的逐步推进及气象观测技术的快速发展,随之而来的是气象数据量的指数级增长,气象预报技术也是日新月异尤其是数值预报技术等,同时公众对预报准确率及精确预报的要求也越来越高。为了提高气象预报的准确率以及气象服务水平... 随着气象现代化的逐步推进及气象观测技术的快速发展,随之而来的是气象数据量的指数级增长,气象预报技术也是日新月异尤其是数值预报技术等,同时公众对预报准确率及精确预报的要求也越来越高。为了提高气象预报的准确率以及气象服务水平,必须对这些海量的气象数据进行更多的挖掘利用,但利用传统技术处理这些海量数据的效率已无法满足现行业务需求,互联网技术的发展也为这些海量数据的处理提供了新的技术。文中主要利用云计算技术Hadoop对气象数据进行处理,将气象数据清洗处理后存储于分布式文件系统HDFS,在此基础上采用MapReduce编程架构对气象数据进行复杂检索。进行了参数调优并得到了一个初步的结果,为后续优化工作提供了更多思路以及结果对比。 展开更多
关键词 云计算 HADOOP MAPREDUCE 气象数据
在线阅读 下载PDF
一种基于Value均值的MapReduce任务分配策略 预览
14
作者 薛愈洁 《太原学院学报:自然科学版》 2019年第1期56-59,共4页
在大数据处理中,MapReduce编程思想是处理海量数据中值得借鉴的思想,其计算任务可分为Map任务与Reduce任务。不同类型的数据,其来源与格式不同,处理时不同Key值的List<Value>集合不同,导致不同Reduce任务节点负载不同,体现在集群... 在大数据处理中,MapReduce编程思想是处理海量数据中值得借鉴的思想,其计算任务可分为Map任务与Reduce任务。不同类型的数据,其来源与格式不同,处理时不同Key值的List<Value>集合不同,导致不同Reduce任务节点负载不同,体现在集群上为各个节点任务负载不均衡。针对MapReduce中不同Reduce任务节点负载不均衡问题,在Reduce任务中,将同一Key值的List<Value>集合进行均值处理,并根据Key值进行重新划分,提出一种基于Value均值的MapReduce任务分配策略。实验证明,该策略不仅能够提高Reduce任务处理效率,而且具有广泛性。 展开更多
关键词 MAPREDUCE Value均值 任务分配
在线阅读 免费下载
基于蚁群算法的带有时间约束旅行商问题求解 预览
15
作者 李安颖 陈群 宋荷 《自动化仪表》 CAS 2019年第4期95-98,共4页
为了实现物流行业的快速、有效配送,可以将问题转化为含时间约束的旅行商问题(TSP)。通过对物流配送环节的研究,构建了一种带有时间约束的TSP模型,并提出一种利用改进的MapReduce蚁群算法求解该模型。利用MapReduce的并行机制,对蚁群算... 为了实现物流行业的快速、有效配送,可以将问题转化为含时间约束的旅行商问题(TSP)。通过对物流配送环节的研究,构建了一种带有时间约束的TSP模型,并提出一种利用改进的MapReduce蚁群算法求解该模型。利用MapReduce的并行机制,对蚁群算法进行并行处理,使其运行在分布式环境中,增强了求解大规模问题的能力,提高了运行速度。试验证明,在用户预约了送货时间段的情况下,该方法能较好地解决数据运算规模大、算法运算时间长的问题,合理规划物流配送路径。 展开更多
关键词 MAPREDUCE 蚁群算法 物流配送 时间约束 旅行商问题 分布式处理 信息素 智能算法
在线阅读 下载PDF
基于Hadoop的网络流量分析和特征计算 预览
16
作者 邓河 贺宗梅 《信息与电脑》 2019年第7期75-76,共2页
长期以来,互联网流量的测量和分析可用于识别网络资源和用户行为,但随着互联网的快速发展和网络的高速访问,网络流量分析愈发困难。大规模的网络流量数据需要具备与之相匹配的存储、计算资源。基于此,提出了基于Hadoop平台的分布式网络... 长期以来,互联网流量的测量和分析可用于识别网络资源和用户行为,但随着互联网的快速发展和网络的高速访问,网络流量分析愈发困难。大规模的网络流量数据需要具备与之相匹配的存储、计算资源。基于此,提出了基于Hadoop平台的分布式网络流量存储和基于多层的并行计算流特征。通过10个节点,进行针对2TB流跟踪文件的37个网络流侯选特征的计算试验。结果表明,基于Hadoop平台的分布式存储和计算,大大提高了大规模网络流的处理速度,且随着网络流量规模的扩大,网络流量的分析和特征计算时间非常稳定。 展开更多
关键词 网络流量分析 HADOOP MAPREDUCE
在线阅读 下载PDF
改进的k-means聚类算法在公交IC卡数据分析中的应用研究 预览
17
作者 杨健兵 《软件工程》 2019年第5期32-34,共3页
针对传统k-means算法中初始聚类中心随机确定的问题,提出k-means改进算法。首先,定义变量权值,权值的大小等于样本密度乘以簇间距离除以簇内样本平均距离,通过最大权值来确定聚类中心,克服了随机确定聚类中心的不稳定性。然后在Hadoop... 针对传统k-means算法中初始聚类中心随机确定的问题,提出k-means改进算法。首先,定义变量权值,权值的大小等于样本密度乘以簇间距离除以簇内样本平均距离,通过最大权值来确定聚类中心,克服了随机确定聚类中心的不稳定性。然后在Hadoop平台上用Map-Reduce框架下实现算法的并行化。最后以南通公交IC刷卡记录为例,通过改进的k-means聚类算法进行IC卡刷卡记录的分析。实验表明,在Hadoop平台下改进k-means算法运行稳定、可靠,具有很好的聚类效果。 展开更多
关键词 MAPREDUCE 改进K-MEANS算法 K-MEANS 聚类
在线阅读 下载PDF
海洋3S数据存储处理系统研究 预览
18
作者 赵树平 禹小弦 《电脑知识与技术:学术版》 2019年第5期3-5,共3页
针对大量海洋3S数据的存储处理复杂和低效率的问题,提出了一种海洋3S数据存储处理的设计方案。该系统通过海洋遥感ORS连续影像处理和GPS立体测量,建立三维形状模型,然后提取目标特征更新海洋地理系统MGIS的数据,并将收集到的海洋3S数据... 针对大量海洋3S数据的存储处理复杂和低效率的问题,提出了一种海洋3S数据存储处理的设计方案。该系统通过海洋遥感ORS连续影像处理和GPS立体测量,建立三维形状模型,然后提取目标特征更新海洋地理系统MGIS的数据,并将收集到的海洋3S数据通过Hadoop架构的HDFS进行存储、MapReduce进行处理。该系统运用Hadoop技术进行海洋3S数据存储与处理并提供了可行性的方案。 展开更多
关键词 海洋3S数据 存储处理 HADOOP HDFS MAPREDUCE
在线阅读 下载PDF
基于聚类的兴趣区域间异常轨迹并行检测算法 预览
19
作者 许振 吉根林 唐梦梦 《南京师大学报:自然科学版》 CAS CSCD 北大核心 2019年第1期59-64,共6页
轨迹异常检测能够用来分析移动对象的异常运动行为,在交通运输、医疗监护等领域都有广泛应用.兴趣区域是移动对象集中活动的区域.本文提出了一种新的兴趣区域间异常轨迹检测算法(Detecting Anomalous Trajectories Between Interest Reg... 轨迹异常检测能够用来分析移动对象的异常运动行为,在交通运输、医疗监护等领域都有广泛应用.兴趣区域是移动对象集中活动的区域.本文提出了一种新的兴趣区域间异常轨迹检测算法(Detecting Anomalous Trajectories Between Interest Regions,DATIR).不同于已有的从局部采样点进行检测的算法,DATIR算法综合考虑了轨迹的局部特征和全局特征,利用聚类方法检测兴趣区域间的异常轨迹,并能挖掘出兴趣区域间的正常路径.为了提高海量轨迹数据的异常检测效率,在DATIR算法的基础上,提出了一种并行检测算法(Parallel Algorithm for Detecting Anomalous Trajectories Between Interest Regions,PDATIR).实验结果表明,DATIR算法能够有效地检测兴趣区域间的异常轨迹,并且能够检测出兴趣区域间的正常轨迹;PDATIR算法在大数据集上表现出了明显的性能优势,具有较好的可扩展性和较高的加速比. 展开更多
关键词 异常轨迹检测 兴趣区域 聚类 MAPREDUCE
在线阅读 下载PDF
MapReduce同类机排序问题的改进算法 预览
20
作者 魏麒 吴用 蒋义伟 《高校应用数学学报:A辑》 北大核心 2019年第1期83-90,共8页
研究了MapReduce系统中极小化最大完工时间的同类机排序问题.每个工件包含两类任务集: Map任务集和Reduce任务集.工件的Reduce任务必须在该工件的所有Map任务完成后才能开始加工. Map任务是可分的,即可以被任意分割并在多台机器上同时加... 研究了MapReduce系统中极小化最大完工时间的同类机排序问题.每个工件包含两类任务集: Map任务集和Reduce任务集.工件的Reduce任务必须在该工件的所有Map任务完成后才能开始加工. Map任务是可分的,即可以被任意分割并在多台机器上同时加工,而Reduce任务是不可分的.针对m台同类机离线模型,分别考虑了Reduce任务可中断和不可中断两种情形.对于可中断情形,设计了一个近似比为2-∑g1j=1sj/∑mj=1sj的近似算法,其中g1≥ 1, si为机器σi的加工速度且s1 ≥ s2 ≥……≥sm;对于不可中断情形,则给出了一个近似比为2+√3/3的近似算法.上述结果是对已有文献的改进. 展开更多
关键词 MAPREDUCE 同类机 近似算法 MAKESPAN
在线阅读 下载PDF
上一页 1 2 94 下一页 到第
使用帮助 返回顶部 意见反馈