期刊文献+
共找到95篇文章
< 1 2 5 >
每页显示 20 50 100
一个提高气象数值模式计算性能的并行I/O优化技术 预览
1
作者 邓平 张庆花 张玉龙 《气象科技进展》 2019年第3期213-217,共5页
阐述了开展并行I/O研究对气象数值预报的重要意义,以及通过并行I/O技术充分发挥并行存储性能的必要性和迫切性,提出了并行文件系统底层优化策略及基于MPI-IO的高层I/O库的优化方法,优化后可支持气象要素的并行输出,试验测试数据表明,优... 阐述了开展并行I/O研究对气象数值预报的重要意义,以及通过并行I/O技术充分发挥并行存储性能的必要性和迫切性,提出了并行文件系统底层优化策略及基于MPI-IO的高层I/O库的优化方法,优化后可支持气象要素的并行输出,试验测试数据表明,优化后输出效率明显提升。 展开更多
关键词 并行I/O 气象数值预报 优化技术 计算性能 数值模式 并行文件系统 I/O技术 存储性能
在线阅读 下载PDF
面向数据分发系统的改进型并行I/O研究 预览
2
作者 肖招娣 皇甫汉聪 +1 位作者 余永忠 吕顺锋 《自动化技术与应用》 2018年第10期38-42,共5页
随着用户和业务复杂度的增加,数据仓库的数据对外服务能力急需提升,数据分发系统作为统一接口分发管理,不可避免地面对多用户数据访问的并发性通信阻塞问题。本文利用开源的Kettle工具构建数据分发功能应用,运用并行计算思想提升串行算... 随着用户和业务复杂度的增加,数据仓库的数据对外服务能力急需提升,数据分发系统作为统一接口分发管理,不可避免地面对多用户数据访问的并发性通信阻塞问题。本文利用开源的Kettle工具构建数据分发功能应用,运用并行计算思想提升串行算法效率。在并行化过程中,详述了传统的数据分发收集并行I/O方案,并构建了时间估计方程。在分析总结其瓶颈问题的基础上,借鉴GoogleFileSystem的思想,提出了基于元数据的并行I/O改进型新方案。实验证明,不论并行计算进程数(计算单元数)多少,基于元数据的并行I/O方案比数据分发收集方案都具有更好的性能,数据导入、导出耗时更短。 展开更多
关键词 数据分发 并行计算 并行I/O GoogleFileSystem 元数据
在线阅读 下载PDF
并行科学计算应用中采样数据的聚集I/O 预览
3
作者 曹立强 罗红兵 《计算机工程与科学》 CSCD 北大核心 2018年第9期1534-1539,共6页
采样数据的并行I/O制约一些并行应用的运行效率。设计、实现了采样数据的聚集并行I/O方法。该方法在客户端部署采样数据缓存,然后合并数据到输出进程,再存储到文件。为了保障并行程序长时间运行过程中采样数据的存储一致性,该方法在JAS... 采样数据的并行I/O制约一些并行应用的运行效率。设计、实现了采样数据的聚集并行I/O方法。该方法在客户端部署采样数据缓存,然后合并数据到输出进程,再存储到文件。为了保障并行程序长时间运行过程中采样数据的存储一致性,该方法在JASMIN框架中监测应用程序的运行状态,当并行程序发生负载平衡或者重启动时刷新或者恢复数据。I/O过程中,进一步使用HDF5的分块I/O提高列存储数据的读写效率。测试表明,新方法不仅具有较好的可扩展性,还能在具有负载平衡与重启动等复杂功能的并行应用中提高采样数据的并行I/O效率7.5倍以上。 展开更多
关键词 科学计算 采样数据 并行I/O 性能优化 聚合缓存
在线阅读 下载PDF
机器人与PLC的Profinet通信应用分析
4
作者 李思远 张程皓 +2 位作者 姚世琪 汤小龙 黄亚亮 《汽车制造业》 2017年第21期24-26,共3页
本文介绍了基于DX200新型控制柜的安川通用型工业六轴机器人与西门子S7-300系列PLC之间的Profinet通信应用;DX200并行I/O构成和分类;安川机器人控制柜DX200Profinet通信板卡介绍和配置方法;PLC对机器人的控制方式等。
关键词 PROFINET 通信应用 机器人 PLC S7-300 并行I/O 配置方法 通信板卡
并行I/O技术在海洋数值模式中的应用研究 预览
5
作者 黄伟建 王鑫 韩院彬 《河北工程大学学报:自然科学版》 CAS 2016年第1期86-90,共5页
在海洋数值模拟过程中,随着计算区域的扩大以及计算精度的提升,大量数据输出使得I/O效率成为系统整体性能提升的一个瓶颈。针对这一问题,使用并行I/O技术对系统的输出模块进行优化,并与传统的几种串行I/O方式在不同节点,以及不同计算规... 在海洋数值模拟过程中,随着计算区域的扩大以及计算精度的提升,大量数据输出使得I/O效率成为系统整体性能提升的一个瓶颈。针对这一问题,使用并行I/O技术对系统的输出模块进行优化,并与传统的几种串行I/O方式在不同节点,以及不同计算规模下进行性能比较。通过实验研究数据,对不同I/O方式的不同特点和不同适用场景进行分析,证明在海洋数值模式中使用并行I/O技术切实可行,并且I/O速率得到大幅度提升。 展开更多
关键词 并行I/O 海洋数值模式 并行计算 消息传递接口 I/O
在线阅读 免费下载
科学计算双路并行I/O优化方法 预览 被引量:1
6
作者 曹立强 莫则尧 +2 位作者 沈卫超 夏芳 陈军 《计算机学报》 EI CSCD 北大核心 2015年第5期1035-1043,共9页
科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一... 科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一起,元数据将较严重地干扰并行I/O,造成性能的下降.为此,文中提出数据与元数据分治的双路并行I/O方法.该方法在高层I/O库中建立内存文件系统与并行文件系统两级存储,在存储资源之间并行迁移科学计算元数据.一方面降低较频繁读写元数据的I/O延迟,另一方面改变科学计算数据的存储特征与存储模式,从而提高科学计算应用、尤其是数据分析与可视化等读入密集型应用的I/O效率.测试表明,双路并行I/O方法可提高写性能8%~13%,提高读性能89%到1.01倍. 展开更多
关键词 并行I/O 高层I/O 性能优化 数据格式 双路并行I/O
在线阅读 下载PDF
基于HDF5实现多区结构网格CFD程序的并行I/O 预览 被引量:3
7
作者 杨丽鹏 车永刚 《计算机研究与发展》 EI CSCD 北大核心 2015年第4期861-868,共8页
计算流体动力学(computational fluid dynamics ,CFD)是高性能计算重要应用领域之一,其计算涉及大量数据访问.在大规模并行计算情况下,串行I/O的性能与计算能力不匹配,I/O成为性能瓶颈.并行I/O 是解决这一问题的主要途径之一.... 计算流体动力学(computational fluid dynamics ,CFD)是高性能计算重要应用领域之一,其计算涉及大量数据访问.在大规模并行计算情况下,串行I/O的性能与计算能力不匹配,I/O成为性能瓶颈.并行I/O 是解决这一问题的主要途径之一.针对一个真实多区结构网格CFD 并行程序 HOSTA (high‐order simulator for aerodynamics),基于HDF5(hierarchical data format v5)数据存储格式及其并行I/O编程接口,实现了其主要数据的并行I/O.在一套有6个I/O服务器结点的高性能计算机系统上,采用实际C FD算例进行了性能测试.对一个三角翼算例,并行I/O相对于串行I/O的性能加速比达到21.27,最高获得5.81 GBps的I/O吞吐率,并使程序整体性能提高10%以上;对一个网格规模更大的简单翼型算例,并行I/O最高获得了6.72 GBps的I/O吞吐率. 展开更多
关键词 计算流体动力学 并行I/O 层次式数据存储格式(HDF5) 多区结构网格 I/O吞吐率
在线阅读 下载PDF
pGTIOL:GeoTIFF.数据并行I/O库 被引量:2
8
作者 胡树坚 关庆锋 +3 位作者 龚君芳 刘洋 范天恒 云硕 《地球信息科学学报》 CSCD 北大核心 2015年第5期575-582,共8页
在地理栅格并行计算处理中,数据I/O已成为制约计算性能的主要瓶颈之一。本文针对该问题,首先分析广泛应用于GIS栅格数据存储的GeoTIFF格式,重点研究数据的2种存储模式(即条带存储与块状存储),并根据这2种存储方式,分别构建了栅... 在地理栅格并行计算处理中,数据I/O已成为制约计算性能的主要瓶颈之一。本文针对该问题,首先分析广泛应用于GIS栅格数据存储的GeoTIFF格式,重点研究数据的2种存储模式(即条带存储与块状存储),并根据这2种存储方式,分别构建了栅格数据从逻辑结构向物理存储结构的映射模型。然后,针对地理空间并行计算的需要,提出了栅格数据的并行读写框架,并利用MPI并行I/O技术的文件视图方法,实现了GeoTIFF数据并行I/O库(pGTIOL)。结果表明,对比开源栅格空间数据转换库(GDAL)的主从I/O模式,本文提出的pGTIOL准确读写数据,具有更高的性能。该库隐藏了底层并行I/O的细节,提供简单易用的并行读写GeoTIFF栅格数据的接口,支持多数据类型和多种空间分割,实现了对条带存储与块状存储数据的异步并行读写,从而满足动态负载均衡的需求。 展开更多
关键词 GEOTIFF MPI 并行I/O 异步 动态负载均衡
并行I/O技术在气候数值模式中的应用研究 预览 被引量:1
9
作者 魏敏 徐金秀 王在志 《计算机技术与发展》 2014年第12期11-15,19共6页
在气候变化数值模拟工作中,气候数值模式运行效率主要受到计算效率和I/O效率的共同影响。目前,模式计算部分已经基本实现并行,计算效率显著提升。随着气候数值模式时空分辨率的提高,对I/O效率的需求也不断增加,数据并行I/O技术已经成为... 在气候变化数值模拟工作中,气候数值模式运行效率主要受到计算效率和I/O效率的共同影响。目前,模式计算部分已经基本实现并行,计算效率显著提升。随着气候数值模式时空分辨率的提高,对I/O效率的需求也不断增加,数据并行I/O技术已经成为提高模式整体运行效率的有效方法之一。文中深入分析了BCC_AGCM模式串行I/O算法及NetCDF数据结构特点,采用基于MPI-IO的高层I/O库对模式I/O算法进行并行优化,优化后可支持多类气象要素并行输出,输出效率明显提升。为我国应对气候变化数值模式的运行效率优化工作,进行了有益的技术探索和积累。 展开更多
关键词 高性能计算 气候数值模式 并行I/O NETCDF
在线阅读 下载PDF
栅格数据处理中邻域型算法的并行优化方法 预览 被引量:8
10
作者 程果 景宁 +2 位作者 陈荦 熊伟 欧阳柳 《国防科技大学学报》 EI CAS CSCD 北大核心 2012年第4期114-119,共6页
随着并行计算的成熟,众多数据密集型的栅格处理算法亟需利用并行计算来缩减执行时间。针对其中一类邻域型算法,构建了用于估计是时间代价的串行/并行时域模型,分析了各个组成的代价影响因素,提出了降低数据I/O代价的并行I/O方法和降低... 随着并行计算的成熟,众多数据密集型的栅格处理算法亟需利用并行计算来缩减执行时间。针对其中一类邻域型算法,构建了用于估计是时间代价的串行/并行时域模型,分析了各个组成的代价影响因素,提出了降低数据I/O代价的并行I/O方法和降低数据通信代价的光圈预测方法。实验证明,所提的两个优化方法可以使邻域型栅格处理算法的并行程序更加充分地利用并行计算资源,进而在一般并行化的基础上进一步提升其并行性能。 展开更多
关键词 栅格数据处理 邻域型 并行I/O 光圈预测 MPI
在线阅读 下载PDF
基于Parallel NetCDF的海量时空数据存储研究
11
作者 何振芳 张耀南 赵国辉 《科研信息化技术与应用:中英文》 2012年第1期 54-61,共8页
随着遥感、无线传感器网络等技术的发展,海量时空数据存储的需求越来越大,如何将长时间序列时空数据在集群上进行并行存储和处理已成为科研工作者要解决的课题。本研究深入分析了时空数据特点及NetCDF文件结构特点,利用ParallelNetCD... 随着遥感、无线传感器网络等技术的发展,海量时空数据存储的需求越来越大,如何将长时间序列时空数据在集群上进行并行存储和处理已成为科研工作者要解决的课题。本研究深入分析了时空数据特点及NetCDF文件结构特点,利用ParallelNetCDF函数库,基于集群环境将GRID数据并行转换为NetCDF数据。以黑河干流流域月平均温度GRID数据为例验证并行转换算法的有效性,并可以扩展到其他时空数据的并行存储。 展开更多
关键词 时空数据 并行I/O MPI GRID NETCDF
ECP3FPGA系列:AMC评估开发方案 预览
12
《世界电子元器件》 2012年第3期 28-30,共3页
Lattice公司的LatticeECP3FPGA系列可提供高性能特性如增强的DSP架构,高速SERDES和高速源同步接口。LatticeECP3采用65nm技术,查找表(LUT)高达149k逻辑单元,支持高达486个用户I/O,提供高达320个18X侣乘法器和各种并行I/O标准,... Lattice公司的LatticeECP3FPGA系列可提供高性能特性如增强的DSP架构,高速SERDES和高速源同步接口。LatticeECP3采用65nm技术,查找表(LUT)高达149k逻辑单元,支持高达486个用户I/O,提供高达320个18X侣乘法器和各种并行I/O标准,主要用于对成本和功耗敏感的无线基础没备和有线通信。 展开更多
关键词 AMC Lattice公司 并行I/O 开发 评估 SERDES 性能特性 同步接口
在线阅读 下载PDF
格子Boltzmann方法三维并行程序设计 被引量:1
13
作者 梁功有 曾忠 +1 位作者 张良奇 谢海琼 《水动力学研究与进展:A辑》 CSCD 北大核心 2011年第5期 531-537,共7页
采用单松弛不可压缩D3Q19格子Boltzmann模型,自主开发了基于性能优化和MPI并行的程序包。程序通过合并碰撞迁移过程和引入临时数组以连续读入分布函数的优化处理,使程序计算性能得以大幅提高。并行程序在遵循负载均衡原则下采用单向... 采用单松弛不可压缩D3Q19格子Boltzmann模型,自主开发了基于性能优化和MPI并行的程序包。程序通过合并碰撞迁移过程和引入临时数组以连续读入分布函数的优化处理,使程序计算性能得以大幅提高。并行程序在遵循负载均衡原则下采用单向区域分解,使用非阻塞通信模式进行数据交换,同时采用并行I/O以便各个进程同步进行I/O操作。通过对三维顶盖驱动流的数值模拟,验证了该程序的正确性及其并行效率。 展开更多
关键词 格子BOLTZMANN方法 MPI并行 消息传递 并行I/O 顶盖驱动流
多通道组合阵列存储系统结构与并行I/O设计 预览
14
作者 贺再红 周炎涛 《计算机工程与科学》 CSCD 北大核心 2009年第7期 68-71,101,共5页
本文基于开放硬件平台和软件环境提出了一种集成式多通道组合阵列存储系统结构;设计了多个阵列适配卡分条和卡上多个磁盘分条的两级并行数据组织和分布方式,以提高I/O访问的并发性;提出了一种将来自主机的I/O命令并行分散到多个阵... 本文基于开放硬件平台和软件环境提出了一种集成式多通道组合阵列存储系统结构;设计了多个阵列适配卡分条和卡上多个磁盘分条的两级并行数据组织和分布方式,以提高I/O访问的并发性;提出了一种将来自主机的I/O命令并行分散到多个阵列通道上的调度方法。实验表明,在10Gb/s的Infiniband主机接口通道下,组合阵列的I/O性能基本上是多个阵列适配卡I/O带宽的线性叠加。 展开更多
关键词 分布式冗余校验磁盘阵列 多通道组合 二级分条 并行I/O 多线程并行
在线阅读 下载PDF
应用层并行I/O效率研究 预览 被引量:2
15
作者 张娟 陆林生 《计算机应用》 CSCD 北大核心 2009年第1期 9-11,15,共4页
针对划分计算空间到多个计算区域(zone)这类问题,采用基于计算区域组织I/O时,首先需选择计算区域的主进程;其次当某一进程是两个计算区域的主进程时需指定计算区域数据访问先后顺序。设计了多级极大独立集算法实现上述过程。该算... 针对划分计算空间到多个计算区域(zone)这类问题,采用基于计算区域组织I/O时,首先需选择计算区域的主进程;其次当某一进程是两个计算区域的主进程时需指定计算区域数据访问先后顺序。设计了多级极大独立集算法实现上述过程。该算法利用图论中的连通图以及极大独立集概念规定了每个计算区域进行数据访问的进程以及优先级。经样例分析,采用此种方法达到I/O并行度最高,并实现在并行度最高情况下通信量最小。 展开更多
关键词 并行I/O 连通图 极大独立集 矩阵
在线阅读 下载PDF
三维多子区激光推进数值模拟的并行设计与分析 预览
16
作者 曾瑶源 赵文涛 +2 位作者 张理论 赵军 李倩 《科学技术与工程》 2009年第4期 845-851,共7页
针对三维多子区激光推进并行数值模拟问题,基于按子区独立进行区域分解策略,引入物理网格点负载权重,实现了负载平衡。通过提高Cache命中率、优化消息传递、并行写文件等措施,使设计实现了所研究问题的并行化。并在某国产巨型机上... 针对三维多子区激光推进并行数值模拟问题,基于按子区独立进行区域分解策略,引入物理网格点负载权重,实现了负载平衡。通过提高Cache命中率、优化消息传递、并行写文件等措施,使设计实现了所研究问题的并行化。并在某国产巨型机上对不同算例进行了测试。当并行度为16时,最低加速比高于8.96,实现了采用并行计算加快激光推进机理研究的目的。 展开更多
关键词 多子区 激光推进 耦合计算 区域分解 负载平衡 并行I/O
在线阅读 免费下载
USB通信在光伏阵列测试系统中的应用 预览
17
作者 李湘峰 付青 +1 位作者 何英蕾 陈晓高 《微计算机信息》 2009年第9期112-114,共3页
在光伏阵列区域特性测试系统中,为得到精确的充电曲线,需要在短时间内采集大量的数据并将这些数据传输到上位机进行分析,为此选择了USB接口作为通信接口。文中介绍了一种USB接口芯片FT245BM的内部结构,工作原理,及其功能。结合DSP... 在光伏阵列区域特性测试系统中,为得到精确的充电曲线,需要在短时间内采集大量的数据并将这些数据传输到上位机进行分析,为此选择了USB接口作为通信接口。文中介绍了一种USB接口芯片FT245BM的内部结构,工作原理,及其功能。结合DSP系统的特点设计了FT245BM与TMS320F2812的接口电路并对软件编程方法进行了探讨。该电路已被成功地应用到光伏阵列测试系统中,简化了系统设计。提高了系统的通信效率。 展开更多
关键词 FT245BM USB接口 并行I/O TMS320F2812
在线阅读 下载PDF
基于FFT并行算法的并行I/O性能的研究 预览
18
作者 张贯虹 高玲玲 《电脑知识与技术:学术交流》 2008年第11X期1373-1375,共3页
该研究对象为并行计算机的I/O性能,将任务分发给不同的处理结点,通过进程间的相互协调、有序合作完成FFT并行算法的实现。在完成任务的过程中,通过记录I/O时间与计算时间,求出I/O性能与计算性能,通过分析比较数据从而认识I/O性能的重要... 该研究对象为并行计算机的I/O性能,将任务分发给不同的处理结点,通过进程间的相互协调、有序合作完成FFT并行算法的实现。在完成任务的过程中,通过记录I/O时间与计算时间,求出I/O性能与计算性能,通过分析比较数据从而认识I/O性能的重要性。研究计算机的I/O性能对于如何进一步改进系统以及提高资源利用率具有重要意义。 展开更多
关键词 并行计算机系统 I/O性能 并行I/O MPI MPI-IO
在线阅读 下载PDF
NAPA软件的并行优化 被引量:1
19
作者 金君 乔楠 梁德旺 《数值计算与计算机应用》 CSCD 2008年第1期65-72,共8页
大规模数值计算受到通信模式、并行算法、I/O速度等的多方面因素的制约,并行程序的好坏直接影响并行机性能的发挥,本文分别对上述影响并行性能的重要因素进行了分析并对NAPA软件进行了优化,测试中发现本文采用的并行算法性能比优化... 大规模数值计算受到通信模式、并行算法、I/O速度等的多方面因素的制约,并行程序的好坏直接影响并行机性能的发挥,本文分别对上述影响并行性能的重要因素进行了分析并对NAPA软件进行了优化,测试中发现本文采用的并行算法性能比优化前提高了41.1%,此外,本文采用支持多视口的MPI I/O接口性能有明显提高.最后,本文分析了并行NAPA软件的可扩展性,并采用高超声速平板流动进行了测试,在Grid 97^*49^*49算例中,64个进程的情况下得到了较高的加速比(53.7)和并行效率(84%),表明,优化后的软件具有较好的并行效率和可扩展性. 展开更多
关键词 并行算法 并行I/O 计算流体力学 并行优化 可扩展性
MPI-2新特性及MPICH配置方法 预览
20
作者 崔永良 刘羽 郭慧玲 《山东理工大学学报:自然科学版》 CAS 2008年第5期 44-47,共4页
MPI-2作为消息传递界面MPI的扩展,对其扩展部分的系统研究相对较少。首先对MPI-2扩展功能的3个主要方面进行了深入的分析和研究,然后阐述了其实现版本MPICH在Windows下的配置方法,为MPI-2的进一步应用提供了支持。
关键词 单边通信 动态进程管理 并行I/O MPICH
在线阅读 免费下载
上一页 1 2 5 下一页 到第
使用帮助 返回顶部 意见反馈