期刊文献+
共找到4,998篇文章
< 1 2 250 >
每页显示 20 50 100
面向不平衡数据集的一种基于聚类的欠采样方法
1
作者 李春雪 谢林森 卢诚波 《数学的实践与认识》 北大核心 2019年第1期203-209,共7页
针对不平衡数据集分类问题,提出了一种基于聚类的欠采样方法.分别取不同的聚类个数,对训练集中的多数类样本进行若干次聚类,然后用聚类中心作为多数类样本,与少数类样本构成若干个新的训练集,之后用这些训练集训练分类器,剔除具有错误... 针对不平衡数据集分类问题,提出了一种基于聚类的欠采样方法.分别取不同的聚类个数,对训练集中的多数类样本进行若干次聚类,然后用聚类中心作为多数类样本,与少数类样本构成若干个新的训练集,之后用这些训练集训练分类器,剔除具有错误分类倾向的分类器,最后对分类结果进行投票.仿真实验对几种欠采样方法进行比较.实验采用16个平衡率不一的数据集进行测试.理论分析与实验结果表明:提出的基于聚类的欠采样方法能有效地改善不平衡数据集的不平衡性. 展开更多
关键词 不平衡数据集 K-MEANS 欠采样 K-近邻 支持向量机
基于K-means++的WiFi指纹定位算法 预览
2
作者 苏明明 鲁照权 +3 位作者 陈龙 谢地 尤海龙 丁浩峰 《传感器与微系统》 CSCD 2019年第5期140-142,145共4页
针对接收信号强度(RSS)的波动性、易受干扰等特征,在匹配算法时易被较远处参考点所干扰,导致定位结果偏差较大,提出了一种基于聚类结果的指纹定位算法。与传统的按参考点处信号强度进行聚类不同,采取了利用K-means++算法按参考点位置聚... 针对接收信号强度(RSS)的波动性、易受干扰等特征,在匹配算法时易被较远处参考点所干扰,导致定位结果偏差较大,提出了一种基于聚类结果的指纹定位算法。与传统的按参考点处信号强度进行聚类不同,采取了利用K-means++算法按参考点位置聚类的方法。在聚类的结果上,选择RSS均值最大的M个AP,使用有监督的学习算法KNN对测试点进行分类,再用确定性的匹配算法加权K最近邻居法来计算位置坐标。实验结果表明:所提方法在定位性能上比按信号强度聚类的方法有较大提高。 展开更多
关键词 K-means++ 位置聚类 最大均值AP选择 有监督学习KNN 加权K最近邻法
在线阅读 下载PDF
基于ACO-PSO自适应的划分聚类算法 预览
3
作者 周文娟 赵礼峰 《计算机技术与发展》 2019年第2期90-95,共6页
针对经典划分算法聚类数K先验未知及初始聚类中心随机选取,导致陷入局部最优的问题,提出一种基于ACO-PSO自适应的划分聚类算法。首先根据聚类算法类内相似度最大差异度最小和类间相似度最小差异度最大的基本原则,将个体轮廓系数作为最... 针对经典划分算法聚类数K先验未知及初始聚类中心随机选取,导致陷入局部最优的问题,提出一种基于ACO-PSO自适应的划分聚类算法。首先根据聚类算法类内相似度最大差异度最小和类间相似度最小差异度最大的基本原则,将个体轮廓系数作为最佳聚类数的检验函数,得到聚类算法的自适应K值;其次利用群智能搜索方法思想,有效结合了粒子群算法和蚁群算法的优点,先利用具有全局性和快速性的粒子群算法获得初始信息素分布,再利用具有正反馈性和并行性的蚁群算法得到精确解。最后在多个UCI数据集上的仿真结果表明,该算法不仅求解能力优于传统聚类算法及基于个体轮廓系数优化的初始聚类中心算法,而且聚类时间效率大大提高,应用于大数据收敛速度更加明显。 展开更多
关键词 K-MEANS 自适应 个体轮廓系数 ACO-PSO 鲁棒性
在线阅读 下载PDF
基于超像素和K-means的图像分割算法 预览
4
作者 苏建菖 马燕 《计算机时代》 2019年第2期58-60,66共4页
传统的简单线性迭代聚类(SLIC)超像素算法在图像细节处容易产生欠分割问题,文章对超像素块采用K-means算法进一步聚类,并按聚类中心定义了相似度,对于相似度大于预设阈值的超像素块,视其为欠分割区域,对该超像素块保留K-means聚类结果... 传统的简单线性迭代聚类(SLIC)超像素算法在图像细节处容易产生欠分割问题,文章对超像素块采用K-means算法进一步聚类,并按聚类中心定义了相似度,对于相似度大于预设阈值的超像素块,视其为欠分割区域,对该超像素块保留K-means聚类结果。实验结果表明,本文算法在分割准确率等各项指标上均优于SLIC算法。 展开更多
关键词 超像素 SLIC K-MEANS 图像分割
在线阅读 下载PDF
古琴艺术数字化保护概述与琴律智能分析 预览
5
作者 陈根方 《复旦学报:自然科学版》 CAS CSCD 北大核心 2019年第3期335-342,共8页
古琴的演奏是3维空间的立体运动,古琴的乐谱是由独有的减字谱记录演奏技法.在数字信息时代,古琴艺术的跨媒体传播面临新的挑战,本文从记谱法、信息检索、琴律、音乐标注、风格分析、智能打谱和算法作曲等24个方面简述了古琴艺术的数字... 古琴的演奏是3维空间的立体运动,古琴的乐谱是由独有的减字谱记录演奏技法.在数字信息时代,古琴艺术的跨媒体传播面临新的挑战,本文从记谱法、信息检索、琴律、音乐标注、风格分析、智能打谱和算法作曲等24个方面简述了古琴艺术的数字化保护内容.通过对古琴三分损益律与纯律两种琴律的建模,利用最近邻法和K-Means聚类算法,参照十二平均律的音律,对古琴的泛音和按音的音律进行分类.实验结果表明:最近邻法和K-Means聚类算法对按音和泛音分类结果相同. 展开更多
关键词 古琴 数字化保护 音律 最近邻法 K-MEANS 聚类分析
在线阅读 免费下载
基于自适应k-means++算法的电力负荷特性分析 预览
6
作者 李婧 徐胜蓝 +2 位作者 万灿 卢奕城 王素英 《南方电网技术》 CSCD 北大核心 2019年第2期13-19,共7页
运用数据挖掘中的聚类算法对电力负荷曲线进行聚类分析,提炼电力负荷曲线之间的共性特征与差异特征,在负荷模型实用化方面有重要应用价值,可以帮助分析用户用电规律,指导电网规划及实时调度。本文提出了一种自适应k-means++负荷特性聚... 运用数据挖掘中的聚类算法对电力负荷曲线进行聚类分析,提炼电力负荷曲线之间的共性特征与差异特征,在负荷模型实用化方面有重要应用价值,可以帮助分析用户用电规律,指导电网规划及实时调度。本文提出了一种自适应k-means++负荷特性聚类算法,综合不同聚类数时的聚类结果验证了数据集里各样本的相似性,通过迭代图切分的方法确定了最佳聚类数,避免了人为设定电力用户日负荷曲线聚类数不恰当导致的单一聚类结果的过大偏差,提高了负荷分类的精确性。算例结果验证了该算法的可行性和有效性,表明该算法求最佳聚类数的准确性高、鲁棒性好。 展开更多
关键词 负荷聚类 迭代图切分 自适应 k-means++
在线阅读 免费下载
融合发展绩效与创新分级的开发区综合评价——以安徽省经济开发区为例 预览
7
作者 曹承龙 《江汉大学学报:社会科学版》 2019年第2期64-71,126共9页
开发区是地方经济增长的引擎,对改善投资环境,带动地方经济发展贡献突出。对开发区进行科学有效评价,将有利于其健康发展。研究从经济效益和对外开放两个方面,基于投入、产出的8项指标,采用熵值法计算开发区绩效;为明确创新与绩效关系,... 开发区是地方经济增长的引擎,对改善投资环境,带动地方经济发展贡献突出。对开发区进行科学有效评价,将有利于其健康发展。研究从经济效益和对外开放两个方面,基于投入、产出的8项指标,采用熵值法计算开发区绩效;为明确创新与绩效关系,采用K-means聚类算法对开发区的创新等级进行识别,并结合熵值法计算结果,构建创新—绩效的关系分布。同时进一步基于2012年至2016年安徽省统计年鉴数据,展开实证研究。分析结果显示:安徽省16个地市省级以上开发区分布在3个类型区,其中,位于高创新—高绩效类型区的地市数量少,低创新—低绩效类型区的地市数量偏多,各地市发展差距明显。针对这3个类型区,分别提出均衡经济梯度、加快产业转移、产业结构调整等建议。 展开更多
关键词 开发区 综合评价 创新分级 熵值 K-MEANS聚类算法
在线阅读 下载PDF
基于密度自适应聚类数的社区发现谱方法 预览
8
作者 王学军 李有红 李炽平 《计算机技术与发展》 2019年第5期81-85,共5页
社区结构发现研究可揭示复杂网络中隐藏中观结构,为进一步开展网络的形成和演化研究应用提供依据,如可为智能推荐、舆情控制、电力和交通网络调度等方面提供决策支持数据。针对复杂网络社区结构挖掘中社区数量难以确定的问题,提出一种... 社区结构发现研究可揭示复杂网络中隐藏中观结构,为进一步开展网络的形成和演化研究应用提供依据,如可为智能推荐、舆情控制、电力和交通网络调度等方面提供决策支持数据。针对复杂网络社区结构挖掘中社区数量难以确定的问题,提出一种基于密度自适应聚类数的社区发现谱方法。引入谱图分析中比较成熟的谱聚类特征向量分析方法,基于局部节点密度构图,结合网络图的边介数值构造相似矩阵,规范化后进行谱聚类,求得最大特征维度k值,k值即为社区个数。最后采用k-means方法对特征向量空间进行聚类,使得复杂网络社区得以呈现。在人工UCI和真实数据集(southern women data)上的实验表明,与现有谱聚类社区发现算法相比,该方法能自动确定社区个数,能得到划分精度更高的社区。 展开更多
关键词 K-MEANS 社区发现 拉普拉斯矩阵 结构相似
在线阅读 下载PDF
基于感兴趣区域的CNN-Squeeze交通标志图像识别 预览
9
作者 张秀玲 张逞逞 周凯旋 《交通运输系统工程与信息》 EI CSCD 北大核心 2019年第3期48-53,共6页
在公路交通中,针对复杂环境下交通标志识别率不高的问题,提出了一种基于K-means对图像聚类,切割图像感兴趣区域(Regions of Interest, ROI),并利用方向梯度直方图特征(Histogram of Oriented Gradient, HOG)与卷积运算,特征加权(CNN-Squ... 在公路交通中,针对复杂环境下交通标志识别率不高的问题,提出了一种基于K-means对图像聚类,切割图像感兴趣区域(Regions of Interest, ROI),并利用方向梯度直方图特征(Histogram of Oriented Gradient, HOG)与卷积运算,特征加权(CNN-Squeeze)相结合的交通标志识别方法.首先,采用K-means对交通标志图像进行三角形、圆形图像二聚类,并利用制作的切割模板切割ROI并提取HOG特征;然后,利用卷积神经网络(Convolutional NeuralNetwork,CNN)对HOG特征进行过滤、降维,并通过Squeeze网络对过滤后的二次特征进行重要性标定;最后,训练该网络模型并实现对交通标志的识别.仿真结果表明,与BP网络、SVM及CNN对比,本文方法在保证训练时间的同时,识别精度达到98.58%. 展开更多
关键词 智能交通 K-MEANS 感兴趣区域 CNN-Squeeze 交通标志识别
在线阅读 下载PDF
基于RSSI测距误差离群去约束的优化方法 预览
10
作者 王丽娟 马刚 +1 位作者 刘倩 吕途 《河南农业大学学报》 CAS CSCD 北大核心 2019年第2期266-272,共7页
针对基于RSSI测距定位中偶然性测距误差和设备误差对定位结果影响较大这一问题,提出了一种误差离群去约束的优化方法。通过对三边定位结果使用K-means算法进行离群分析,得到对定位结果影响较大的几个锚节点,从而对数据进行处理。针对实... 针对基于RSSI测距定位中偶然性测距误差和设备误差对定位结果影响较大这一问题,提出了一种误差离群去约束的优化方法。通过对三边定位结果使用K-means算法进行离群分析,得到对定位结果影响较大的几个锚节点,从而对数据进行处理。针对实际系统使用RSSI测距模块测得多组实验数据,并用Matlab软件进行仿真分析,将测距误差离群去约束模型与传统均值模型使用最小二乘法在不同距离下进行定位对比。仿真结果表明,当引入不同数量误差锚节点时,前者在定位精度方面均有0.1~0.2m^2提升,同时算法也具有很好的鲁棒性。 展开更多
关键词 RSSI定位 去约束 K-MEANS 最小二乘法 三边定位 锚节点
在线阅读 下载PDF
基于KECA和FWA-SVM的间歇过程分时段故障诊断方法 预览
11
作者 蔡振宇 张敏 包珊珊 《计算机应用研究》 CSCD 北大核心 2019年第5期1409-1414,共6页
针对间歇过程的高度复杂性、强非线性、强时段性等特点,提出一种基于核熵成分分析(KECA)特征变量降维,利用烟花算法(FWA)优化支持向量机(SVM)参数的间歇过程分时段故障诊断方法。首先,通过多向核主元分析(MKPCA)进行在线故障监测,输出... 针对间歇过程的高度复杂性、强非线性、强时段性等特点,提出一种基于核熵成分分析(KECA)特征变量降维,利用烟花算法(FWA)优化支持向量机(SVM)参数的间歇过程分时段故障诊断方法。首先,通过多向核主元分析(MKPCA)进行在线故障监测,输出故障数据;其次,利用K-means分类方法将间歇过程划分为若干个子时段,对故障数据进行KECA特征变量处理,按熵值贡献率来确定选取主元的个数,深层提取特征信息;最后,在各子时段内分别构建FWA优化SVM参数故障诊断模型,将降维处理后的故障数据代入各自所属子时段FWA-SVM诊断模型内进行故障诊断。通过对青霉素仿真实验数据进行各种对比实验研究,验证了该方法的可行性与有效性。 展开更多
关键词 间歇过程 核熵成分分析 烟花算法 支持向量机 K-MEANS 青霉素仿真
在线阅读 下载PDF
基于K-Means的颜色量化算法在岩石图像预处理中的应用 预览
12
作者 程国建 魏珺洁 《西安石油大学学报:自然科学版》 CAS 北大核心 2019年第3期114-119,共6页
提出了一种基于K-Means的颜色量化算法的岩石图像预处理方法,利用K-Means自动将图像中相似的颜色合并为一种颜色,减少了岩石图像中的无用颜色。对于颜色量化,假设RGB岩石图像中的每个像素点都有自己的颜色,并且每个像素点都有对应坐标,... 提出了一种基于K-Means的颜色量化算法的岩石图像预处理方法,利用K-Means自动将图像中相似的颜色合并为一种颜色,减少了岩石图像中的无用颜色。对于颜色量化,假设RGB岩石图像中的每个像素点都有自己的颜色,并且每个像素点都有对应坐标,使用欧几里得距离公式计算每个像素点之间的距离,最后利用K-Means算法对这些有特定颜色的坐标点进行无监督聚类,从而实现颜色的量化。应用结果表明,将基于K-Means的颜色量化算法用在岩石图像中,可以减少岩石图像中的颜色数量,且能在较低性能的计算机设备中很好地再现岩石图像,同时也能提高岩石图像处理的效率。 展开更多
关键词 岩石图像处理 颜色量化 K-MEANS 像素点 聚类
在线阅读 下载PDF
基于词向量和多特征语义距离的文本聚类算法 预览
13
作者 张弛 张贯虹 《重庆科技学院学报:自然科学版》 CAS 2019年第3期69-72,77共5页
针对传统文本聚类算法中存在语义相似度计算向量维度高、忽视特征词词频、位置、词距和语义缺失等问题,提出了一种基于词向量和多特征语义距离的文本聚类算法(M-W2-KS)。首先使用Word2Vec训练语料库中的所有特征词,以向量形式进行表征;... 针对传统文本聚类算法中存在语义相似度计算向量维度高、忽视特征词词频、位置、词距和语义缺失等问题,提出了一种基于词向量和多特征语义距离的文本聚类算法(M-W2-KS)。首先使用Word2Vec训练语料库中的所有特征词,以向量形式进行表征;然后综合考虑特征词的词频、位置、词距信息以及特征词间的欧式距离,计算文本间的语义相似度,并将其应用到K-means算法中,实现文本的聚类。实验结果表明,运用M-W2-KS算法,可以有效提升聚类效果,使聚类结果更加准确。 展开更多
关键词 文本聚类 词向量 特征向量 Word2Vec K-MEANS
在线阅读 下载PDF
基于智能蝙蝠算法的异常数据检测方法 预览
14
作者 孙远 廖小平 《计算机与现代化》 2019年第3期62-67,共6页
随着大数据应用的普及,网络攻击日益严重并已成为主要的网络安全问题。针对大数据环境下的网络攻击检测问题,设计一种融合聚类和智能蝙蝠算法(DEBA)的网络攻击检测系统。该系统将K-means算法与蝙蝠算法相结合进行数据流分类,实现了对异... 随着大数据应用的普及,网络攻击日益严重并已成为主要的网络安全问题。针对大数据环境下的网络攻击检测问题,设计一种融合聚类和智能蝙蝠算法(DEBA)的网络攻击检测系统。该系统将K-means算法与蝙蝠算法相结合进行数据流分类,实现了对异常数据的高效检测。实验结果显示,该系统的聚类准确率、算法耗时和误报率方面明显优于基于传统蝙蝠算法的K-means算法和单独K-means算法的网络异常数据检测方法。 展开更多
关键词 蝙蝠算法 智能蝙蝠算法 K-MEANS 异常数据检测 聚类准确率
在线阅读 下载PDF
基于类中心插值的非均衡数据分类算法 预览
15
作者 齐利泉 《通信技术》 2019年第3期583-586,共4页
在传统的随机森林算法中,随机森林由多棵决策树组成,分类的结果由所有的决策树共同投票决定。随机森林算法在训练决策树的过程中,单棵决策树训练样本的随机采样使得训练产生的决策树模型分类性能有所差别。训练样本的非均衡性会使随机... 在传统的随机森林算法中,随机森林由多棵决策树组成,分类的结果由所有的决策树共同投票决定。随机森林算法在训练决策树的过程中,单棵决策树训练样本的随机采样使得训练产生的决策树模型分类性能有所差别。训练样本的非均衡性会使随机森林模型更偏向大数据样本,使得小样本数据分类性能欠佳。为此,提出了KC-RF算法。该算法的过采样数据分为两部分:第一部分利用k-means对小样本数据进行聚类,在聚类中心周围根据欧式距离采样部分数据,用以表征样本;第二部分以小样本数据中心CM和大样本数据中心间的类间距作为标准进行样本插值。将过采样产生的两部分数据和原来的小样本数据共同组成训练样本,再使用随机森林进行分类。通过在KEEL数据集上的实验证明,所提算法的分类精度提高明显。 展开更多
关键词 随机森林 过采样 非均衡数据集 K-MEANS CM
在线阅读 下载PDF
小麦倒伏信息无人机多时相遥感提取方法 预览
16
作者 李广 张立元 +3 位作者 宋朝阳 彭曼曼 张瑜 韩文霆 《农业机械学报》 EI CAS CSCD 北大核心 2019年第4期211-220,共10页
采用两期无人机可见光遥感图像,对灌浆期冬小麦倒伏图像特征及倒伏信息提取方法进行研究。从增强图像空间域方面,对图像进行二次低通滤波,获取地物散点图,以散点存在明显分界线为判定标准,选出小麦倒伏信息提取的单特征,对两单特征线性... 采用两期无人机可见光遥感图像,对灌浆期冬小麦倒伏图像特征及倒伏信息提取方法进行研究。从增强图像空间域方面,对图像进行二次低通滤波,获取地物散点图,以散点存在明显分界线为判定标准,选出小麦倒伏信息提取的单特征,对两单特征线性拟合构建倒伏小麦两时期提取特征参数 F 1 和 F 2 ,再以两特征参数相似性构建综合特征参数 F 3 。将特征参数结合K-means算法提取冬小麦倒伏信息,整体精度(OA)达86.44%以上,Kappa系数达0.73以上,倒伏信息提取精度( F )为81.07%以上,因此综合特征参数可作为两个时期冬小麦倒伏信息提取特征参数。分别用本文方法、支持向量机、神经网络法和最大似然法提取验证区域倒伏小麦信息,经验证,本文方法提取小麦倒伏信息整体精度(OA)达86.29%以上,Kappa系数达0.71以上,倒伏信息提取精度( F )达80.60%以上;其他3种常用方法提取的整体精度( OA)为69.68%~87.44%,Kappa系数为0.49~0.72,倒伏信息提取精度( F )为65.33%~ 79.76%。结果表明,本文方法整体精度和倒伏信息提取精度均高于目前常用分类方法。因此,综合特征参数与K-means算法对冬小麦在灌浆期倒伏信息提取具有一定的准确性和适用性。 展开更多
关键词 冬小麦 倒伏 无人机遥感 图像处理 多时相 K-MEANS
在线阅读 下载PDF
基于K-Means和SEM的消费者互联网保险购买意愿研究——以TPB和TAM为分析框架 预览
17
作者 谭征 《重庆理工大学学报:自然科学》 CAS 北大核心 2019年第2期198-207,共10页
“互联网+”正颠覆和重塑着中国经济格局,互联网保险借势兴起并酝酿一场“现象级”热潮。消费者的购买意愿是进一步挖掘互联网保险市场潜力的直接推动因素,以消费者的视角研究互联网保险,合理引导消费者作出购买决策对于互联网保险的发... “互联网+”正颠覆和重塑着中国经济格局,互联网保险借势兴起并酝酿一场“现象级”热潮。消费者的购买意愿是进一步挖掘互联网保险市场潜力的直接推动因素,以消费者的视角研究互联网保险,合理引导消费者作出购买决策对于互联网保险的发展具有十分重要的意义。以ZH财险的互联网车险客户数据和问卷调查数据进行实证分析,运用K-Means聚类技术完成客户细分,并综合TPB和TAM理论构建消费者互联网保险购买意愿新模型,运用结构方程验证该模型。基于研究结论,为互联网保险经营发展提出针对性建议。 展开更多
关键词 K-MEANS 互联网保险 购买意愿 计划行为理论
在线阅读 免费下载
基于TensorFlow的K-means算法的研究 预览
18
作者 李昱锋 李建宏 文永明 《信息技术与网络安全》 2019年第5期37-41,共5页
在大规模数据集的背景下,K-means算法随着计算量变大,计算耗时长的问题变得越来越严重。为提高算法计算速度,对传统的K-means算法进行并行化处理。TensorFlow是谷歌开发的开源机器学习库,可部署于不同的计算设备,具有强大表达能力的原语... 在大规模数据集的背景下,K-means算法随着计算量变大,计算耗时长的问题变得越来越严重。为提高算法计算速度,对传统的K-means算法进行并行化处理。TensorFlow是谷歌开发的开源机器学习库,可部署于不同的计算设备,具有强大表达能力的原语。TensorFlow可以使用CUDA(Compute Unified Device Architecture)和cuDNN(CUDA Deep Neural Networklibrary)实现GPU计算,充分利用GPU并行计算架构提高算法运行效率。 展开更多
关键词 K-MEANS 并行计算 TensorFlow
在线阅读 下载PDF
基于加权最小二乘法曲率计算的点云精简算法 预览
19
作者 唐泽宇 高保禄 窦明亮 《计算机工程与设计》 北大核心 2019年第6期1606-1610,1659共6页
针对目前点云精简算法的曲率计算不准确、精度不高等问题,提出一种基于加权最小二乘法曲率计算的点云精简算法。使用点的离群率作权值;使用二次曲面为计算模型;使用加权最小二乘曲面拟合生成曲面,计算曲面的平均曲率。对于点云的精简,... 针对目前点云精简算法的曲率计算不准确、精度不高等问题,提出一种基于加权最小二乘法曲率计算的点云精简算法。使用点的离群率作权值;使用二次曲面为计算模型;使用加权最小二乘曲面拟合生成曲面,计算曲面的平均曲率。对于点云的精简,结合使用K-means聚类算法和基于泊松分布的特征点检测算法进行精简。实验结果表明,该算法能够有效提升曲率计算的准确度,避免了孔洞现象,更好保留了点云数据的原始物理特征。 展开更多
关键词 最小二乘法 加权最小二乘法 曲率 特征点 K-MEANS 泊松分布
在线阅读 下载PDF
水利工程灌浆大数据平台设计与实现 预览
20
作者 饶小康 《长江科学院院报》 CSCD 北大核心 2019年第6期139-145,170共8页
随着云计算、大数据、物联网的发展,水利工程各类采集数据与日俱增,面对如此大规模的数据集,传统存储、计算相关的理论和方法已不能满足海量、多源、异构数据的存取与处理。针对水利工程灌浆大数据,设计平台总体架构,搭建Hadoop分布式集... 随着云计算、大数据、物联网的发展,水利工程各类采集数据与日俱增,面对如此大规模的数据集,传统存储、计算相关的理论和方法已不能满足海量、多源、异构数据的存取与处理。针对水利工程灌浆大数据,设计平台总体架构,搭建Hadoop分布式集群,设计并行化数据挖掘算法,实现水利工程灌浆大数据平台,并基于B/S服务模式进行平台展现、应用和管理。平台功能模块主要包括数据资源下载、数据集上传与运行、自定义算法、运行状态及结果和大数据可视化等,并结合白鹤滩水利工程建立基于随机森林的灌浆工程单位注入量预测模型和基于K-Means聚类的灌浆成果异常检测模型进行应用示范。平台的设计与实现融合水利工程结构化与非结构化数据,将大数据集群并行计算和数据挖掘技术应用到水利工程中,改变传统随机抽样和单一挖掘分析模型,采用多粒度、多层次、多渠道的分析模型对数据全量进行挖掘分析,从海量数据中挖掘分析出于管理、决策和生产有用的信息,实现了数据资源的集成共享、业务的高效处理、数据信息的知识发现,提高了数据存储和处理效率和精度,为当前水利工程大数据的存储与计算提供一种新的解决思路。 展开更多
关键词 大数据平台 水利工程 灌浆 HADOOP SPARK 随机森林 K-MEANS
在线阅读 下载PDF
上一页 1 2 250 下一页 到第
使用帮助 返回顶部 意见反馈