期刊文献+
共找到1,463篇文章
< 1 2 74 >
每页显示 20 50 100
学习大数据必须掌握的核心技术 预览
1
《计算机与网络》 2019年第11期36-39,共4页
大数据技术的体系庞大且复杂,基础的技术包含数据的采集、数据预处理、分布式存储、No SQL数据库、数据仓库、机器学习、并行计算以及可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架,主要分为下面几个方面... 大数据技术的体系庞大且复杂,基础的技术包含数据的采集、数据预处理、分布式存储、No SQL数据库、数据仓库、机器学习、并行计算以及可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架,主要分为下面几个方面:数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。 展开更多
关键词 数据处理 数据技术 数据预处理 数据可视化 SQL数据 分布式存储 数据仓库 机器学习
在线阅读 下载PDF
轨道检测数据集成存储与数据质量评价 预览
2
作者 陶凯 杨文 +1 位作者 杜中 刘国跃 《铁道建筑》 北大核心 2019年第9期116-120,共5页
针对当前轨道检测体系产生的多源异构检测数据未能有效管理,导致数据质量参差不齐,无法有效支撑养护维修决策的问题,本文以动态检测数据为基础,提出了轨道检测数据融合管理业务集成架构,并基于集中存储、预处理、质量评价、按需发布等... 针对当前轨道检测体系产生的多源异构检测数据未能有效管理,导致数据质量参差不齐,无法有效支撑养护维修决策的问题,本文以动态检测数据为基础,提出了轨道检测数据融合管理业务集成架构,并基于集中存储、预处理、质量评价、按需发布等业务需求,设计了检测数据融合管理业务集成系统。系统采用分布式管理体系与数据共享模式,对检测数据的存储与共享进行规范化管理;运用数据预处理与数据质量评价方法,实现了检测数据自动化和标准化处理,从而为线路质量分析评价提供稳定、可靠的检测数据。 展开更多
关键词 轨道检测体系 数据管理 数据共享 数据预处理 数据质量
在线阅读 免费下载
基于物联网环境的海上AIS大数据挖掘模型构建 预览 被引量:1
3
作者 周鑫 《舰船科学技术》 北大核心 2019年第16期196-198,共3页
传统的数据挖掘模型会受周围环境因素的影响,无法精准挖掘海上船舶运行数据,为此构建基于物联网环境的海上AIS大数据挖掘模型。在物联网平台将船舶运行轨迹、停泊轨迹和位置信息存入数据库中进行AIS数据预处理,为减小环境因素的波动,设... 传统的数据挖掘模型会受周围环境因素的影响,无法精准挖掘海上船舶运行数据,为此构建基于物联网环境的海上AIS大数据挖掘模型。在物联网平台将船舶运行轨迹、停泊轨迹和位置信息存入数据库中进行AIS数据预处理,为减小环境因素的波动,设置船舶AIS数据传输条件,利用聚类算法进行过滤处理,实现海上AIS大数据挖掘模型的构建。在实际测试中为考察2种数据挖掘模型的效果,分别在人为干扰环境下和同频干扰的环境下进行对比实验,由对比结果可知,所提方法可以精准的挖掘海上船舶AIS数据。 展开更多
关键词 数据挖掘 数据预处理 动态数据 运行轨迹 数据 干扰信号
在线阅读 下载PDF
现阶段税收大数据管理的实践与建议 预览
4
作者 王悦 任海 王诗皓 《湖南税务高等专科学校学报》 2019年第6期35-41,共7页
随着信息技术发展和《国税地税征管体制改革方案》的推进,税务部门面临着越来越复杂的数据采集、数据挖掘和应用难题。通过分析目前主要问题,借鉴国外经验,提出规范信息采集、应用数据挖掘技术等建议。
关键词 数据管理 税收 数据孤岛 数据预处理 数据挖掘
在线阅读 下载PDF
基于Python的数据脱敏与可视化分析 预览
5
作者 尹诗玉 陈小奎 师琳 《电脑知识与技术:学术版》 2019年第2X期14-17,共4页
为分析高校教学质量,并对其进行评价,本文基于python语言对教务系统导出的原数据进行处理和分析,主要从数据导入,数据预处理,及数据分析三个层面结合实例进行分析。首先利用tkinter库设计出数据导入的界面;其次阐述数据清洗、分组、集... 为分析高校教学质量,并对其进行评价,本文基于python语言对教务系统导出的原数据进行处理和分析,主要从数据导入,数据预处理,及数据分析三个层面结合实例进行分析。首先利用tkinter库设计出数据导入的界面;其次阐述数据清洗、分组、集成以及脱敏等数据预处理的常用算法,并结合高校教学评价这一实际案例进行了演示,借助pandas库中的dataframe数据类型实现了对“脏数据”的清洗,以及对教师姓名的脱敏;最后利用matplotlib库对处理好的数据进行数据可视化,并结合所得图像对各专业班级及教师的学习和教学状况进行分析与评价。通过本文的数据处理,实现了对教师姓名的脱敏,保护了教师的隐私,并利用图形直观地反映出各教师和班级近几年的成绩分布,使得高校绩效考核更加的方便。 展开更多
关键词 PYTHON PANDAS 数据预处理 数据脱敏 数据可视化
在线阅读 下载PDF
智慧校园数据平台架构及数据治理系统设计 预览
6
作者 张荃 陈晖 王海涛 《电信快报:网络与通信》 2019年第10期38-43,共6页
高等院校内部数据信息较为庞大,当前很多高校通过在“智慧校园”的建设过程中引入数据平台来管理数据信息,取得较好效果。针对高校数据管理中存在的诸多问题,着眼提高数据管理的质量和效益,文章提出在数据平台架构中融入数据治理系统的... 高等院校内部数据信息较为庞大,当前很多高校通过在“智慧校园”的建设过程中引入数据平台来管理数据信息,取得较好效果。针对高校数据管理中存在的诸多问题,着眼提高数据管理的质量和效益,文章提出在数据平台架构中融入数据治理系统的设计理念。首先构建智慧校园数据平台的总体框架,对数据平台中的数据治理系统的功能要素进行设计。然后,着重阐述数据预处理模块的相关功能和实现方法。最后,从数据质量标准的角度说明通过数据预处理来提高数据质量的方法。 展开更多
关键词 智慧校园 数据平台 数据治理 数据预处理
在线阅读 下载PDF
物联网环境下基于模糊理论的数据融合算法研究 预览 被引量:1
7
作者 晏然 《中国信息化》 2019年第7期48-51,共4页
本文针对5G通信时代物联网应用的新趋势和新特点,分析了海量传感器使用以及相应产生的采集海量数据的处理需求,并提出了在本地智能节点进行数据预处理和融合的概念,从而能显著减轻通信网络的负荷,以及云端服务平台的处理压力。本文以智... 本文针对5G通信时代物联网应用的新趋势和新特点,分析了海量传感器使用以及相应产生的采集海量数据的处理需求,并提出了在本地智能节点进行数据预处理和融合的概念,从而能显著减轻通信网络的负荷,以及云端服务平台的处理压力。本文以智能家居场景为例,分析了利用模糊算法进行数据融合的方法,以及该方法在嵌入式平台下实现的局限性。 展开更多
关键词 数据融合算法 物联网 模糊理论 环境 数据预处理 嵌入式平台 5G通信 海量数据
在线阅读 下载PDF
基于电网生产项目数据预处理研究 预览
8
作者 杨凯 赵明洲 +1 位作者 毛文瑞 张瑛楠 《电子测试》 2019年第1期80-81,共2页
数据作为现代企业的宝贵资源,占据着越来越重要的地位,它是科学管理的基础、正确决策的前提、有效调控的手段。本文介绍了数据预处理的主要方法,包括:数据清洗、数据集成、数据变换和数据归约。根据这些数据方法来对2015-2017年电网生... 数据作为现代企业的宝贵资源,占据着越来越重要的地位,它是科学管理的基础、正确决策的前提、有效调控的手段。本文介绍了数据预处理的主要方法,包括:数据清洗、数据集成、数据变换和数据归约。根据这些数据方法来对2015-2017年电网生产项目的原始数据进行处理。其中重点包括:缺失值的处理,异常值的处理,变量和变量值的变换,以及数据精简。最终为电网生产项目优化的分析建模和算法提供可靠性的数据支持。 展开更多
关键词 数据分析 数据挖掘 数据预处理 缺失值 异常值
在线阅读 下载PDF
基于大数据的O2O平台改进设计与实现 预览
9
作者 王敏 戴磊 《现代电子技术》 北大核心 2019年第2期54-57,共4页
采用射频技术设计的O2O平台由于平台框架设计过于单一,对用户数据挖掘时缺乏数据预处理,存在平台功能完善度差、功能不健全等缺点,因此设计新的基于大数据的O2O平台。从平台概念框架、平台建设框架和平台设计框架几方面设计该平台,平台... 采用射频技术设计的O2O平台由于平台框架设计过于单一,对用户数据挖掘时缺乏数据预处理,存在平台功能完善度差、功能不健全等缺点,因此设计新的基于大数据的O2O平台。从平台概念框架、平台建设框架和平台设计框架几方面设计该平台,平台概念框架负责平台功能的实现;平台建设框架对开发程序进行模块化、平台化处理;平台设计框架实现将平台与各网站接口对接以及信息交换和管理工作。通过数据采集、数据预处理、数据挖掘完成基于大数据的O2O平台用户数据挖掘流程。采用基于Map Reduce软件架构的聚类挖掘优化算法实现基于大数据的O2O平台用户数据挖掘。实验结果表明,所设计的平台具有良好的兼容性、稳定性和安全性,平台功能健全,用户体验良好。 展开更多
关键词 数据 O2O平台 改进设计 平台框架 数据预处理 数据挖掘
在线阅读 下载PDF
面向智能生产维护的大数据建模分析方法 预览
10
作者 刘伟杰 吉卫喜 张朝阳 《中国机械工程》 CAS CSCD 北大核心 2019年第2期159-166,共8页
从当前的车间离散制造过程大数据应用特性出发,基于车间智能代理,实现了制造过程大数据的采集、处理分析,建立的制造过程大数据采集模型可实现对工序数据集的封装.采用基于聚类的方法对工序数据集进行离群点检测标记,实现对制造资源生... 从当前的车间离散制造过程大数据应用特性出发,基于车间智能代理,实现了制造过程大数据的采集、处理分析,建立的制造过程大数据采集模型可实现对工序数据集的封装.采用基于聚类的方法对工序数据集进行离群点检测标记,实现对制造资源生产状态的描述与量化.建立了工序级数据特征模型,结合改进的相似元分析方法,对工序过程数据多层次包装描述和制造工序的相似性进行了评价.开发了车间底层智能管理系统,并将其运用于企业生产实际。 展开更多
关键词 数据预处理 代理人 数据 离散制造
在线阅读 下载PDF
基于Matlab GUI的羊肉产地鉴别平台设计 预览
11
作者 杨旭宁 郭中华 +1 位作者 吴忻怡 王靖 《现代电子技术》 北大核心 2019年第12期21-24,共4页
为了快速、简便、无损地鉴别出羊肉产地,设计一种基于Matlab图形用户界面(GUI)的鉴别平台。该平台包括5个模块:原始数据模块、数据预处理模块、特征波长提取模块、产地鉴别模块和新样本预测模块。通过设置控件属性值,编写回调函数内容... 为了快速、简便、无损地鉴别出羊肉产地,设计一种基于Matlab图形用户界面(GUI)的鉴别平台。该平台包括5个模块:原始数据模块、数据预处理模块、特征波长提取模块、产地鉴别模块和新样本预测模块。通过设置控件属性值,编写回调函数内容实现平台羊肉产地鉴别功能;并根据900~1700nm高光谱成像仪采集3个不同产地羊肉新样本的近红外高光谱数据验证鉴别平台的有效性。该鉴别平台界面操作简单,方便用户使用且预测结果可靠,具有良好的实用性、交互性等。 展开更多
关键词 MATLAB图形用户界面 高光谱数据采集 羊肉产地鉴别 数据预处理 样本 平台设计
在线阅读 下载PDF
数据挖掘在全国计算机等级考试(NCRE)中的应用 预览
12
作者 徐承俊 《新教育时代电子杂志(学生版)》 2019年第11期0167-0167,0016共2页
运用数据挖掘技术分析计算机等级考试的成绩,挖掘出潜在的隐藏信息,并将得到的信息反馈给教师,提高教学效率,增加学生知识及实际动手操作能力,提高考试的优秀率和通过率。
关键词 全国计算机等级考试(NCRE) 数据挖掘 数据预处理 统计分析
在线阅读 下载PDF
一种基于机器学习的日志预警发现方法 预览
13
作者 黄文博 王祎珺 +1 位作者 陈佩佩 汪立欣 《中国科技信息》 2019年第19期78-79,共2页
互联网系统在运行的过程中会产生海量日志数据,其中包含较多隐藏信息。如何运用日志分析技术对系统运行状态和用户行为进行监控,成为目前的一个难点问题。本文对海量日志进行数据分析,通过数据预处理,获得日志数据的有效信息;然后,构建... 互联网系统在运行的过程中会产生海量日志数据,其中包含较多隐藏信息。如何运用日志分析技术对系统运行状态和用户行为进行监控,成为目前的一个难点问题。本文对海量日志进行数据分析,通过数据预处理,获得日志数据的有效信息;然后,构建日志文件的预警模型实现对日志数据的关联分析和预警;最后,设计了一套基于机器学习的日志预警发现模型,该预警模型可对web 日志数据进行分析为实现预警提供基础方法。 展开更多
关键词 日志数据 警模型 机器学习 系统运行状态 隐藏信息 数据预处理 用户行为 日志分析
在线阅读 下载PDF
数据挖掘技术在软件工程中的应用分析 预览
14
作者 张玮 《现代信息科技》 2019年第15期17-18,共2页
在信息化时代背景下,传统的信息系统已经无法满足软件工程对信息数据传输与存储的高要求,人们应用数据挖掘技术能够解决这一问题,并保证信息数据的准确性。基于此,本文以数据挖掘技术作为研究对象,结合技术概述分析其应用在软件工程的... 在信息化时代背景下,传统的信息系统已经无法满足软件工程对信息数据传输与存储的高要求,人们应用数据挖掘技术能够解决这一问题,并保证信息数据的准确性。基于此,本文以数据挖掘技术作为研究对象,结合技术概述分析其应用在软件工程的重要性,从系统结构、软件开发与管理等方面阐述数据挖掘技术的实践应用。 展开更多
关键词 数据挖掘技术 软件工程 数据预处理
在线阅读 下载PDF
基于相似连接的多源数据并行预处理方法 预览
15
作者 郭方方 潮洛蒙 朱建文 《计算机应用》 CSCD 北大核心 2019年第1期57-60,共4页
大规模网络环境和大数据相关技术的发展对传统数据融合分析技术提出了新的挑战。针对目前多源数据融合分析过程灵活性差、处理效率低的问题,提出了一种基于相似连接的多源数据并行预处理方法,该方法采用了分治和并行的思想。首先,通过... 大规模网络环境和大数据相关技术的发展对传统数据融合分析技术提出了新的挑战。针对目前多源数据融合分析过程灵活性差、处理效率低的问题,提出了一种基于相似连接的多源数据并行预处理方法,该方法采用了分治和并行的思想。首先,通过对多源数据中的相似语义进行统一、对个性语义进行保留的预处理方法提高了灵活性;其次,提出了一种改进的并行MapReduce框架,提高了相似连接的效率。实验结果表明,所提方法在保证数据完整性的基础上,使总的数据量减小了32%。与传统的MapReduce框架相比,改进后的框架在耗费时间方面减小了43.91%,因此该方法可以有效提高多源数据融合分析的效率。 展开更多
关键词 网络安全 多源数据 数据预处理 相似连接 MAPREDUCE
在线阅读 下载PDF
基于Python网上招聘信息的爬取和分析 预览
16
作者 殷丽凤 张浩然 《电子设计工程》 2019年第20期22-26,共5页
针对Python语言的大数据爬取和分析,采用以纯python语言编写爬虫脚本的方式,通过爬取51job上招聘信息为“python”和“数据分析”两个词条的数据信息和简要分析,得出python爬虫编写中各类问题的解决方法,最后对规范数据做了进一步分析,... 针对Python语言的大数据爬取和分析,采用以纯python语言编写爬虫脚本的方式,通过爬取51job上招聘信息为“python”和“数据分析”两个词条的数据信息和简要分析,得出python爬虫编写中各类问题的解决方法,最后对规范数据做了进一步分析,分析结果为应聘人才做决策提供了有价值的信息。 展开更多
关键词 PYTHON语言 网络爬虫 数据预处理 规范数据 数据分析
在线阅读 下载PDF
面向混合型位置大数据的差分隐私聚类算法 预览
17
作者 张建坤 禹思敏 《计算机工程与设计》 北大核心 2019年第9期2451-2455,2493共6页
针对现有的差分隐私聚类算法仅局限于实型数据的问题,提出一种基于混合型位置大数据的差分隐私聚类算法DPKD。利用KD-medoids降维聚类算法对混合型位置大数据进行预处理,提取位置信息记录,采用邻近搜索找出聚类中心点,划分为k个聚类簇,... 针对现有的差分隐私聚类算法仅局限于实型数据的问题,提出一种基于混合型位置大数据的差分隐私聚类算法DPKD。利用KD-medoids降维聚类算法对混合型位置大数据进行预处理,提取位置信息记录,采用邻近搜索找出聚类中心点,划分为k个聚类簇,添加Laplace噪声使其满足差分隐私,通过查询函数返回待发布的数据记录;分析DPKD算法数据查询误差高的问题,对初始中心点优化选择,提出一种改进的Op-DPKD算法。性能评估结果表明,Op-DPKD算法解决了混合型位置大数据的隐私保护问题,提升了聚类效果,保证了混合型位置大数据的可用性。 展开更多
关键词 混合型位置大数据 差分隐私 聚类算法 隐私保护 数据预处理
在线阅读 下载PDF
面向水务监测系统的数据处理单元设计与实现 预览
18
作者 丁承君 田军强 《制造业自动化》 CSCD 2019年第6期4-7,共4页
随着环保产业的兴起以及传感器、嵌入式系统技术的发展,物联网概念一经提出就被广泛应用到环境工程领域。针对水务监测系统多参数监测和数据准确性的要求,设计并实现了智慧水务监测系统的数据处理单元。在硬件方面,根据所用传感器输出... 随着环保产业的兴起以及传感器、嵌入式系统技术的发展,物联网概念一经提出就被广泛应用到环境工程领域。针对水务监测系统多参数监测和数据准确性的要求,设计并实现了智慧水务监测系统的数据处理单元。在硬件方面,根据所用传感器输出信号的特点,设计对应调节电路来提高检测数据的准确性。在软件方面,采用改进的限幅递推数字滤波技术降低偶然干扰。最后在实验室环境下搭建模拟水环境进行测试,结果表明,系统工作可靠,能够得到较准确的水务监测数据。 展开更多
关键词 多参数水务监测 传感器数据采集 信号调节电路 数据预处理
在线阅读 下载PDF
基于ArcGIS的农村地理信息调查数据库建设及应用 预览
19
作者 赵晓燕 《世界有色金属》 2019年第6期291-292,共2页
按照广东省国土资源厅相关文件的要求,开展包括大型矿山工程的集体建设用地、零星国有建设用地地质调查,矿山工程建设等集体建设用地上的建筑物、构筑物调查,为地质确权登记发证和不动产统一登记提供数据基础,建立一体化的地籍管理信息... 按照广东省国土资源厅相关文件的要求,开展包括大型矿山工程的集体建设用地、零星国有建设用地地质调查,矿山工程建设等集体建设用地上的建筑物、构筑物调查,为地质确权登记发证和不动产统一登记提供数据基础,建立一体化的地籍管理信息系统,夯实地质管理基础。文章主要介绍了广东省郁南县地区地质地籍调查项目地籍数据库建设的具体方法,详细介绍了地质调查数据内业处理、检查、入库的方法以及成果输出,对于建库工作中遇到的问题做了详细处理。 展开更多
关键词 地理信息 数据库建设 地质调查 数据预处理
在线阅读 下载PDF
基于大数据构建污染源在线监控数据有效性评估模型研究 预览
20
作者 王晓东 李瑞强 +1 位作者 张巍 郭雪征 《绿色科技》 2019年第16期174-175,共2页
为规范污染源监管,落实排污单位主体责任,提高污染源在线监控数据质量,确保在线监控数据全面、准确、客观、真实。以乌海及周边地区在线监控数据为试点,通过数据挖掘和机器学习算法,构建了异常检测和有效性智能评估模型,以识别在线监控... 为规范污染源监管,落实排污单位主体责任,提高污染源在线监控数据质量,确保在线监控数据全面、准确、客观、真实。以乌海及周边地区在线监控数据为试点,通过数据挖掘和机器学习算法,构建了异常检测和有效性智能评估模型,以识别在线监控数据的异常模式,评估在线监控数据有效性,切实发挥在线监控数据的效能,更好地服务于生态环境保护监管。 展开更多
关键词 在线监控数据 数据预处理 异常检测 有效性智能评估
在线阅读 下载PDF
上一页 1 2 74 下一页 到第
使用帮助 返回顶部 意见反馈