大数据时代,如何保证数据安全和质量?

发布时间:2022-3-1 作者:童年时光阅读量:63

如今大数据已越来越多地运用于各行业领域,各个领域都取得了较好的数据建设成果,也积累了较可观的数据量。但这些海量数据中还有一个值得注意的大问题,即数据本身的质量问题。如果政府、企业应用这些有质量问题的数据,将给企业带来巨大的商业风险。所以保证大数据本身的数据安全问题就显得尤为重要,那么如何保证大数据的数据质量呢?按照大数据建设项目的流程,一般分为事前预设、事中监控和事后改进三个阶段。

如何提高大数据的数据质量?

大数据安全

第一,事先预防。

事先预设是指对大数据数据收集过程中的数据进行整理和构建,这是整个大数据应用最基本的一步,事先预设一般可以分为几个步骤来进行。

在此基础上,从数据管理的复杂性和引发因素的多样性出发,提出解决数据质量问题仅靠一种技术手段是不够的。也就是要经过组织的特点,制定符合自身情况的工作制度,制定各环节的工作流程,明确各参与方的职责,确定各种数据的主管部门,制定数据质量指标,制定数据质量修正程序等等。

是否能成功定义数据标准,直接决定着大数据建设成果和数据质量的高低,需要在整合国家、行业和地方标准的基础上,将组织自身的业务特点要求融入其中。

如何提高大数据的数据质量?

第二,事中监控。

大数据事中监测可理解为对收集到的数据进行进一步的筛选和检查,经过初步的“筛选”进行检查。按步骤大致可以分成四个阶段。

资料收集工作从源头抓起最原始的资料,在资料收集过程中将资料分成「好资料」、「坏资料」、「好资料」三类,然后再由源头补齐,因为资料来源部门最了解这些资料,也最能在资料源头上彻底解决资料问题。

经过各种采集、清理、处理过程,数据被存储到数据仓库中,这些数据也会被业务部门使用,因此,对于这些结果数据的质量监控和修复就显得尤为重要。对这种数据问题,我们可以用简单的空值检查、规范检查、值域检查、逻辑检查、一致性检查等规则进行检查,或者用多源比较、数据支持、数据探查、波动检查、离群检查等方法进行检查。

在对数据质量进行监测的过程中,会发现两类问题,一类是源数据质量问题,另一类是大数据中心数据质量问题,数据质量小组要及时将这些问题反馈到源部门和数据仓库建设小组。

如何提高大数据的数据质量?

第三,事后改进。

后期数据改进是指在数据基础建立之后,对整个大数据进行维护改进的阶段。这是使这种大数据应用能够长期持续的根本原因。大数据事后改进阶段相对比较简单。

找出质量问题并非最终目标,我们依然需要建立相关的过程和工具,经过人工、工单、自动化等方式解决质量问题,为企业创新提供可靠的数据支持。质量问题的修复经过大数据中心的建设必定能推动数据的运用,我们依然需要建立畅通的数据质量反馈渠道,让各部门参与数据质量的再完善,从而形成构建、运用和反馈的良性循环。

为了搞好大数据建设,就必须搞好大数据的质量。为了提高数据质量,就必须对业务有全面的认识,了解大数据建设的全过程,从更高的角度去发现和解决大数据建设中的各种问题。

大数据的战略意义并不在于获取大量的信息,而是要对这些有意义的信息进行专门的处理。换句话说,如果把大数据比作一个行业,那么这个行业赢利的关键,就在于提高它对数据的“处理能力”,经过“处理”来实现数据的“增值”。

本文链接地址:https://www.xiaozeseo.com/hlw/201.html 未经允许禁止转载。

相关栏目

推荐内容

热点内容