lzcoco的个人博客分享 http://blog.sciencenet.cn/u/lzcoco

博文

谈谈我对大数据的认识

已有 26127 次阅读 2015-7-30 13:25 |系统分类:观点评述

一、大数据与传统:

   1、大数据与数据分析、挖掘而今所说的大数据,本质上还是数据挖掘,对已有的数据进行分析、挖掘,统计分析出已有数据的特征,或者找到已有数据的运行规律,预测未来的状态。这与传统的数据挖掘的目的本无二质。

   2、大数据的数据来源主要依赖于历史积淀。大数据的技术和概念在中国才兴起几年,用大数据技术处理的对象更多的还是历史积累的数据。

二、大数据的不同:

   1、技术基础、处理手段不一样

   大数据需要处理海量异构的数据,需要新的技术和处理手段才能凑效,云存储+分布式处理是解决问题的灵丹妙药。常用的hadoop+python使其落地生根。而以前尽管有大量数据的存在,但没有这些处理方法。处理稍微多一点的数据就要“挖空心思”搞算法优化。

   2、全数据对象

   大数据处理的是全数据对象,不需要像传统处理方法那样的,数据一大,就要想到“抽样”,减少“工作量”,不然计算机“处理不过来”。

   3、对待数据、算法的侧重不一样

大数据中,算法当然也重要,但是不像传统数据挖掘方法中那么重要了。当数据到了一定的量,简单的算法可能比“小数据+复杂算法”的效果更好(这一点,微软的科学家已经证明了,见涛哥翻译的《大数据时代》),所以大数据比传统数据分析跟依赖于数据。

   4、大数据的“人性化”

    央视二台,在大数据时代的那一集节目中,涛哥讲了:大数据时代人人处于第三只眼中,大数据有其风险,怎么办?答曰:两手抓,一手抓“鼓励民众、企业积极参与大数据,提供数据基础”,一手抓“严惩数据使用不道德者”。大数据的专家们已经看到了大数据在带来“精准定位”的同时带来的不良社会影响。

大数据的利大于弊,对于*大教授所说的“大数据就像大忽悠”,我持保留意见 。

随手附上拙作,不喜勿喷



https://wap.sciencenet.cn/blog-2440749-909350.html

上一篇:司法大数据
收藏 IP: 182.138.127.*| 热度|

1 zhaorzh

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-19 08:12

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部