maohelu的个人博客分享 http://blog.sciencenet.cn/u/maohelu

博文

大数据时代(3)

已有 2433 次阅读 2016-11-4 17:19 |个人分类:读书笔记|系统分类:科研笔记| 大数据时代

思维变革第一条:利用所有数据,而不是少量的数据样本。

过去,因为记录、存储和分析数据的工具不够好,我们只能将数据缩减到最小,来使得分析变得简单。这变成了一种无意识的自省:我们把与数据交流的困难看成是自然的,而没有意识到这只是当时技术条件下的一种人为的限制。在某些方面,我们依然没有完全意识到自己拥有了能够收集和处理更大规模数据的能力。我们还是在信息匮乏的假设下做很多事情,建立很多机构组织。我们甚至发展了一些使用尽可能少的信息的技术。别忘了,统计学的一个目的就是用尽可能少的数据来证实尽可能重大的发现。事实上,我们形成了一种习惯,那就是在我们的制度、处理过程和激励机制中尽可能地减少数据的使用。

过去,统计学专家们证明:采样分析的精确性随着采样随机性的增加而大幅提高,但与样本数量的增加关系不大。随机采样取得了巨大的成功,成为现代社会、现代测量领域的主心骨。但这只是一条捷径,是在不可收集和分析全部数据的情况下的选择。

如今,计算和制表不再像过去一样困难,传感器,网站点击等被动地收集了大量数据,数据处理技术已经发生了翻天覆地的改变,但我们的方法和思维却没有跟上这种变化。




https://wap.sciencenet.cn/blog-916405-1012734.html

上一篇:大数据时代(2)
下一篇:大数据时代(4)
收藏 IP: 27.223.77.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-28 17:58

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部