且歌且行分享 http://blog.sciencenet.cn/u/ly229668880 I am a toxicologist, and an epidemiologist. Interestingly, I am also a Big Data analyst. You don't believe?

博文

为数据分析的自由者而准备:Excel之上的MATLAB, R语言和Python

已有 7242 次阅读 2013-8-31 15:35 |系统分类:科研笔记

(本文不针对"数据挖掘"的大规模数据。讨论的仍是常见的中通量科研数据的统计分析)

数据分析和可视化软件层出不穷,让人眼花缭乱。傻瓜式的菜单操作给了我们便利,但给我们科研者带来的却是,数据越来越陌生。这些软件仿佛是实验外包公司一样,您对过程产生过怀疑么?我们提供数据,按照标准的规程一步步操作,结论自动呈现在懒人的面前。我不怀疑软件的正确性,我只怀疑使用者是否考虑过模型中的参数设置。

同现代社会的其它多数娱乐活动一样,数据分析已经缺少了那种自由自在的、充满惊险的探索。DOS系统下的那种敲入代码,做计算机的主人,操纵着软件的灵魂,自己仿佛如同黑客一般,浸入计算机的虚拟世界里。然而这种感觉少了。伴随的后果是,我们不能自由地按照自己的意愿和思维,信马由缰地分析数据。这也是一切皆向文章的后果之一,只有P<0.05才是我们“所需要”的!辛苦了一番得出了P<0.05,不如一知半解的、软件给出的P<0.05。看,这两个P<0.05有区别么?

后几句纯属戏言。莫管他人,让我们这些“固执者”进入那种“纯粹理性”的世界吧!享受数据可视化的炫丽,享受数据分析中逻辑和理性的快感!

MATLAB、R、Python和SAS是数据分析软件大千世界中的四位佼佼者。MATLAB,且不说它的数值运算和simulink。一对[ ]和()可让你信手拈来地处理数据。在MATLAB的绘制图像中,任何东西都是对象,可以点击修改属性,也可以在图像上直接进行拟合,删除数据点。它的imagesc更是美妙至极,将matrix转换为颜色矩阵,更有感觉。MATLAB还满足了对DOS代码时代的回忆。在MATLAB里,可以像windows系统那样,操作几乎所有MATLAB之外的对象。连Arduino,MATLAB都可以操纵,看它多神通广大!

R是统计分析的自由者。data.frame数据结构好像专门为统计分析而生。没有任何其它一种软件内置此类数据结构,它当然不是matrix的简单模仿。您见过可以随意给matrix中任一行、任一列命名的程序吗?像这种命名,在R中俯拾皆是,操纵数据不再枯燥,而是一种快感。R统计分析的优势在于,可以批量化,方便地可视化。R的绘图,更是可以做到信马由缰!让R去探索,SAS做验证。这是我统计分析的座右铭。

Python在脚本里,如R,Perl,让人爱不释手。它即简练,又有现代语言面向对象的特点。这点连R都比不上。试试Biopython吧。用对象方式操作pubmed,可以通过编程批量化处理数据,it is amazing!Python的背后可是google老大的支持。

SAS作为统计分析的航母,当属统计老大。别管它多笨重,多不便,可是人家就是金标准。RPOC中的MODEL书写方式,才是统计模型的数学真谛。PROC下的各个语句,尽管繁琐,但适合深入理解统计模型。SAS中MIXED模型,如小巧多功能的瑞士军刀,几乎涵盖了所有线性模型。许多新鲜的PROC,SAS总能出一本厚重的书来解释它,集该理论之大成,又有丰厚的例子。

MATLAB、R和Python各有优势。如能整合在一起,interactively操作岂不更好?

的确可以。这三个程序,每个对应一个Excel插件,通过COM技术,可以实时地交互数据。Excel是简单的数据库,直观方便,是很好的数据平台。打开一个Excel,再开启MATLAB、R和Python。Excel中任何数据可以像鱼儿一样,在三种软件中游来游去,多有趣。具体方式是,MATLAB通过Excel link插件,R通过RExcel插件,Python通过Datanitro与Excel实时沟通。Excel至少是2007版本,2010最好。再大型的数据,可以用数据库取代Excel,每个软件都会有SQL模块/库支持。小型的数据库也有,如SQLite。每个插件的安装方式和更详细的介绍,google里很多。SAS新的版本也支持R和Excel了,可惜我得不到。没机会尝试。

工欲善其事必先利其器。打造合适自己的数据处理平台,更加透明地探索数据,规律离我们还远么?



https://wap.sciencenet.cn/blog-81433-721243.html

上一篇:面对无聊之人时
下一篇:我们缺点什么之一
收藏 IP: 218.249.94.*| 热度|

1 梅志平

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

全部作者的精选博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-13 06:01

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部