竹杖芒鞋轻胜马分享 http://blog.sciencenet.cn/u/liqx 气候变化观测、物理学及其不确定性

博文

《气象数据统计分析方法》问世-欢迎同行专家拍砖、指正

已有 14475 次阅读 2015-4-13 09:44 |系统分类:科研笔记

 

气象资料处理和分析,统计技术当之无愧是核心技术。特别是在人们言必称“大数据”的今天,统计分析方法作为大数据落地的一个最重要的条件,就显得更为重要和紧迫。

大约在2011年上半年,我和黄老师提及,国内气象数据的统计分析方法方面的参考书不多,有的也已经较陈旧,一些统计学的新发展只能依靠国外的参考书或文献。黄老师当即提出,我们可以一起来写一部这方面的著作。黄老师领衔来写这样一部参考书,实在是太实至名归,老先生钻研统计方法一辈子,有很深的造诣,他担任过中国气象学会的副理事长,统计学委员会的副主任委员、主任委员。能跟他合作写一本专著,是我的荣幸。

今年上半年,大概整整4年时间,这部书终于问世。可以说,这本书凝聚了黄老师的毕生心血。老先生对这本书的重视远远超过了我的预期。最初,我建议这本参考书区别于其他同类书籍,不从统计学的ABC入手,直接针对有一定的基础的研究人员,从研究目的入手,要研究什么,然后确定统计方法;另外,尽可能加入最新的一些技术发展,比如样本的独立性检验、基于鲁棒回归的趋势分析、贝叶斯技术在数据处理中应用、气候资料均一性检验与处理方法等等;黄老师还提议,为了方便大家使用时参考,还以附录的方式给出了常用方法的原理和步骤。尽量使得本书对于参考者有更高的参考借鉴价值。全书共82万字,500多页(定价比较高,100.00元)。气象出版社的陈红女士给予了本书大力的支持和非常细致的编辑、校阅。这里一并表示诚挚的谢意。

欢迎大家参考,并指正。




附:本书前言和简介

前言

 

无论是人类社会或自然科学中,均存在大量的资料数据。巨量资料(big data),或称大数据、海量资料,是人们了解社会和自然的基础。大数据的4V特点:Volume(体量大)、Velocity(速度快)、Variety(多样性)、Veracity(真实性)。第一,数据体量巨大;第二,数据类型繁多。网络日志、视频、图片、地理位置信息等等。第三,价值密度低。在连续不间断观测和监控过程中,可能有用的数据很少。第四,处理速度快。依靠计算机可以快速处理。“大数据”是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的整合共享,交叉复用,形成的智力资源和知识服务能力。对大数据处理、挖掘技术、数据分析是时代发展的需要。在大数据时代已经到来的时候需要用大数据思维去发掘大数据的潜在价值。

在现代气象学科的发展中,人们认识大气现象和天气过程,总是先从局地的气象现象的观测开始,了解局地的天气气候变化特征。这种了解过程是利用天基(卫星)和陆基(探空、雷达、观测站和自动气象站等)的全球气象观测网,了解全球范围的天气气候现象,这些数据是大数据。此外,在气象业务和科研中,很多是通过数值模式对大气运动变化的过程进行模拟和预报中,也存在大量的气象要素和相关物理量的数据。但是,在过去没有电脑的帮助,无法从大量的数据中总结大气运动的规律性。近年来,随着计算机的发展,利用数据处理和统计学方法来研究气象和气候现象的发生的过程和成因,利用气象数据探索大气过程演变的规律成为可能。

近代发展起来的天气气候学、以研究原理为主的物理气候学或动力气候学均离不开使用气象数据来总结天气概念模式、解释和总结大气动力过程,形成以统计观点和方法为主体又与气象学结合的新分支,它们补充和加强传统气候学的研究,并形成一个气象学中崭新的学科—天气统计学和气候统计学,它们均是利用资料数据,运用数理统计和数据处理方法研究天气和气候的特征、变化和预测的学科。

从现代气候学的观点来看,气候不仅是局地气象要素的平均状态的描述。从空间上扩展到全球范围,即所谓全球气候系统,甚至扩展到地球—大气—外层空间,即所谓地球气候系统,即把局地的气候变化看成是地球五大圈,及岩石圈、水圈、冰雪圈、大气圈和生物圈,甚至包括地球以外的天文圈相互作用的结果。事实上,以气象与其他学科相互关系为研究对象的学科业已形成,如农田气候学、森林气候学、航空气候学、海洋气候学、水面气候学、山地气候学、水文气候学、城市气候学、建筑气候学、室内气候学、污染气候学、生态气候学、生物气候学和医疗气候学等均使用气象数据处理方法为主要研究手段。当然在气象中,数据处理和统计方法作为研究手段不仅在气候学、天气学和动力气象学上,它还广泛用于大气探测、卫星遥感和大气物理化学等学科中。总而言之,以气象资料为基础和以气象数据处理为主要研究方法的学科可以称为气象统计学,它在边缘学科和交叉学科的研究中将起重要作用。

与国内以往气象统计类著作不同之处在于,本书将侧重介绍近代数据处理与统计方法如何实际应用到各类气象分析应用中。例如,如何描述气象中的数据?如何对气象数据进行基础处理? 怎样对气象要素时间演变序列作规律性分析? 如何研究不同气象要素之间的变化关系?如何分析一个地区的气象要素和气候要素的时空变化?如何作气象要素和气候变化的预报和预测? 如何进行气象资料均一化处理?如何对气象资料进行插补?等问题,分别进行了针对性介绍。为了便于基层台站广大科技人员的应用,本书正文内容主要介绍数据处理方法如何应用在气象中;并将一些常用的数据处理方法的基本原理和计算步骤,作为参考,编写在附编中,希望能够有助于从事气象研究和业务工作人员参考使用。

由于水平有限,本书错误和不当之处在所难免,敬请读者指正。

 

                                                             编著者

                                                          黄嘉佑 李庆祥

                                                         

 

内容简介

气象应用统计学是利用气象数据,运用数理统计和数据处理方法研究天气和气候的特征、变化和预报的学科。这种数据处理和统计方法作为研究手段广泛应用于天气学、气候学、动力气象学、大气探测、卫星遥感和大气物理化学等学科并不断得以深化。

与以往气象统计类著作不同之处在于,本书侧重介绍了近代数据处理与统计方法如何实际应用到各类气象分析应用中,特别是加入了许多本世纪以来国际上在气象应用统计领域的一些最新成果。本书除了介绍数据处理方法如何应用在气象中之外,还将一些常用的数据处理方法的基本原理和计算步骤编写在附录中,希望能够有助于从事气象研究和业务工作人员参考使用。

本书可以作为具有一定气象学基础的气象及相关行业技术人员从事相关研究及业务工作的参考书,也可以作为气象学硕士、博士研究生开展相关研究的参考文献或教材。


气象数据统计分析方法

 

黄嘉佑 李庆祥

 

 

目录

 

前言

 

第一章气象资料与数据

1.1气象数据特征

1.2气象数据类型

1.3气象数据的描述

1.4数据整理的方法论

 

 

第二章  大气基本状态分析

2.1 大气平均状态的描述

2.2 大气状态的异常

2.3大气平均状态的代表性

2.4大气平均状态的差异性

2.5大气现象的频率

2.6大气变量的分布

2.7 大气状态的分级

2.8 大气异常的极端状态

2.9大气变量的数据变换

 

第三章  大气中变量的相互关系分析

3.1 大气状态的关联性

3.2 信息关联

3.3 列联表

3.4 级别变量的相关

3.5 连续变量的相关

3.6 偏相关

3.7 不同时刻交叉相关

3.8 不同时段的相关

3.9 变量的瞬时相关

3.10 变量相关程式关系

3.11 多个变量的相关

3.12 变量变化的相似性

 

第四章  大气变量的时间演变特征

4.1 离散变量持续性

4.2 连续变量的持续性

4.3 变量的变化趋势

4.4 变量变化趋势的检验

4.5 变量变化的突变

4.6变量变化的周期性

4.7 两个变量变化的交叉周期性

4.8 变量的时间变化滤波

 

第五章  大气变量场基本特征

5.1大气变量场的基本状态

5.2变量场的变化特征

5.3 变量的条件平均场

5.4 变量信号场

5.5 条件差值场

5.6 外力影响特征

 

第六章     大气变量场中相关性

6.1 遥相关

6.2高度场时空特征模态

6.3大气涛动

6.4要素场时空特征模态

6.5 风场的时空特征

6.6 变量场中的关联性

6.7 变量场中气候区划

6.8 变量场中的波动特征

 

第七章  两个变量场的关系

7.1两个变量场的差异性

7.2两个变量场的相似性指标

7.3两个风场的相似性

7.4 两个变量场的关联性

7.5 两个变量场的回归关系

7.6 两个变量场的耦合关系

 

第八章  多个变量场分析

8.1  变量场综合模态

8.2  风场综合模态

8.3  多变量场模态

8.4  变量场时间演变模态

8.5  联合耦合模态

 

第九章 变量场的时间变化特征

9.1  变量场的趋势分析

9.2  变量场的平均序列演变特征

9.3  变量场的时间演变特征提取

9.4  变量场的周期变化特征

9.5  变量场时间演变模态

9.6  风场的时间演变特征

9.7 多变量场时间演变特征

9.8  周期变化外力成因

 

第十章 大气变量的预报

10.1  外因子预报模型

10.2  持续性预报模型

10.3  周期模式预报模型

10.4  时间外延预报模型

10.5  大气变量场的预报

10.6  潜在可预报性

10.7  预报的稳定性

10.8  预报效果评价

 

第十一章 大气变量动力统计预报

11.1数值预报产品释用

11.2随机气候模式

11.3动力系统的可预报性

11.4集合预报

11.5降尺度预报

11.6数值预报的统计订正

 

第十二章 气象数据修正、插补和融合

12.1气象资料数据的质量评估与控制

12.2气象资料数据的均一性处理

12.3城市化对气候序列均一性的影响

12.4资料恢复与插补

12.5大气变量场的空间插值

12.6 气象数据融合、同化及再分析

 

附编  分析方法

附编一   回归分析

A1.1 单个因子的回归模型

A1.2 多因子线性回归模型

A1.3  逐步回归模型

A1.4  事件概率回归(REEP)

A1.5  Logit回归模型

A1.6 最佳子集回归模型

A1.7 预报残差最小逐步回归

A1.8 权重回归

A1.9卡曼滤波回归

A1.10回归

A1.11贝叶斯回归

A1.12支持向量机回归

 

附编二   判别分析

`   A2.1  费歇判别方程

A2.2  贝叶斯判别方程

A2.3  逐步判别

A2.4  回归逐步判别

 

附编三   变量场的分解

A3.1  主分量分析

A3.2  经验正交函数分解

A3.3  多变量场经验正交函数分解

   A3.4  复向量经验正交函数分解

   A3.5  扩展经验正交函数分解

   A3.6  联合经验正交函数分解

   A3.7  复经验正交函数分解

   A3.8  主振荡模态分析

   A3.9  独立分量分析

 

附编四  聚类分析

A3.1 因子分析的一般模型

A3.2 主因子分析模型

A3.3 因子轴的转动

   A3.4 对应分析

A3.5 串组法

 

附编五  变量场的耦合分析

A5.1典型相关分析

A5.2 奇异值分解

A5.3 偏最小二乘

 

附编六  大气变量的时域分析

A6.1 自回归模型

A6.2 滑动平均模型

A6.3 自回归滑动平均模型

A6.4方差分析模型

A6.5均生函数模型

A6.6经验模态分解

A6.7去趋势涨落分析

 

附编七  大气变量频域分析

A7.1变量的频谱

A7.2  功率谱

A7.3非整谱

A7.4最大熵谱

A7.5双谱分析

A7.6 多窗口谱分析

A7.7 滤波

A7.8 交叉谱

A7.9 奇异谱

A7.10 交叉奇异谱

A7.11 小波分析

A7.12 交叉小波谱

 

附编八  大气变量场的谱分析

A8.1  纬向谐波分析

A8.2  高度场的物理量谱

A8.3   高度场的球谐分析

A8.4  时空谱

A8.5  二维空间谱分析

A8.6  变量场中的交叉谱分析

A8.7  多窗口-奇异值分析

A8.8  循环平稳经验正交函数分解

 

附编九  

A9.1  马尔科夫链

A9.2  转移概率

A9.3  绝对概率

A9.4  转移概率矩阵的谱分解

A9.5  马尔科夫性质的检验

 

附编十 神经网络

A10.1  神经元模型

A10.2  神经网络结构

A10.3  网络学习

A10.4  前馈式神经网络

A10.5  径向基函数网络

A10.6  自组织映射网络

 

附编十一 统计检验

A11.1  假设检验

A11.2  平均值检验

A11.3  两组样本平均值差异的检验

A11.4  方差检验

A11.5  相关系数检验

A11.6  变量的分布检验

A11.7  频率的检验

A11.8  趋势检验

A11.10  蒙特卡洛检验

 

附编参考文献

附表

表1 正态分布函数

表2 χ2分布

表3 F分布

表4 t分布






https://wap.sciencenet.cn/blog-39247-881980.html

上一篇:几个站点资料的订正
下一篇:也谈“Hiatus”(气候增暖减缓)-数据驱动科学发展
收藏 IP: 114.247.188.*| 热度|

9 檀成龙 张学文 陈昌春 杨正瓴 庄世宇 黄刚 刘永和 姚俊强 Hosieii

该博文允许注册用户评论 请点击登录 评论 (30 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-30 23:37

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部