✨ 人工智能领域的突破性进展 近年来,OpenAI推出的ChatGPT系列模型持续引领技术革新,从对话交互到多模态融合,再到构建AI生态的宏伟蓝图,每一次迭代都在深刻重塑各行各业的工作模式。与此同时,中国人工智能领域也迎来重大突破,深度求索(DeepSeek)凭借其创新模型架构与超高性价比,在全球AI格局中异军突起,与ChatGPT形成双雄并立的竞争态势。
🔍 在此背景下,本教程旨在帮助近红外光谱分析领域的科研人员掌握DeepSeek和ChatGPT的强大功能,特别是在数据分析、定性/定量建模及代码自动生成方面的应用。同时,教程将系统讲解人工智能的基础理论(涵盖传统机器学习和深度学习)及其Python与PyTorch代码实现方法,助力学员提升AI赋能的科研能力。
📚 核心内容与特色 聚焦DeepSeek和ChatGPT的最新技术进展,深入探讨其在科研中的创新应用,内容涵盖:
经典机器学习算法:BP神经网络、支持向量机、决策树、随机森林、变量降维与特征选择、群优化算法等
深度学习方法:卷积神经网络、迁移学习、自编码器、U-Net等
通过"理论讲解+案例实战+动手实操+讨论互动"相结合的模式,全面解析AI技术在近红外光谱数据分析与建模中的实践技巧与经验。
🎯 学习价值 掌握AI工具的高效运用,并深入理解经典与前沿人工智能方法的原理及代码实现,从而在近红外光谱研究及其他科学领域中实现更智能、更高效的科研创新。
第一章 ChatGPT与DeepSeek等大语言模型助力AI编程必备技能
1、大语言模型提示词(Prompt)撰写技巧(为ChatGPT设定身份、明确任务内容、提供任务相关的背景、举一个参考范例、指定返回的答案格式等)
2、Cursor与Trae等AI编程开发环境简介与演示
3、利用ChatGPT和DeepSeek上传本地数据(Excel/CSV表格、txt文本、PDF、图片等)
4、利用ChatGPT和DeepSeek实现描述性统计分析(数据的频数分析:统计直方图;数据的集中趋势分析:数据的相关分析)
5、利用ChatGPT和DeepSeek实现数据预处理(数据标准化与归一化、数据异常值与缺失值处理、数据离散化及编码处理、手动生成新特征)代码自动生成运行
6、利用ChatGPT和DeepSeek实现代码逐行讲解
7、利用ChatGPT和DeepSeek实现代码Bug调试与修改
8、实操练习
第二章 Python入门基础
1、Python环境搭建( 下载、安装与版本选择)
2、如何选择Python编辑器?(IDLE、Notepad++、PyCharm、Jupyter…)
3、Python基础(数据类型和变量、字符串和编码、list和tuple、条件判断、循环、函数的定义与调用等)
4、第三方模块的安装与使用
5、Numpy模块库(Numpy的安装;ndarray类型属性与数组的创建;数组索引与切片;Numpy常用函数简介与使用)
6、Matplotlib基本图形绘制(线形图、柱状图、饼图、气泡图、直方图、箱线图、散点图等)、图形的布局(多个子图绘制、规则与不规则布局绘制、向画布中任意位置添加坐标轴)
7、实操练习
第三章 近红外光谱数据预处理
1、近红外光谱数据标准化与归一化(为什么需要标准化与归一化?)
2、近红外光谱数据异常值、缺失值处理
3、近红外光谱数据离散化及编码处理
4、近红外光谱数据一阶导数与二阶导数
5、近红外光谱数据去噪与基线校正
6、近红外光谱数据预处理中的Deepseek、ChatGPT提示词模板讲解
7、实操练习
第四章 多元线性回归近红外光谱分析
1、多元线性回归模型(工作原理、最小二乘法)
2、岭回归模型(工作原理、岭参数k的选择、用岭回归选择变量)
3、LASSO模型(工作原理、特征选择、建模预测、超参数调节)
4、Elastic Net模型(工作原理、建模预测、超参数调节)
5、多元线性回归、岭回归、LASSO、Elastic Net的Python代码实现
6、多元线性回归中的Deepseek、ChatGPT提示词模板讲解
7、案例演示:近红外光谱回归拟合建模
第五章 BP神经网络近红外光谱分析
1、BP神经网络的基本原理(人工智能发展过程经历了哪些曲折?人工神经网络的分类有哪些?BP神经网络的拓扑结构和训练过程是怎样的?什么是梯度下降法?)
2、训练集和测试集划分? BP神经网络常用激活函数有哪些?如何查看模型参数?
3、BP神经网络参数(隐含层神经元个数、学习率)的优化(交叉验证)
4、值得研究的若干问题(欠拟合与过拟合、评价指标的设计、样本不平衡问题等)
5、BP神经网络的Python代码实现
6、BP神经网络中的Deepseek、ChatGPT提示词模板讲解
7、案例演示: 1)近红外光谱回归拟合建模;2)近红外光谱分类识别建模
第六章 支持向量机(SVM)近红外光谱分析
1、SVM的基本原理(什么是经验误差最小和结构误差最小?SVM的本质是解决什么问题?SVM的四种典型结构是什么?核函数的作用是什么?什么是支持向量?)
2、SVM扩展知识(如何解决多分类问题? SVM的启发:样本重要性排序及样本筛选)
3、SVM的Python代码实现
4、SVM中的Deepseek、ChatGPT提示词模板讲解
5、案例演示:近红外光谱分类识别建模
第七章 决策树、随机森林、Adaboost、XGBoost和LightGBM近红外光谱分析
1、决策树的基本原理(什么是信息熵和信息增益?ID3和C4.5算法的区别与联系)
2、随机森林的基本原理与集成学习框架(为什么需要随机森林算法?广义与狭义意义下的“随机森林”分别指的是什么?“随机”提现在哪些地方?随机森林的本质是什么?)
3、Bagging与Boosting集成策略的区别
4、Adaboost算法的基本原理
5、Gradient Boosting Decision Tree (GBDT)模型的基本原理
6、XGBoost与LightGBM简介
7、决策树、随机森林、Adaboost、XGBoost与LightGBM的Python代码实现
8、决策树、随机森林、Adaboost、XGBoost与LightGBM的Deepseek、ChatGPT提示词模板讲解
9、案例演示:近红外光谱回归拟合建模
第八章 遗传算法近红外光谱分析
1、群优化算法概述
2、遗传算法(Genetic Algorithm)的基本原理(什么是个体和种群?什么是适应度函数?选择、交叉与变异算子的原理与启发式策略)
3、遗传算法的Python代码实现
4、遗传算法中的Deepseek、ChatGPT提示词模板讲解
5、案例演示:基于二进制遗传算法的近红外光谱波长筛选
第九章 近红外光谱变量降维与特征选择
1、主成分分析(PCA)的基本原理
2、偏最小二乘(PLS)的基本原理(PCA与PLS的区别与联系;PCA除了降维之外,还可以帮助我们做什么?)
3、近红外光谱波长选择算法的基本原理(Filter和Wrapper;前向与后向选择法;区间法;无信息变量消除法等)
4、PCA、PLS、特征选择算法的Python代码实现
5、PCA、PLS、特征选择算法中的Deepseek、ChatGPT提示词模板讲解
6、案例演示:
1)基于L1正则化的近红外光谱波长筛选
2)基于信息熵的近红外光谱波长筛选
3)基于Recursive feature elimination的近红外光谱波长筛选
4)基于Forward-SFS的近红外光谱波长筛选
第十章 Pytorch入门基础
1、深度学习框架概述(PyTorch、Tensorflow、Keras等)
2、PyTorch简介(动态计算图与静态计算图机制、PyTorch的优点)
3、PyTorch的安装与环境配置(Pip vs. Conda包管理方式、验证是否安装成功)
4、张量(Tensor)的定义,以及与标量、向量、矩阵的区别与联系)
5、张量(Tensor)的常用属性与方法(dtype、device、requires_grad、cuda等)
6、张量(Tensor)的创建(直接创建、从numpy创建、依据概率分布创建)
7、张量(Tensor)的运算(加法、减法、矩阵乘法、哈达玛积(element wise)、除法、幂、开方、指数与对数、近似、裁剪)
8、张量(Tensor)的索引与切片
9、PyTorch的自动求导(Autograd)机制与计算图的理解
10、PyTorch常用工具包及API简介(torchvision(transforms、datasets、model)、torch.nn、torch.optim、torch.utils(Dataset、DataLoader))
第十一章 卷积神经网络近红外光谱分析
1、深度学习与传统机器学习的区别与联系(神经网络的隐含层数越多越好吗?深度学习与传统机器学习的本质区别是什么?)
2、卷积神经网络的基本原理(什么是卷积核?CNN的典型拓扑结构是怎样的?CNN的权值共享机制是什么?CNN提取的特征是怎样的?)
3、卷积神经网络参数调试技巧(卷积核尺寸、卷积核个数、移动步长、补零操作、池化核尺寸等参数与特征图的维度,以及模型参数量之间的关系是怎样的?)
4、卷积神经网络的进化史:LeNet、AlexNet、Vgg-16/19、GoogLeNet、ResNet等经典深度神经网络的区别与联系
5、利用PyTorch构建卷积神经网络(Convolution层、Batch Normalization层、Pooling层、Dropout层、Flatten层等)
6、卷积神经网络中的ChatGPT提示词模板讲解
7、案例演示:
(1)CNN预训练模型实现物体识别;(2)利用卷积神经网络抽取抽象特征;(3)自定义卷积神经网络拓扑结构;(4)基于一维卷积神经网络的近红外光谱模型建立;(5)基于二维卷积神经网络的红外图像分类识别模型建立。
第十二章 近红外光谱迁移学习
1、迁移学习算法的基本原理(为什么需要迁移学习?为什么可以迁移学习?迁移学习的基本思想是什么?)
2、常用的迁移学习算法简介(基于实例、特征和模型,譬如:TrAdaboost算法)
3、基于卷积神经网络的迁移学习算法
4、迁移学习的Python代码实现
5、案例演示:基于迁移学习的近红外光谱的模型传递(模型移植)
第十三章 自编码器近红外光谱分析
1、自编码器(Auto-Encoder的工作原理)
2、常见的自编码器类型简介(降噪自编码器、深度自编码器、掩码自编码器等)
3、自编码器的Python代码实现
4、自编码器中的Deepseek、ChatGPT提示词模板讲解
5、案例演示:
1)基于自编码器的近红外光谱数据预处理
2)基于自编码器的近红外光谱数据降维与有效特征提取
第十四章 U-Net多光谱图像语义分割
1、语义分割(Semantic Segmentation)简介
2、U-Net模型的基本原理
3、语义分割、U-Net模型中的Deepseek、ChatGPT提示词模板讲解
4、案例演示:基于U-Net的多光谱图像语义分割
第十五章 深度学习模型可解释性与可视化方法
1、什么是模型可解释性?为什么需要对深度学习模型进行解释?
2、常用的可视化方法有哪些(特征图可视化、卷积核可视化、类别激活可视化等)?
3、类激活映射CAM(Class Activation Mapping)、梯度类激活映射GRAD-CAM、局部可解释模型-敏感LIME(Local Interpretable Model-agnostic Explanation)等原理讲解
4、t-SNE的基本概念及使用t-SNE可视化深度学习模型的高维特征
5、深度学习模型可解释性与可视化中的Deepseek、ChatGPT提示词模板讲解
6、案例演示
第十六章 复习与答疑讨论
1、复习与总结、资料分享(图书、在线资源、源代码等)
2、科研与创新方法总结(如何利用Google Scholar、Sci-Hub、ResearchGate等工具查阅文献资料、配套的数据和代码?如何更好地撰写论文的Discussion部分?)
3、答疑与讨论
关 注【科研充电吧】公 众 号,获取海量教程和资源
转载本文请联系原作者获取授权,同时请注明本文来自王艳科学网博客。
链接地址:https://wap.sciencenet.cn/blog-3539141-1485681.html?mobile=1
收藏