科学网

 找回密码
  注册
搜索
热搜: 科学 论文
搜索
[转载]激活函数总结(一)
张伟 2021-5-7 16:44
Sigmoid tanh ReLU LeakyReLU, PReLU(Parametric Relu), RReLU 写在前面 神经网络为什么需要激活函数: 首先数据的分布绝大多数是非线性的,而一般神经网络的计算是线性的,引入激活函数,是在神经网络中引入非线性,强化网络的学习能力。所以激活函数的最大特点就是非线性。 不同的激活函数,根 ...
个人分类: 机器学习|224 次阅读|没有评论
拉格朗日乘子法
热度 1 张伟 2021-4-22 15:31
主要解决两个问题: (1)理解拉格朗日乘子法;(2)为什么拉格朗日乘子法构造的公式又可写为minmax f(x). (一)理解拉格朗日乘子法 现在我们想求其上的点与原点的最短距离: 这里介绍一种解题思路。首先,与原点距离为 的点全部在半径为 的圆上: 那么,我们 ...
个人分类: 机器学习|586 次阅读|2 个评论 热度 1
理解判别模型与生成模型
张伟 2021-4-22 14:01
在机器学习中,模型可以分为两种: 判别模型 和 生成模型 。两者的区别在于找到决策边界的过程不同: 下面就来进一步解释下其中的细节。 1 垃圾邮件分类数据集 垃圾邮件分类是机器学习中常用的例子,本文以此为例来进行讲 ...
个人分类: 机器学习|444 次阅读|没有评论
[转载]概率和期望
张伟 2021-4-19 17:40
概率和期望是不同的两个概念,但是有关联。 一、概念 1.什么是概率 概率 ,亦称“或然率”,它是反映随机事件出现的可能性大小。一般是0到1之间的一个数字。 2.什么是期望 数学 期望 (mean)(或均值,亦简称 期望 )是试验中每次可能结果的概率乘以其结果的总和,是最基本的数学特征之一。 举例来看。比如有 ...
个人分类: 机器学习|424 次阅读|没有评论
[转载]机器学习中的距离与相似性度量
张伟 2021-4-17 16:43
此处仅列直观性图,具体见一下博客: 漫谈:机器学习中距离和相似性度量方法 机器学习笔记-距离度量与相似度(一)闵可夫斯基距离 机器学习笔记-距离度量与相似度(二)马氏距离 (1)闵可夫斯基距离定义为: 图1. (左)欧氏距离与曼哈顿距离:绿色的斜线表示欧几里得距离,在现实中是不可 ...
个人分类: 机器学习|333 次阅读|没有评论
深度学习中不同类型卷积的综合介绍--通过可视化直观了解卷积
张伟 2021-4-13 23:30
总览:详细介绍各种卷积,并有PDF,需要的留言!看到后回复。 如果您听说过深度学习中的不同类型的卷积(例如2D / 3D / 1x1 /转置/扩张(Atrous)/空间可分离/深度可分离/展平/分组/混洗分组卷积),并且混淆了它们的实际含义,本文旨在帮助您了解它们的实际工作 ...
个人分类: 机器学习|382 次阅读|没有评论
扩张卷积或空洞卷积
张伟 2021-4-13 23:14
空洞卷积(dilated convolution)是针对图像语义分割问题中下采样会降低图像分辨率、丢失信息而提出的一种卷积思路。利用添加空洞扩大感受野,让原本3x3的卷积核,在相同参数量和计算量下拥有5x5(dilated rate =2)或者更大的感受野,从而无需下采样。扩张卷积(dilated convolutions)又名空 ...
个人分类: 机器学习|359 次阅读|没有评论
转置卷积(transposed convolution)或反卷积(deconvolution)
张伟 2021-4-13 14:57
(一)概念-什么是反卷积? 上采样(Upsample) : 在应用在计算机视觉的深度学习领域,由于输入图像通过卷积神经网络(CNN)提取特征后,输出的尺寸往往会变小,而有时我们需要将图像恢复到原来的尺寸以便进行进一步的计算(e.g.:图像的语义分割),这个采用扩大图像尺寸,实现图像由小分辨率到大分辨 ...
个人分类: 机器学习|469 次阅读|没有评论
语义信息与语义分割
张伟 2021-4-12 16:39
(一) 语义信息 语义是语言的含义,比如v,这只是一个符号,当告诉你它表示速度,那么v就是有含义的,于是速度便是v的语义,用v表示速度可以认为是一种语言中对速度的表达方式。 同理,“小孩”也只是个符号,赋予了含义才知道它表示什么。大量的中文汉字和词语和他们对 ...
个人分类: 机器学习|823 次阅读|没有评论

本页有 1 篇博文因作者的隐私设置或未通过审核而隐藏

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-6-18 14:29

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部