[转载]深度学习超参数-Minibatch

张伟 2021-3-26 22:17

回顾 之前我们讲到了一些在训练模型的时候用到的超参数，例如上一次说的 L2 正则， 在过拟合的场景中增加 L2 的值有助于减小网络的复杂度。 还有诸如学习率， 在梯度下降中，每一次迭代的下降的步长是学习率乘以成本函数对 w 的导数。所以如果我们想让算法训练的快一点，调高学习率可以有效的减少迭代次数。 诸如此类的还 ...

个人分类: 机器学习|2125 次阅读|没有评论

高性能图像处理库Pillow-SIMD

张伟 2020-11-11 23:11

推荐博客： https://www.jianshu.com/p/b71844bb0db5 Pillow-SIMD：经过针对SIMD(单指令多数据)指令优化的Pillow包 Pillow-SIMD vs Pillow, AVX2的Pillow-SIMD几乎比Pillow快3~10倍 Pillow-SIMD vs others Pillow-SIMD 与 Pillow不能共存，安装Pillow-SIMD前，请先卸载掉Pillow pip uninstall pillow ...

个人分类: 机器学习|2721 次阅读|没有评论

池化总结

张伟 2020-11-10 23:13

推荐博客： https://blog.csdn.net/u013289254/article/details/99080916 https://blog.csdn.net/mrcharles/article/details/105299448 主要包括的池化是：mean-pooling（平均池化），max-pooling（最大池化）、Stochastic-pooling（随机池化）和global average pooling（全局平均池 ...

个人分类: 机器学习|7971 次阅读|没有评论

理解1D、2D、3D卷积核

张伟 2020-11-2 09:34

推荐两个博客： 一维卷积（1D-CNN）、二维卷积（2D-CNN）、三维卷积（3D-CNN） 理解1D、2D、3D卷积神经网络的概念 在Conv1D中，内核沿一维滑动；之所以称其为2维CNN，是因为内核在数据上沿2维滑动；在Conv3D中，内核按3个维度滑动！ 下面图相当于一个总的 ...

个人分类: 机器学习|8412 次阅读|没有评论

轻松理解局部连接和权值共享

张伟 2020-10-21 21:09

卷积神经网络两大核心思想： 1.网络局部连接（Local Connectivity） 2.卷积核参数共享（Parameter Sharing） 两者的一个关键作用就是减少参数数量，使运算变得简洁、高效，能够在超大规模数据集上运算。下面用图直观展示！！！ （1）权值共享 （2）局部连接 ...

个人分类: 机器学习|8908 次阅读|没有评论

[转载]深度学习中IU、IoU(Intersection over Union)的概念理解

张伟 2020-10-18 16:12

IoU(Intersection over Union) Intersection over Union是一种测量在特定数据集中检测相应物体准确度的一个标准。我们可以在很多物体检测挑战中，例如PASCAL VOC challenge中看多很多使用该标准的做法。 通常我们在 HOG + Linear SVM object detectors 和 Convolutional Neural Network detectors (R-CNN, Faster R-CNN, ...

个人分类: 机器学习|2715 次阅读|没有评论

深度学习中的logits

张伟 2020-10-18 15:40

（1）总结来说就是： f(wx+b)之后的输出，没有归一化的输出值，作为logits。 将logits进行softmax归一化，得到最后的结果。 （2）具体来说是： 也可以这么理解：logits与 softmax都属于在输出层的内容， logits = tf.matmul(X, W) + bias 再对logits做归一化处理，就用到了softmax： Y_pred = tf.nn.soft ...

个人分类: 机器学习|6982 次阅读|没有评论

HDF5数据格式读写

张伟 2020-9-22 17:03

在深度学习中，通常会使用巨量的数据或图片来训练网络。对于如此大的数据集，如果对于每张图片都单独从硬盘读取、预处理、之后再送入网络进行训练、验证或是测试，这样效率可是太低了。如果将这些图片都放入一个文件中再进行处理，这样效率会更高。有多种数据模型和库可完成这种操作，如HDF5和 ...

个人分类: 机器学习|3578 次阅读|没有评论

本页有 2 篇博文因作者的隐私设置或未通过审核而隐藏