博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
为什么需要做归一化或者标准化
阅读量:4307 次
发布时间:2019-06-06

本文共 305 字,大约阅读时间需要 1 分钟。

为什么需要做归一化或者标准化

一句话解释就是为了让我们求解loss最低值的过程中更加的平稳和缓,容易收敛。

具体解释可以看这里:
特征工程中的「归一化」有什么作用? - 忆臻的回答 - 知乎

用我自己的话总结就是:损失函数对某个权重求梯度的时候,会用到这个权重之前的变量,如果这个白能量过大,会导致梯度过大,也就是这个权重在收敛的过程中每次变化量会很大,就不容易收敛。

这就要求我们在收敛过程中使用不同的学习率,对于梯度变化多大的使用小一点的学习率,梯度变化大的方向使用大一点的学习率,这就比较麻烦了。

转载于:https://www.cnblogs.com/lzida9223/p/10972725.html

你可能感兴趣的文章
免费字典api ,查询汉字完整信息
查看>>
Flume协作框架
查看>>
基于数据库的事务消息解决分布式事务方案
查看>>
HDU 2461 Rectangles#容斥原理
查看>>
网口扫盲二:Mac与Phy组成原理的简单分析(转)
查看>>
使用最大似然法来求解线性模型(1)
查看>>
EF 从sqlserver2008 迁移到 2005出现的BUG
查看>>
架构-浅谈MySQL数据库优化
查看>>
jquery锚点连接划动滚动条,再也不用a标签name 了
查看>>
Apache JMeter--网站自动测试与性能测评
查看>>
信号与系统(中)
查看>>
【iCore4 双核心板_FPGA】例程八:乘法器实验——乘法器使用
查看>>
bash 快捷键
查看>>
检测登录按钮 ,回车即登录
查看>>
蓝桥杯-微生物增殖
查看>>
ansible for devops读书笔记第一章
查看>>
解决IE6下,给图片加上line-height属性不起作用的方法
查看>>
#10172. 「一本通 5.4 练习 1」涂抹果酱 题解
查看>>
vue-cli 3.0安装和使用
查看>>
数据结构与算法6—树
查看>>