news 2026/4/15 9:45:08

log_softmax和sigmoid防止溢出原理

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
log_softmax和sigmoid防止溢出原理

1sum_softmax推理

指数函数的输出永远最大只有 1,前面常量不涉及指数计算基本不会溢出。

2 sigmoid的安全处理

对于常见操作

# 极易下溢出!如果 logits 很小,pred 变成 0,log(0) 报错
pred = torch.sigmoid(logits)
loss = torch.nn.BCELoss()(pred, target)

torch的内部自动处理了下溢出,数值绝对稳定 torch.nn.BCEWithLogitsLoss()(logits, target)处理策略:

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/12 10:36:41

Python 基础入门完全指南

Python 作为一门解释型、面向对象、动态数据类型的高级程序设计语言,凭借简洁的语法、丰富的库生态和极低的入门门槛,成为了编程新手的首选语言。无论是数据分析、人工智能、Web 开发还是自动化脚本编写,Python 都能胜任。本文将从零基础视角…

作者头像 李华
网站建设 2026/4/5 15:59:23

STM32CubeMX教程:图解说明引脚分配与外设配置

从零开始掌握STM32开发:用CubeMX搞定引脚、时钟与外设配置你有没有过这样的经历?刚拿到一块新的STM32开发板,满心欢喜地打开数据手册,翻到几百页的引脚定义表和复杂的时钟树框图时,瞬间感觉“劝退”?“PA9到…

作者头像 李华
网站建设 2026/4/14 7:29:03

操作指南:使用Proteus元件库对照表避免封装错误

避免封装踩坑:用一张表打通Proteus设计的“任督二脉”你有没有过这样的经历?辛辛苦苦画完原理图,仿真跑通了逻辑,信心满满地导入PCB布局——结果发现某个运放的引脚顺序完全不对。本该是V的引脚连到了GND,电源直接短路…

作者头像 李华
网站建设 2026/4/15 7:37:59

STM32数字频率计设计的实际项目部署

用STM32打造高精度数字频率计:从原理到实战部署你有没有遇到过这样的场景?手头有个信号发生器,输出频率标称是1.5 MHz,但示波器一看——咦,怎么差了几十kHz?又或者在调试一个编码器时,转速显示忽…

作者头像 李华