会员服务
深度学习 · 激活函数 ·
2019 年 10 月 15 日
Diganta Misra等人提出新激活函数Mish，在一些任务上超越RuLU
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

《Mish: Self Regularized Non-Monotonic Activation Function》

成为VIP会员查看完整内容
https://arxiv.org/abs/1908.08681v2
Mish A Self Regularized Non-Monotonic Neural Activation Function.pdf
15

相关内容

机器学习的一个分支，它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【经典】GAT作者Petar剑桥大学博士论文《深层神经网络结构的复兴》147页pdf
【经典】GAT作者Petar剑桥大学博士论文《深层神经网络结构的复兴》147页pdf
专知会员服务
64+阅读 · 2020年5月27日
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
26+阅读 · 2020年5月7日
斯坦福2020硬课《分布式算法与优化》
斯坦福2020硬课《分布式算法与优化》
专知会员服务
123+阅读 · 2020年5月6日
近期必读的6篇CVPR 2020【域自适应（Domain Adaptation）】相关论文和代码
近期必读的6篇CVPR 2020【域自适应（Domain Adaptation）】相关论文和代码
专知会员服务
96+阅读 · 2020年3月24日
Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新ImageNet准确率
Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新ImageNet准确率
专知会员服务
36+阅读 · 2020年3月11日
重磅！Geoffrey Hinton新论文「视觉表示对比学习简单框架」自监督学习建立新SOTA-ImageNet准确率76.5%
重磅！Geoffrey Hinton新论文「视觉表示对比学习简单框架」自监督学习建立新SOTA-ImageNet准确率76.5%
专知会员服务
33+阅读 · 2020年2月15日
【跨语言BERT模型大集合】Transfer learning is increasingly going multilingual with language-specific BERT models
专知会员服务
54+阅读 · 2020年1月30日
【AAAI2020论文】分类感知的生成式对抗网络，具有分类文本生成的层次进化学习 (附pdf)
专知会员服务
21+阅读 · 2019年11月19日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
37+阅读 · 2019年10月17日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
CVPR 2019 | 重磅！34篇 CVPR2019 论文实现代码
CVPR 2019 | 重磅！34篇 CVPR2019 论文实现代码
AI研习社
11+阅读 · 2019年6月21日
如何找到相似Graph？DeepMind提出超越GNN的图匹配网络
如何找到相似Graph？DeepMind提出超越GNN的图匹配网络
机器之心
24+阅读 · 2019年5月7日
超越标准 GNN ！DeepMind、谷歌提出图匹配网络| ICML最新论文
超越标准 GNN ！DeepMind、谷歌提出图匹配网络| ICML最新论文
新智元
20+阅读 · 2019年5月6日
神经网络训练tricks
神经网络训练tricks
极市平台
6+阅读 · 2019年4月15日
从最优化的角度看待 Softmax 损失函数
从最优化的角度看待 Softmax 损失函数
极市平台
31+阅读 · 2019年2月21日
ResNet架构可逆！多大等提出性能优越的可逆残差网络
ResNet架构可逆！多大等提出性能优越的可逆残差网络
机器之心
5+阅读 · 2019年2月3日
21种NLP任务激活函数大比拼：你一定猜不到谁赢了
21种NLP任务激活函数大比拼：你一定猜不到谁赢了
机器之心
7+阅读 · 2019年1月27日
换个角度看GAN：另一种损失函数
换个角度看GAN：另一种损失函数
机器学习算法与Python学习
7+阅读 · 2019年1月1日
资源 | 带自注意力机制的生成对抗网络，实现效果怎样？
资源 | 带自注意力机制的生成对抗网络，实现效果怎样？
机器之心
9+阅读 · 2018年6月6日
条件GAN重大改进！cGANs with Projection Discriminator
条件GAN重大改进！cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks
Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks
Arxiv
13+阅读 · 2020年4月13日
Optimization for deep learning: theory and algorithms
Optimization for deep learning: theory and algorithms
Arxiv
106+阅读 · 2019年12月19日
Scalable Gromov-Wasserstein Learning for Graph Partitioning and Matching
Arxiv
8+阅读 · 2019年10月9日
Graph Convolutional Label Noise Cleaner: Train a Plug-and-play Action Classifier for Anomaly Detection
Graph Convolutional Label Noise Cleaner: Train a Plug-and-play Action Classifier for Anomaly Detection
Arxiv
15+阅读 · 2019年3月18日
Video-to-Video Synthesis
Video-to-Video Synthesis
Arxiv
9+阅读 · 2018年8月20日
The GAN Landscape: Losses, Architectures, Regularization, and Normalization
Arxiv
3+阅读 · 2018年7月12日
Orthogonal Matching Pursuit for Text Classification
Arxiv
6+阅读 · 2018年7月12日
Combination of Domain Knowledge and Deep Learning for Sentiment Analysis
Arxiv
3+阅读 · 2018年6月22日
Visual Data Synthesis via GAN for Zero-Shot Video Classification
Arxiv
3+阅读 · 2018年4月26日
Attention Is All You Need
Arxiv
29+阅读 · 2017年12月6日
VIP会员
相关主题
深度学习
激活函数
最新内容
反制无人机：乌克兰提供的五点启示
反制无人机：乌克兰提供的五点启示
专知会员服务
4+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
《各指挥层级均亟需红队能力》报告
专知会员服务
5+阅读 · 9月23日
《远程传感对战机架次生成影响的仿真研究》80页
《远程传感对战机架次生成影响的仿真研究》80页
专知会员服务
6+阅读 · 9月23日
《基于证据推理的空战空中目标分类与意图预测方法》
《基于证据推理的空战空中目标分类与意图预测方法》
专知会员服务
6+阅读 · 9月23日
《航电任务系统框架（FAMOS）》50页报告
《航电任务系统框架（FAMOS）》50页报告
专知会员服务
4+阅读 · 9月22日
美陆军测试人工智能与电子战以阻止百架无人机蜂群压垮战场防御
美陆军测试人工智能与电子战以阻止百架无人机蜂群压垮战场防御
专知会员服务
5+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
7+阅读 · 9月22日
《从数据到胜利：战争中的分析优势之争》
《从数据到胜利：战争中的分析优势之争》
专知会员服务
10+阅读 · 9月22日
《高性能计算环境下多媒体目标检测流水线的设计》技术研究报告
《高性能计算环境下多媒体目标检测流水线的设计》技术研究报告
专知会员服务
6+阅读 · 9月22日
ACL 2026 杰出论文奖 | PALU：在关键前缀上最大化局部熵，让大模型精准“失忆”
ACL 2026 杰出论文奖 | PALU：在关键前缀上最大化局部熵，让大模型精准“失忆”
专知会员服务
6+阅读 · 9月21日
乌克兰与中东为印太地区带来关于新太空战的启示
乌克兰与中东为印太地区带来关于新太空战的启示
专知会员服务
6+阅读 · 9月21日
战争不仅需要机器人：人类仍不可或缺
战争不仅需要机器人：人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
《美国-新加坡联合机器人、自主系统与人工智能（RAS-AI）海上基础设施及港口防御方法》200页
《美国-新加坡联合机器人、自主系统与人工智能（RAS-AI）海上基础设施及港口防御方法》200页
专知会员服务
10+阅读 · 9月21日
综述｜从参数到行为：大语言模型融合的统一框架与实践边界
综述｜从参数到行为：大语言模型融合的统一框架与实践边界
专知会员服务
6+阅读 · 9月19日
相关VIP内容
【经典】GAT作者Petar剑桥大学博士论文《深层神经网络结构的复兴》147页pdf
【经典】GAT作者Petar剑桥大学博士论文《深层神经网络结构的复兴》147页pdf
专知会员服务
64+阅读 · 2020年5月27日
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
26+阅读 · 2020年5月7日
斯坦福2020硬课《分布式算法与优化》
斯坦福2020硬课《分布式算法与优化》
专知会员服务
123+阅读 · 2020年5月6日
近期必读的6篇CVPR 2020【域自适应（Domain Adaptation）】相关论文和代码
近期必读的6篇CVPR 2020【域自适应（Domain Adaptation）】相关论文和代码
专知会员服务
96+阅读 · 2020年3月24日
Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新ImageNet准确率
Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新ImageNet准确率
专知会员服务
36+阅读 · 2020年3月11日
重磅！Geoffrey Hinton新论文「视觉表示对比学习简单框架」自监督学习建立新SOTA-ImageNet准确率76.5%
重磅！Geoffrey Hinton新论文「视觉表示对比学习简单框架」自监督学习建立新SOTA-ImageNet准确率76.5%
专知会员服务
33+阅读 · 2020年2月15日
【跨语言BERT模型大集合】Transfer learning is increasingly going multilingual with language-specific BERT models
专知会员服务
54+阅读 · 2020年1月30日
【AAAI2020论文】分类感知的生成式对抗网络，具有分类文本生成的层次进化学习 (附pdf)
专知会员服务
21+阅读 · 2019年11月19日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
37+阅读 · 2019年10月17日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
热门VIP内容
相关资讯
CVPR 2019 | 重磅！34篇 CVPR2019 论文实现代码
CVPR 2019 | 重磅！34篇 CVPR2019 论文实现代码
AI研习社
11+阅读 · 2019年6月21日
如何找到相似Graph？DeepMind提出超越GNN的图匹配网络
如何找到相似Graph？DeepMind提出超越GNN的图匹配网络
机器之心
24+阅读 · 2019年5月7日
超越标准 GNN ！DeepMind、谷歌提出图匹配网络| ICML最新论文
超越标准 GNN ！DeepMind、谷歌提出图匹配网络| ICML最新论文
新智元
20+阅读 · 2019年5月6日
神经网络训练tricks
神经网络训练tricks
极市平台
6+阅读 · 2019年4月15日
从最优化的角度看待 Softmax 损失函数
从最优化的角度看待 Softmax 损失函数
极市平台
31+阅读 · 2019年2月21日
ResNet架构可逆！多大等提出性能优越的可逆残差网络
ResNet架构可逆！多大等提出性能优越的可逆残差网络
机器之心
5+阅读 · 2019年2月3日
21种NLP任务激活函数大比拼：你一定猜不到谁赢了
21种NLP任务激活函数大比拼：你一定猜不到谁赢了
机器之心
7+阅读 · 2019年1月27日
换个角度看GAN：另一种损失函数
换个角度看GAN：另一种损失函数
机器学习算法与Python学习
7+阅读 · 2019年1月1日
资源 | 带自注意力机制的生成对抗网络，实现效果怎样？
资源 | 带自注意力机制的生成对抗网络，实现效果怎样？
机器之心
9+阅读 · 2018年6月6日
条件GAN重大改进！cGANs with Projection Discriminator
条件GAN重大改进！cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
相关论文
Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks
Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks
Arxiv
13+阅读 · 2020年4月13日
Optimization for deep learning: theory and algorithms
Optimization for deep learning: theory and algorithms
Arxiv
106+阅读 · 2019年12月19日
Scalable Gromov-Wasserstein Learning for Graph Partitioning and Matching
Arxiv
8+阅读 · 2019年10月9日
Graph Convolutional Label Noise Cleaner: Train a Plug-and-play Action Classifier for Anomaly Detection
Graph Convolutional Label Noise Cleaner: Train a Plug-and-play Action Classifier for Anomaly Detection
Arxiv
15+阅读 · 2019年3月18日
Video-to-Video Synthesis
Video-to-Video Synthesis
Arxiv
9+阅读 · 2018年8月20日
The GAN Landscape: Losses, Architectures, Regularization, and Normalization
Arxiv
3+阅读 · 2018年7月12日
Orthogonal Matching Pursuit for Text Classification
Arxiv
6+阅读 · 2018年7月12日
Combination of Domain Knowledge and Deep Learning for Sentiment Analysis
Arxiv
3+阅读 · 2018年6月22日
Visual Data Synthesis via GAN for Zero-Shot Video Classification
Arxiv
3+阅读 · 2018年4月26日
Attention Is All You Need
Arxiv
29+阅读 · 2017年12月6日
微信扫码咨询专知VIP会员
Top