外网博主Hesam针对KAN网络在MNIST数据集表现究竟如何，与MLP做了对比，从结果来看KAN在MNIST数据集上的表现目前不如MLP，MLP的参数仅比KAN多3000。
讯享网
KAN 在MNIST数据集上的表现
在所有测试中，以及到目前为止的测试中，不能在MNIST上达到效果超过85%的KAN。
所使用结构为[49,10,10]宽度的KAN与grid=4进行实验，这是目前为止最好的结构。
MLP 在MNIST数据集上的表现
从结果来看，MLP在MNIST数据集上的效果远好于KAN。MLP使用比KAN多3000参数的结构，就能在MNIST数据集上取得超90%的效果。
KAN在MNIST数据集上效果差的原因是什么？
KAN论文原文通篇都在描述KAN在复杂数学物理函数上的预测效果，并展示了KAN的可解释性优势，正如论文作者原本的研究领域也是物理方面的。KAN网络在具有明确解析解的数学物理问题中表现出了很好的效果，但是像MNIST这样的问题是没有明确的解析解的，因此其在此类问题上的效果还值得探究。KAN在MNIST上效果差的可能原因：
- 网络拟合:KAN可能缺乏MNIST所需的复杂性/深度。
- 超参数:优化器、学习率和epoch对于KAN来说不是理想的。
- 数据预处理:适合mlp的预处理可能与KAN需求不一致。
- 理论vs.实践:KAN的理论优势并不能完全转化为实际的图像任务。
- 损失失配:当前的损失函数可能有利于MLP结构。
- 正则化需求:缺乏KAN所需的正则化方法。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/35288.html