全新神经网络架构KAN一夜爆火，能干掉MLP？

量子位05-02

一种全新的神经网络架构KAN，诞生了！与传统的MLP架构截然不同，且能用更少的参数在数学、物理问题上取得更高精度。比如，200个参数的KANs，就能复现DeepMind用30万参数的MLPs发现数学定理研究。不仅准确性更高，并且还发现了新的公式。要知道后者可是登上Nature封面的研究啊。在函数拟合、偏微分方程求解，甚至处理凝聚态物理方面的任务都比MLP效果要好。而在大模型问题的解决上，KAN天然...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2432438346?lang=zh_CN&edition=full","thumbnail":"https://img.huxiucdn.com/article/cover/202405/02/132017726739.jpg?imageView2/1/w/720/h/405/|imageMogr2/strip/interlace/1/quality/85/format/jpg","is_english":false,"pubTime":"2024-05-02 14:00","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2432438346","market":"sh","top_or_hot":-1,"title":"全新神经网络架构KAN一夜爆火，能干掉MLP？","media":"量子位","content":"<div>\n<p>一种全新的神经网络架构KAN，诞生了！与传统的MLP架构截然不同，且能用更少的参数在数学、物理问题上取得更高精度。比如，200个参数的KANs，就能复现DeepMind用30万参数的MLPs发现数学定理研究。不仅准确性更高，并且还发现了新的公式。要知道后者可是登上Nature封面的研究啊。在函数拟合、偏微分方程求解，甚至处理凝聚态物理方面的任务都比MLP效果要好。而在大模型问题的解决上，KAN天然...</p>\n\n<a href=\"https://www.huxiu.com/article/2978766.html\">网页链接</a>\n\n</div>\n","source":"highlight_huxiu","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>全新神经网络架构KAN一夜爆火，能干掉MLP？</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n全新神经网络架构KAN一夜爆火，能干掉MLP？\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-05-02 14:00 北京时间&nbsp;&nbsp;&nbsp;<a href=https://www.huxiu.com/article/2978766.html><strong>量子位</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>一种全新的神经网络架构KAN，诞生了！与传统的MLP架构截然不同，且能用更少的参数在数学、物理问题上取得更高精度。比如，200个参数的KANs，就能复现DeepMind用30万参数的MLPs发现数学定理研究。不仅准确性更高，并且还发现了新的公式。要知道后者可是登上Nature封面的研究啊。在函数拟合、偏微分方程求解，甚至处理凝聚态物理方面的任务都比MLP效果要好。而在大模型问题的解决上，KAN天然...</p>\n\n<a href=\"https://www.huxiu.com/article/2978766.html\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"BK4024","symbol_name":"房地产开发","start_time":0,"source_url":"https://www.huxiu.com/article/2978766.html","article_id":"2432438346","we_media_id":null,"thumbnails":["https://img.huxiucdn.com/article/cover/202405/02/132017726739.jpg?imageView2/1/w/720/h/405/|imageMogr2/strip/interlace/1/quality/85/format/jpg"],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2432438346","pubTimestamp":1714629647,"sourceInfo":{"source_id":"highlight_huxiu","name":"虎嗅网"},"weMediaInfo":null,"summary":"200参数顶30万","collect":0,"end_time":0,"defaultTopTitle":"huxiu.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"BK4024":"房地产开发","MLP":"毛伊岛菠萝食品"},"translate_title":"The new neural network architecture KAN exploded overnight, can it kill MLP?","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"MLP":1},"content_text":"一种全新的神经网络架构KAN，诞生了！与传统的MLP架构截然不同，且能用更少的参数在数学、物理问题上取得更高精度。比如，200个参数的KANs，就能复现DeepMind用30万参数的MLPs发现数学定理研究。不仅准确性更高，并且还发现了新的公式。要知道后者可是登上Nature封面的研究啊。在函数拟合、偏微分方程求解，甚至处理凝聚态物理方面的任务都比MLP效果要好。而在大模型问题的解决上，KAN天然就能规避掉灾难性遗忘问题，并且注入人类的习惯偏差或领域知识非常容易。来自MIT、加州理工学院、东北大学等团队的研究一出，瞬间引爆一整个科技圈：Yes We KAN！甚至直接引出关于能否替代掉Transformer的MLP层的探讨，有人已经准备开始尝试……有网友表示：这看起来像是机器学习的下一步。让机器学习每个特定神经元的最佳激活，而不是由我们人类决定使用什么激活函数。还有人表示：可能正处于某些历史发展的中间。GitHub上也已经开源，也就短短两三天时间就收获1.1kStar。对MLP“进行一个简单的更改”跟MLP最大、也是最为直观的不同就是，MLP激活函数是在神经元上，而KAN把可学习的激活函数放在权重上。在作者看来，这是一个“简单的更改”。从数学定理方面来看，MLP的灵感来自于通用近似定理，即对于任意一个连续函数，都可以用一个足够深的神经网络来近似。而KAN则是来自于 Kolmogorov-Arnold 表示定理（KART），每个多元连续函数都可以表示为单变量连续函数的两层嵌套叠加。KAN的名字也由此而来。正是受到这一定理的启发，研究人员用神经网络将Kolmogorov-Arnold 表示参数化。为了纪念两位伟大的已故数学家Andrey Kolmogorov和Vladimir Arnold，我们称其为科尔莫格罗夫-阿诺德网络（KANs）。而从算法层面上看，MLPs 在神经元上具有（通常是固定的）激活函数，而 KANs 在权重上具有（可学习的）激活函数。这些一维激活函数被参数化为样条曲线。在实际应用过程中，KAN可以直观地可视化，提供MLP无法提供的可解释性和交互性。不过，KAN的缺点就是训练速度较慢。对于训练速度慢的问题，MIT博士生一作Ziming Liu解释道，主要有两个方面的原因。一个是技术原因，可学习的激活函数评估成本比固定激活函数成本更高。另一个则是主观原因，因为体内物理学家属性抑制程序员的个性，因此没有去尝试优化效率。对于是否能适配Transformer，他表示：暂时不知道如何做到这一点。以及对GPU友好吗？他表示：还没有，正在努力中。天然能解决大模型灾难性遗忘再来看看KAN的具体实现效果。神经缩放规律：KAN 的缩放速度比 MLP 快得多。除了数学上以Kolmogorov-Arnold 表示定理为基础，KAN缩放指数也可以通过经验来实现。在函数拟合方面，KAN比MLP更准确。而在偏微分方程求解，比如求解泊松方程，KAN比MLP更准确。研究人员还有个意外发现，就是KAN不会像MLP那样容易灾难性遗忘，它天然就可以规避这个缺陷。好好好，大模型的遗忘问题从源头就能解决。在可解释方面，KAN能通过符号公式揭示合成数据集的组成结构和变量依赖性。人类用户可以与 KANs 交互，使其更具可解释性。在 KAN 中注入人类的归纳偏差或领域知识非常容易。研究人员利用KANs还重新复现了DeepMind当年登上Nature的结果，并且还找到了Knot理论中新的公式，并以无监督的方式发现了新的结不变式关系。DeepMind登上Nature的研究成果Deepmind的MLP大约300000 个参数，而KAN大约只有200 个参数。KAN 可以立即进行解释，而 MLP 则需要进行特征归因的后期分析。并且准确性也更高。对于计算要求，团队表示论文中的所有例子都可以在单个CPU上10分钟内重现。虽然KAN所能处理的问题规模比许多机器学习任务要小，但对于科学相关任务来说就刚刚好。比如研究凝固态物理中的一种相变：安德森局域化。好了，那么KAN是否会取代Transformer中的MLP层呢？有网友表示，这取决于两个因素。一点是学习算法，如 SGD、AdamW、Sophia 等——能否找到适合 KANs 参数的局部最小值？另一点则是能否在GPU上高效地实现KANs层，最好能比MLPs更快。最后，论文中还贴心地给出了“何时该选用KAN？”的决策树。那么，你会开始尝试用KAN吗？还是让子弹再飞一会儿。项目链接：https://kindxiaoming.github.io/pykan/论文链接：https://arxiv.org/abs/2404.19756参考链接：[1]https://twitter.com/ZimingLiu11/status/1785483967719981538[2]https://twitter.com/AnthropicAI/status/1785701418546180326本文来自微信公众号：量子位（ID：QbitAI），作者：白交、衡宇","kind":null,"is_publish_news":true,"is_publish_highlight":false,"is_publish_live":null,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.25.1","shortVersion":"4.25.1","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2432438346"}