












【CNMO科技动静】近日,于特斯拉CEO埃隆·马斯克公然点赞中国AI公司Kimi的最新研究结果后,Kimi官方账号在3月17日以诙谐口气回应:“你的火箭造患上也不错!”

据CNMO相识,事务的因由是3月16日,月之暗面(Kimi)发布了一项关在年夜模子基础架构的研究,提出“Attention Residuals”(留意力残差)机制,对于深度进修中沿用近十年的残差毗连举行了从头设计。传统残差毗连采用固定、匀称的累加方式,而Kimi的新要领让每一一层可以或许选择性地存眷此前各层的输出,从而晋升练习效率。据Kimi官方披露,于48B参数的模子上,该机制使练习效率晋升了1.25倍。

该研究迅速引起了学界及业界存眷。马斯克于社交平台X上转发并评论:“Impressive work from Kimi”(Kimi这项研究干患上美丽)。随后,前OpenAI研究科学家Andrej Karpathy也发文称,该研究真正践行了“Attention is All You Need”的理念;被誉为“推理模子之父”的前OpenAI研究副总裁Jerry Tworek更是直言“深度进修2.0来了”。这些来自全世界顶尖AI专家的承认,凸显了Kimi这次技能冲破的份量。
版权所有,未经许可不患上转载
-米兰·(milantiyu)Copyright © 1999-2023 深圳市米兰·(milantiyu)科技发展有限公司 版权所有 技术支持
粤ICP备09010736号 米兰·(milantiyu)科技是一家领先的物联网数智化技术服务商









