Datawhale干货
(相关资料图)
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词：
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent2023-04-27
一季度桂林工业经济实现“开门红”1至3月，全市完成规上工业增加值同比增长9 2%本报讯(记者徐莹波通讯员蒋2023-04-27
为进一步做好辖区卫生室安全生产工作，增强各卫生室的安全意识，提高隐患排查能力，4月22日，兰考县第三人2023-04-27
4月25日拍摄的山东省临沂市临沭县朱村旅游区（无人机照片）。近年来，山东省临沂市持续加大旅游资源整合提2023-04-27
经过了90分钟比赛的争夺，巴萨爆冷1-2不敌对手，联赛7轮不败遭到终结，未能在积分榜上将领先优势继续扩大。2023-04-27
日前，教育部公布了2022年度普通高等学校本科专业备案和审批结果。河北高校新增本科专业61个，其中27所高校2023-04-27
1、首先，在创建模式下打开背包，选择工具选项卡，单击第一行的第二个，将正方形复制器放入背包。2、其次，2023-04-27
赛前排名第10的巴列卡诺队迎来了西甲第31轮的较量，巴列卡诺队此役坐镇自己的主场PK赛前排名第一的巴萨队。2023-04-27
直播吧4月26日讯接受采访时，罗马诺谈到了关于奥纳纳、什克里尼亚尔和小因扎吉的话题。关于小因扎吉关于奥2023-04-27
4月26日，孙卓被拐案代理律师孙文学发声称人贩子“梅姨”已被抓获的消息登上热搜。但该消息很快被广东增2023-04-27
湖人VS灰熊第5场，做好一点，湖人可客场取胜，顺利晋级,湖人,小牛,内线,马刺队,孟菲斯灰熊队,纽约尼克斯队,2023-04-27
1、ed春节和年的概念，最初的含意来自农业，古时人们把谷的生长周期称为“年”，《说文。2、以后，人们在过2023-04-27
【 中国男子在伦敦遇袭发帖寻目击证人 】近日，中国男子在伦敦遇袭发帖寻目击证人的话题，引发网络关注！2023-04-26
58元变7488元！柳州女子遭套路，做这种项目要当心2023-04-26
开！馆！啦！数字孪生AIAR元宇宙技术体验异形3D视频体验数字护航安全生产………就在今天下午作为第六届数字2023-04-26
大唐药业2022年营收1 58亿净利1487 31万营业收入下降2023 4 2620:14:29挖贝网汪瑶挖贝网4月26日，大唐药业（836432023-04-26
弘元绿能:关于召开2022年年度股东大会的通知2023-04-26
界面·财联社报道称，“机构大资金参与AI炒作将受到窗口指导”，一则捕风捉影的小作文“狙击”整个AI板块。2023-04-26
港股通活跃成交|2023年4月26日2023-04-26
揭秘遥感世界！广西卫星中心开展“中国航天日”科普专题系列活动2023-04-26
华邦健康（SZ002004，收盘价：5 44元）4月26日晚间发布一季度业绩公告称，2023年第一季度营收约29 76亿元，2023-04-26
蓉城四月，风月无边，在这春暖花开之际，承载全球青年体育梦想的青春盛会—成都第31届世界大学生夏季运动会2023-04-26
周三早盘上证指数低开后在水下弱势波动。午后大盘震荡反弹摸高3277点后回落。最终大盘收平盘为宽幅震荡阳十2023-04-26
菜鸟驿站服务再升级武汉等多个城市试点“24点前自助取”---湖北日报讯（通讯员王婷）从菜鸟获悉，菜鸟驿站2023-04-26
欢迎观看本篇文章，小升来为大家解答以上问题。5字网名，好听好看的五字网名很多人还不知道，现在让我们一2023-04-26
