Datawhale干货
作者:平凡@知乎,诺桑比亚大学,在读博士
(资料图片)
今天晚上,花了一点儿时间看了两篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签:
Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,花了一点儿时间看了两篇文章:《Emergent
直播吧4月30日讯在本轮结束的一场德甲联赛中,拜仁2-0击败柏林赫塔,基米希送出两次助攻。据统计,基米希本
【抢抓机遇促发展·青海在行动】我省牦牛藏羊可追溯数突破760万青海新闻网·大美青海客户端讯一扫就知道...
娱乐圈又发生一个大事了!5月1日凌晨2点多,洪欣突然发文官宣离婚,随后张丹峰也发文证实了此事,更抓马的
杜秀萍“五一”小长假,消费者出游热情高涨,旅游市场快速复苏。在消费活力迸发的同时,行业乱象也随之...
深港“第一口岸”今年累计客流已破千万
1、推荐三种海参的家常烹饪方法葱爆酱汁海参准备食材:海参500g,姜15g,葱白150g,花生油30g,料酒、蚝油、老抽
记者从国家能源集团获悉,全国首批首个 "沙戈荒 "新能源基地――国家能源集团宁夏腾格里沙漠新能源基地...
2023年退休养老金计算,个人账户26 4万元,每月能领取多少钱?下面跟社保网小编一起来看看吧。退休养老金的
入夏就穿这双鞋,怎么搭都好看!,短裤,半裙,西装,高腰,显高,短裙,入夏,好看,运动鞋,身材比例
“天镇保姆”“饶阳果蔬工”“潜江龙虾工”“潜江裁缝”……一个个来自全国各地的劳务品牌就是一张张叫...
4月29日,青岛第一海水浴场迎来了大量游客,大家在沙滩上晒太阳,乘坐海水娱乐工具或者玩着沙滩排球,快乐
TVB艺人陈自瑶(yoyo)日前担任闺蜜连诗雅伴娘,由朝忙到晚为姐妹出嫁张罗,未知是否太劳累而病倒。但身为
5月1日,位于三亚市天涯区西岛渔村的西岛礼物馆开馆。围绕西岛渔村元素,多款艺术家合作的文创产品共游客挑
《科创板日报》4月30日讯(实习记者朱凌)据星矿数据和《科创板日报》不完全统计,除触发重大违法强制退市
此页面是否是列表页或首页?未找到合适正文内容。
天山网 新疆日报记者王娜通讯员刘乐额敏县玛依塔斯风区,每年超过150天刮着8级大风,积雪厚时可达七八米,
4月30日,知名演员印小天在社交账号上晒出视频,分享自己在泰国街头热舞的画面,没想到却引来许多争议。视
博威合金2023年一季报出炉!营收利润实现双增长 2023年一季报亮点营业收入33 84亿,同比增长1 72%归母净
5月1日,生意社白卡纸基准价为4980 00元 吨,与上月初(5180 00元 吨)相比,下降了-3 86%。白卡纸年度统计(2022-05-01--202
第133届中国进出口商品交易会(以下简称“广交会”)第二期于4月23日开幕。本期展品以日用消费品、礼品...
2023年太原市事业单位公开招聘工作人员1400名。太原市人社局网站4月28日发布报名笔试公告,报考者可在5月6
1、文明与征服恐慌队是一个以北条为核心输出的阵容,在技能方面配合君士坦丁堡可以打出非常高的伤害,在前
1、可能以前联系人已经找到有缘人。2、所以注销了就找不到了。以上就是【实际禅寺,世纪查】相关内容。
您听说过“国际不打小孩日”吗?每年的4月30日都是“国际不打小孩日”也被称为“无巴掌日”这一天希望没...
精灵使dnf,dnf帮帮精灵这个很多人还不知道,现在让我们一起来看看吧!1、在中央公园或者魔界营地都可以进中
1、如果东西不是特别重要,同时体积还较大的话,最好寄存在朋友家里,或者不回家的同事那里。有人回家,自
【一季度业绩暴增!全面注册制下券商要“翻身”?】日前,A股50家证券公司业绩全部出炉,超九成2022年净...
金融界基金05月01日讯工银瑞信沪深300ETF基金04月28日上涨1 00%,现价4 226元,成交1257 71万元。当前本基
1、难友~~我女友上星期才做过,选择大医院,一般停经50天左右去做比较好,流的比较干净。2、停经是从最后一
Copyright © 2015-2022 国华娱乐网版权所有 备案号:京ICP备2021034106号-22 联系邮箱:55 16 53 8 @qq.com