有大模型领域的哥吗，目前在你们业界看来，大模型有“创造力”吗，还是一种更“高阶的检索”

人本身的创造力也是基于现有知识的衍生，大模型当然有创造力，而且比 99%的人类做的更好。
有个图片能很好的说明，博士水平才突出了人类知识的边界。


创造力的本质也是检索吧。。。

@dog82 其实就是这么回事，李宏毅网课开头就说了，neural networking 早就臭大街了，但是你要发论文要吃饭，那怎么办？咱们改个名字叫 deep learning 吧

不是检索呦，因为 ai 有时候会瞎编！

@catazshadow 人类也只是倒腾符号的机器

@shylockhg 这种说法忽略了脑子里比现在这种粗鄙的“神经网络”细节丰富的多的物理活动，是及其自大的

人类无法想象认知以外的事情。所以人类到底有没有创造力，还是东拼西凑的结果还犹未可知。

有没有创造力 这个还有争议，但偏向是有的

但可以确定的是 更“高阶的检索” 这个认知是错的

@windyCity1 目前的创造力可能在能独立制作出原创梗并在人类范围中流传的地步吧……
真正的创造力要突破人类认知边界，太难了……deepseek 的推理估计做不到，openai 的那个闭源，你不知道他怎么实现的，高阶模型也太贵评测太少，所以无法讨论。

@forgottencoast 感谢你让我知道了 Andrej ，他真的好可爱☺️

@superedlimited
我也是最近看别人介绍的才开始看他的讲座的。
薪火传递 :-)

@mumbler #48 有道理

大模型没有创造力，反证法：如果大模型具备创造力，那就让他设计更高效更智能的大模型，即使提升 1%，然后自己更新自己反复迭代，也就是超级人工智能。然而现在没有。
现在的大模型有两个致命缺陷：训练资料有限，以及无法增量学习新知识进行自我迭代。
训练资料有限很好理解，说下第二个，想想人类是怎么从无知到具备创造力的：实际是就是自我迭代，人的经历，见闻，主动被动的学习都是不断的自我迭代，只是速度很慢，可能你一周才学会一个物理定理，但跟大模型比就是吊打。因为大模型没法自我迭代，要想迭代就需要训练一个新的大模型。
然后说到创造力
技术上的创造其实就是三步：1. 持续学习+自我迭代 2. 更新对环境的认知，发现和解决问题 3. 回到第一步
文学艺术上的创造力：1. 对生活，对世界，对生命等等，的体验，经历和情感 2. 情感的表达 3. 情感的共鸣
以上的前提，大模型都不具备，所以那些说大模型有创造力的，先想想自己有没有创造力。。。。。
艺术领域大模型所谓的创造力：说个最有创造力的：写诗
如果有人说大模型写诗是创造力的表现，那我要笑了，初中的诗歌赏析还得结合历史背景，诗人的经历，当时的政治环境等等因素，不是景色写的美丽就是好诗，还需要写出忧国忧民，怀才不遇，壮志未踌等等。而大模型又没有人生经历，写出来的东西能使人共鸣吗
科学领域大模型最有创造力的：可能是分析蛋白质结构，纯苦力，其他的我实在没法想
比如万有引力的发现，有几个前提：1. 牛爵爷体重几十斤，自己能感受引力 2. 牛爵爷看到所有东西都会掉到地上，3. 牛爵爷研究搞出了牛逼的数学工具，提出了引力理论并用实验证明有效
更不用说后面的相对论，量子力学，各种场论了。
这些都是创造力的表现，目前的 AI 看不到一丁点可能达到那个水平。
创造力不是基于现有知识的衍生，而是学习现有知识+自我迭代+观察总结发现+好奇心等等因素，基于现有知识的叫改良优化，死读书的那种是没有创造力的，打个英雄联盟都会跟不上版本

@qingyingwan #73 强化学习就是半自动的自我迭代，像阿尔法狗后期就不用人类棋谱学习，完全用自我对弈数据学习就远远超过人类，现在大语言模型主流训练方法也都是用自己生产的合成数据，智力得到很大提升，而且没有远到天花板的迹象，这样一代代迭代下去，按这个速度预计最早 2027 年实现 AGI ，就可以实现全自动自我迭代了