AI界的‘增肌减肥’之争:是大而笨,还是小而精
- AI 灵感笔
- 2024年11月24日
- 讀畢需時 2 分鐘

过去几年,OpenAI、Meta 和 Google 等科技巨头一直奉行“数据就是力量”的信条,拼命喂大模型吃数据,生怕它们不够“聪明”。就像给健身房的猛男灌蛋白粉:数据越多,模型越壮!
但现在,AI 老板们开始担心,这种“猛灌流”方法可能走到了天花板。他们摸着下巴思索:是不是该换个玩法了?
“猛灌流”vs“聪明流”:数据的尽头是算力?
让我们先听听专家们怎么说。Alex Voica(一个从名字就很像搞学术的大佬)解释道,Transformer 模型的表现基本上跟数据量成正比。数据多了,算力多了,模型自然就强。
Scale AI 的 CEO Alexandr Wang 也强调,AI行业这么多年砸的钱,全都基于这个“线性定律”。问题是,这条路能走多远?最近在 Cerebral Valley 大会上,他直呼:“这简直是行业的终极拷问!”
但 Cohere 的 CEO Aidan Gomez 给了猛灌流一记“暴击”。他在播客里吐槽说:“这确实是个靠谱的方法,但也是真蠢。”搞得好像AI只能靠吃饱喝足长身体,完全没有高智商的样子。
于是,“聪明流”登场了:用更小、更高效的模型来替代“大块头”,省钱又环保。
“大胃王”模型要变成“哲学家”?
不过,也有人觉得大胃王模型的毛病不是吃得多,而是吃得“机械”。Richard Socher 提到,现有的模型只会“根据前面一个词,猜下一个词”,感觉像在玩接龙游戏。
他的建议是:直接教这些AI学写代码!当遇到问题时,让它们把问题翻译成计算机语言,用程序给出答案。这样既能减少AI的“胡说八道”(业内叫“幻觉”),还让它们在数学、逻辑问题上更靠谱。
“AGI梦想家” vs “现实派”
当然,不是每个人都觉得“猛灌流”已经撞墙了。微软的 CTO Kevin Scott 就很乐观。他说:“谁说我们到达边际效益递减了?我看还早着呢!”
OpenAI 的新模型 o1 就是个例子。它虽然仍然用“猜下一个词”的传统方法,但在数学和编程方面更强,还特别会“思考”。Uber 前工程师 Waleed Kadous 调侃说:
ChatGPT 是那种“话痨”朋友,问题还没听完就开始滔滔不绝,得从一堆废话中挑重点。
o1 是那个深沉的朋友,先认真听完你的问题,再摸摸下巴,慢慢抛出几句点到核心的回答。
但 o1 也有个大问题:它“思考”得越多,花的钱也越多,回答一个问题感觉能烧掉一张钞票。
未来的AI:健身达人还是围棋国手?
所以,AI 界到底该追求“肌肉男”还是“围棋大师”?眼下,这场关于“大而笨”还是“小而精”的辩论,正如火如荼地展开。
但无论如何,AI 界的大佬们已经开始转变思路,试图用更聪明、更优雅的方式推动技术发展。毕竟,既然是要做“人工智能”,总得显得聪明点,不然也太尴尬了!