实测Kimi探索版,是中国的o1大模型吗?
Kimi能降维打击现在的搜索?
国内大模型厂商们,最近都在迭代新玩意。
而相关进展大多都集中于多模态领域,其中,自年初Sora发布之后,国产文生视频大模型的进度一直受到关注。8月底,MiniMax公布了首个AI高清视频生成模型。在接下来的9月,豆包直接发布了两款视频生成大模型,并且得到了灰测用户的一致好评。而科大讯飞也宣布将于本月首次发布多模态视觉交互及超拟人虚拟人交互能力......
不过,在或深或浅地体验了这些新玩意之后,如果要让我挑出一个对日常的学习与工作最有实质性帮助的工具,却觉得不是这些文生视频的大模型或者其他,而是刚刚面世的Kimi探索版。
作为在一定程度上想要对标OpenAI拥有“推理时计算”能力 o1 的国内产品,据官方介绍,Kimi探索版可以模拟人类的推理思考全过程、执行深度搜索并反思改进结果,来提供更加全面和准确的答案。
而Kimi 探索版产品负责人甚至“夸下海口”——“如果Kimi搜不到的信息,那大概率用户也很难自己通过传统搜索引擎找到。”
那么,Kimi探索版同当前国内的其他大模型应用在技术上有什么区别?在实测中的表现是否会像负责人说的那样强大?又会对国内的AI搜索与大模型发展方向造成什么样的影响呢?
01
Kimi探索版,真有国产o1的潜质
先看官方给出的定义,Kimi探索版是一个“具备AI自主搜索能力,可以模拟人类的推理思考过程,多级分解复杂问题,执行深度搜索,并即时反思改进结果,提供更全面和准确的答案,帮助你更高效地完成分析调研等复杂任务”的好帮手。
其中“模拟人类的推理思考过程”“即时反思改进结果”,是不是就和一个月之前OpenAI o1模型“模仿人类系统2思考,在推理时计算更加缓慢和深入,更能够突破复杂的逻辑性问题”有着异曲同工之妙?
在定义上的几乎相同之外,Kimi官方提到其能实现如此结果所依仗的第一条就是“自主规划策略,步步为营”,具体来看,就是Kimi探索版会将复杂问题分解为层次化的子问题,然后分步来执行。
这,也同伦敦大学学院(UCL)人工智能中心汪军教授认为o1所采用的马尔可夫决策过程一模一样。
图源:机器之心
其实,至此我们大概也就能明了,Kimi探索版就像国产版的o1,拥有像人类一样深度思考的能力,更适合那些需要多步推算判断才能得到最终答案的问题。
既然有了方向,那就去看看Kimi探索版的表现如何吧。
在勾选Kimi探索版之后,我给出我的问题——“假设我在2024年9月2日有100000元,对比一下截至9月30日,购买腾讯港股和购买贵州茅台哪个方案的收益率更高?具体收益额会高出多少?”
用人的直觉来拆解,其实就是查询腾讯和贵州茅台分别在9月2日和9月30日两个时间的股价,进行收益率比较,并且代入最初的本金计算出具体的收益额。
而Kimi探索版的思考过程也确实如此,将这个问题分为了①查询——查询两个时间点上两只股票的价格②计算——计算各自收益率③结论——给出购买贵州茅台收益率更高的结论,并输出具体高出的收益额有多少。
这个简单的问题其实就体现了Kimi探索版的不同,其会将一个相对复杂的问题进行像人一样的拆分思考,最终给出答案。此外,官方给出的“标注三国战役地点,对应现代城市和地区”的示例问题,也很好地体现了这一点。
更令人惊喜的是,在输出相关的结果之后,Kimi探索版还有着即时反思搜索结果,补充信息的能力。
据官方表示,就像人一样,Kimi探索版可以借助反思能力,来提升和改进回答的质量。面对开放探索型问题,Kimi 探索版发现第一次回答的信息存在缺失,会主动补充回答更多。面对数字相关的搜索问题,Kimi 了解更多信息后如果发现了数据冲突,则会及时补充提供多方视角的信息供参考决策。
而在刚刚的“三国”问题上,Kimi探索版也同样给出了“反思”的栏目,在最初给出答案的基础上再次增添了三个,也是我首个见到有该功能的大模型应用。
02
探索版仍有不足,但未来有望补缺
虽然Kimi探索版有着不少的突破,但其也存在不少需要被正视的问题。
其中之一就是官方夸下“自动化大规模信息检索,穷尽海量权威信源”的海口了。在推送中,官方表示“Kimi 探索版则可以一次并行搜索几十个不同的关键词,筛选和阅读几百个权威的信息源”,而一些博主的测试中,也显示Kimi探索版会同时搜索数百个网页的信息。
但是,回到“标注三国战役地点,对应现代城市和地区”这个示例问题上来,有的博主在搜索过程中就会出现阅读134个网页的情况,而我在亲身体验中则只能搜索49个网页的资料,得出的结果也有所不同。那位博主的答案不出所料地比我更加全面。
面对这样的情况,我不禁想发出疑问,同样的问题、不同的检索范围、不同的结果,究竟是技术、所处环境的问题还是算力的问题?毕竟OpenAI的o1计算时的所需成本,可不是一个小数字。
之后官方也对我的疑问进行了回答,表示无论显示的阅读网页数量是多少,相同问题给出的答案都是一样的、没有区别。但这样来说,究竟是我的Kimi探索版谦虚了,还是其他大V博主的Kimi探索版略有不实呢?
而在这个相对来说有些“无关痛痒”的问题外,Kimi探索版还是有着其他大模型无法解决的问题。
在我问及“1到100之间奇数的英文单词有多少个字母‘e’”的问题的时候,虽然Kimi表现出了较强的逻辑性,但在具体的数“e”上却翻了车——以图上红框内的英文数字为例,thirty-one中明明只有一个“e”,但Kimi探索版却给出了错误的回答。
此外,还有之前大模型会出现幻觉和出现错误的问题,Kimi探索版也同样掉进了坑里。其实这也就意味着Kimi只是在“思考”方法上进行了改变,“思考”的能力并没有提升,这或许也是月之暗面将其定义为“搜索版”的主要原因吧。
不过,这些也并不影响Kimi探索版出现的意义。
还记得在不到一年之前,某几家大模型厂商,还在疯狂输出商业合作给各个宣传口,告诉大家“如何调整提示词大模型才能输出给你想要的结果”、“要在调整提示词后和大模型进行多轮对话,一步步引导大模型跟随你的思考路径给出答案”。
而如何解决这个问题,让大家不再被繁琐的提示词困扰,正是这次Kimi探索版的意义所在。
正如官方所说,Kimi探索版希望帮助用户节省花在搜索调研任务上的时间,让大家可以有更多时间专注于提出问题、思考和创造。不过,截至目前每个账号每天只有5次提问机会,想要用作生产力还是有些距离,不过月之暗面也回应了我对未来使用次数是否会增加——“后续根据用户的使用情况会考虑逐步增加,给用户更好的体验”,就让我们一起期待吧。
此外,如果将其当作一个纯搜索引擎的话,Kimi探索版的表现也远远超过市面上的主流搜索引擎,毕竟与其在几秒钟得到一个不一定正确且解释乱七八糟的结果,我更希望它可以多花点时间好好想想,给我一个高质量的结果。
参考资料:
1.《懂股票、爱计划,体验完Kimi探索版我回不去了。》,差评X.PIN;
2.《kimi探索版提前体验,有点儿强~》,CC的个人笔记;
3.《迟来了1个月,但Kimi的慢思考似乎比OpenAl更有用》,阿虚同学;
4.《一文看懂LLM推理,UCL汪军教授解读OpenAI ο1的相关方法》,机器之心。
作者:杨启隆
编辑:丁力