实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子

盼星星,盼月亮。

终于盼到了OpenAI的AI搜索SearchGPT的体验资格了。

一周期,SearchGPT在跳票了将近3个月之后,终于被正式官宣了。

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-2

我也是在看到的第一时间,申请了内测资格。

OpenAI说,会在大概一周的时间里,逐步开放给大家。

于是,我也在苦苦的等了一周以后,终于,发现自己。

还是没等到。

毕竟我特娘的,在OpenAI的各种内测里,永远是最后一批。

但是,那首Rap怎么唱的来着,XX就是兄弟多?。。。我虽然没拿到,但是我的好朋友 @毅恒 拿到资格了呀,在知道消息的第一时间,我就去恬不知耻的找他借号了。

他也很痛快,直接给我发了一串字母。

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-3

唯有感动。

在拿到号的那一瞬间,我就沐浴更衣,登上了他的号,进入了那个期待已久的, SearchGPT。

网址在此:https://chatgpt.com/search,如果没有排队的朋友,也可以第一时间去排队一下。

一进来,就是一个极度简洁的巨大的搜索框。

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-4

右上角有个小彩蛋,一个小按钮。

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-5

翻译过来的意思就是, 设为默认搜索引擎 。

这明晃晃的,就是要抢Google的饭碗嘛。

我们在搜索框里,随便输入一个问题。

“2024年巴黎奥运会,截止北京时间2024年8月2日0点,中国队的奖牌数量?”

这个对于实时性要求极高,对数据溯源的要求也极高,如果你去拆关键词,搜很多的新闻报告,大概率就会错,你必须理解这个问题,真的去巴黎官网搜,去央视奖牌榜,或者一些三方的实时更新的榜单搜,才可能会对。

我先把这个问题的正确答案公布出来, 截止到8月2号0点,总奖牌数是 21枚 ,11金7银3铜,奖牌榜第一。

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-6

奖牌榜上实时数据虽然是22枚,但是有一铜其实是0点以后拿的,所以不算,正确答案是21枚。

我们先看一下其他AI搜索产品的情况。

Perplexity,直接躺平,6枚,咋地,你跟我这虚空吞金牌呢?

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-7

秘塔AI搜索,抓了8月1号早上8点38的新闻,然后非常确凿的说是19枚。

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-8

浓眉大眼的360AI搜索,也答错了,但是哥们好在知道自己没抓到最新数据,知道只抓到1号早上9点的数据,所以抱歉了,虽然答错,但是没有出现幻觉。

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-9

最后,我们再来看看 SearchGPT。

直接从奥运会官网抓的数据,完美正确。

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-10

而点进去参考链接,我才赫然发现,人官网明明写的是: 22枚。

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-11

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-12

我在这两个网页所有地方,都没有看到一个21这个数字。

我都懵逼了,我真的不知道, SearchGPT是如何如何判断时间,避开数字陷阱,得到了这个神乎其神的回答。

于是,我就追问了他一下: “ 你的这个21枚数据,是从哪得来的,请给我明确的信息源,和引用段落 ”

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-13

而 SearchGPT,居然开始,已读乱回。

我心里隐隐有一种,不好的预感。

于是,我就把问题改了一下,改成了 “2024年巴黎奥运会,截止北京时间2024年8月2日1点,中国队的奖牌数量?”

这道题的答案,想必朋友们都知道了,是22枚。

而看到SearchGPT回答的那一刻,我心中千万只草泥马翻腾而过。

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-14

此时, SearchGPT被Perplexity附身。

我又换了一种问法,我再问: “2024年巴黎奥运会,截止目前最新时间,中国队的奖牌数量是多少?”

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-15

19枚...终于跟秘塔AI搜索同源了,答案质量上,还不如360AI搜索,人家至少还会反思。

所以这个小实验发现,8月2号0点那个21枚出神入化的精准回答,根本不是 SearchGPT多牛逼,而是单纯的。

瞎猫碰到死耗子,纯种的巧合。

心中瞬间对 SearchGPT完成了祛魅。

当然,这个问题,毕竟是难倒所有AI搜索的杀手锏,大家都躺,你 SearchGPT躺了也不算啥。

也不能这一个问题,就一棒子把SearchGPT打死不是。

我又问了其他一些问题。

比如 “ 中国经济特区有哪些 ”, SearchGPT又G了。

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-16

答案明明是7个,却只给我回答了5个。

又比如经典问题, “9.11和9.8谁更大”

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-17

直接原地翻车。

不是哥们,你左边明明有这么多的链接,你就不能参考一下吗,非一个不用,直接用自己的模型能力进行回答。。。

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-18

然后我又问: “ 苹果iOS18最新的AI功能有什么 ”, 不是哥们,我用中文问问题的,咱就是说,咱能翻译一下再给我回答吗。。。

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-19

比如我又问: “24年有关LLM Agent的论文”。

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-20

咱就是说,搜论文其实完全可以学一下人家,咱去arxiv来搜嘛,咱没必要引用机器之心的文章你说对不= =

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-21

再问: “ 给我推荐现在中国比较著名的精品咖啡 ”

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-22

行吧,你推荐了瑞星,我们就是好兄弟。

整体而言,说句实在话,SearchGPT这玩意。

都不是瑕不掩瑜,是有点瑕瑜互见,甚至瑜不掩瑕的意思。

翻下了X,发现拿到资格的,对 SearchGPT评价也不是很高。

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-23

如果硬要我对SearchGPT这玩意做个总结的话,我可能会这么评价:

优点:

界面简洁,用户体验舒适;

抓取的信息来源质量较高,基本是权威媒体或官方信息源;

回答得直接,废话少;

卡片生态做的挺丰富的,但是大部分都是国外的;

可以追问;

缺点:

有些时候只能回复英文答案;

一些情况下对中文语义理解能力不够;

准确性着实一般,有时候搜到了东西但是不调用,相信自己的模型内部知识。

在时间维度上的信息理解和信息抓取能力存在不足,不过这是通病了;

用户体验不够丰富,没有脑图、ppt之类的(maybe也算是简洁的优点?)

当然,为了大概了解几个主流的原生AI搜索产品的一些能力,我们也跟AI视频、AI绘图、AI PPT等等一样,会做一个全面的评测。

测试的维度包括:实时性、准确性、语义理解、中国特色数据、来源多样性。当然这是我自己瞎总结的野鸡维度,仅给我自己做参考用。

实测完OpenAI的SearchGPT我发现它有点不太聪明的亚子-24

不过表格没做完。

所以,后面做完了,我会再单独写一期。

AI搜索产品的全面评测。

希望可以给大家带来一些帮助。

以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。

>/ 作者:卡兹克、稳稳、小瑞

>/ 投稿或爆料,请联系邮箱:wzglyay@gmail.com

预览时标签不可点

阅读

微信扫一扫关注该公众号

知道了

微信扫一扫使用小程序

取消 允许

取消 允许

取消 允许

×

分析

微信扫一扫可打开此内容,使用完整服务

: , , , , , , , , , , , , 。 视频 小程序 赞 ,轻点两下取消赞 在看 ,轻点两下取消在看 分享 留言 收藏 听过

THE END
分享
二维码
< <上一篇
下一篇>>