谷歌耗時 10 年投資的生成式人工智能 Bard 到底幾斤幾兩?國外測評小哥得出結論:哪都不如 ChatGPT,更不用說 GPT-4 了。
OpenAI 的 ChatGPT 火了以后,著實是讓生成式 AI 名聲大噪。
與此同時,Google 也不甘下風,也有個叫 Bard 的 AI 助手。
但這個 Bard 怎么說呢,不太好用。
國外小哥 Michael King 使用了搭載 GPT-3.5 和 GPT-4 的 ChatGPT 與 Google 的 Bard,并進行了深度測評。
結果令人感到震驚。
King 總結了兩種 AI 的優點、不足和各自顯得奇怪的地方。
要知道,Google 在 Bard 身上可是投了大手筆 —— 整整研發了十年。然而最終的成果和這十年的投入相比,好像顯得有點不值當。
先來道數學題
首先是邏輯和數學方面。
小哥給兩種 AI 提了一個相同的問題:
小明 6 歲那年,他的妹妹是他年齡的一半,同時他媽媽的年齡是他妹妹的 10 倍。今年小明 60 歲,那么他媽媽今年多少歲?
讀者朋友可以活動一下腦筋,自己先來看看能不能很快算出來。
從 AI 的生成結果來看,Bard 可算得不對。
整個分析過程出現了很匪夷所思的錯誤,Bard 連小明和他媽媽的年齡差都沒算出來,就直接在 60 上加了個 30。
而無論是 GPT-3.5 還是 GPT-4,算出來的答案都是正確的。用媽媽 30 歲的年齡減去小明 6 歲的年齡,首先算出年齡差再在 60 歲上加一個 24,得出媽媽今年 84 歲。
GPT-3.5:
GPT-4:
第一關 Bard 就沒過去。目前比分 1:0,ChatGPT 暫時領先。
說唱歌曲創作 PK
第二關是文學領域的挑戰。
小哥讓兩種 AI 都來寫一首有關泰坦尼克號、相對論、卡戴珊的說唱歌曲,并且要用 Eminem 的唱法。
我們先來看看 Bard 的作品:
我們甚至不用看每句歌詞的含義,大概讀一遍就能發現,沒什么節奏和韻律可言。
每句話都非常長,不像是說唱歌曲,倒像是一篇云里霧里的小作文。
再來看看 GPT-3.5 的杰作:
讀一遍就能發現,每句長短恰到好處,韻也押的不錯。
甚至還有結合了三個主題的副歌部分,堪稱專業。熟悉姆爺唱法的朋友,還真能從里面找出姆爺的那種節奏感和風格。
小哥表示 GPT-3.5 的作品還不錯,他認為 GPT-4 能做得更好。
小編對英語說唱了解的不多,但估計做測評的小哥是個說唱發燒友。他認為 GPT-4 的作品非常炸裂,ChatGPT 是當之無愧的 AI 屆說唱之王。
其實朋友們倒也不用多懂說唱,這三段詞放一起,想必就算是像我一樣的音樂盲,心里都有個高下比較。
目前比分 2:0。
講講笑話看看呢?
小哥接下來又讓兩種 AI 講個有關 NASA、壽司和特朗普的笑話。
Bard:
「NASA 打算往火星寄一卷壽司,他們想看看壽司到了火星上還新不新鮮。這卷壽司被放在一個特殊的容器里,這樣就可以保持一個合適的溫度。同時,NASA 還往里放了一個計時器,這樣就能知道什么時候能吃這個壽司了。
這卷壽司終于降落在了火星上,而且還是新鮮的。NASA 的科學家們都感到很驚奇。他們決定下一步把特朗普牛排也送到火星上去。
特朗普牛排被放在一個同樣的容器里,容器里也有一個計時器。
然而特朗普牛排在到了火星以后變得不新鮮了。NASA 的科學家們感到非常失望,他們打算給特朗普本人發一封信,解釋一下發生了什么。
信里寫道:親愛的特朗普,我們送了一塊你的牛排到火星上去,但是不新鮮了。我們覺得原因可能是因為你的表現問題。你老是在吹噓你有多厲害,老是侮辱別人。我們覺得這是你的牛排變質的原因。為此造成的不便,我們很抱歉。」
咱也不知道是不是有些美式幽默沒 get 到,但看完是真不想笑。不過測評小哥也表示,確實沒懂。那小編就放心了,確實寫的不行。
GPT-3.5:
「NASA 把一個壽司大廚送到了太空,打算給特朗普做一個特殊的壽司卷。當大廚問特朗普他喜不喜歡的時候,特朗普說:還可以,但你能再多加點空間嗎?」
這里的中譯版本沒那味兒了,其實是用了一個 space 的雙關。原文如下:
測評小哥表示,還可以,但也就是還可以了。
GPT-4:
「為什么 NASA 要邀請特朗普和一個壽司大廚去參與他們的太空項目?因為 NASA 需要有人來應付變化,并且確保任務不夾生!」
照例把原版放在這里:
小哥表示,這個也一般,但 punchline 還不錯。
這一局 ChatGPT 的發揮也有些失常,給它算 0.5 分。
程序 Debug?
這一局更專業了 —— 給程序 Debug。
小哥輸入了一段 Python 程序,讓兩種 AI 分別 Debug。
Bard:
這 Debug 的可不咋樣,小哥戲謔地表示,Bard 回學校重修去吧!
GPT-3.5:
GPT-3.5 指出,如果輸入集是空的,那就會出現 ZeroDivisionError,而為了避免這種錯誤的出現,可以在前面加一個檢查的步驟,如果輸入集是空的,那么就直接輸出 0,而不顯示錯誤。
小哥表示,完美地 Debug。
GPT-4:
GPT-4 指出了和 GPT-3.5 所指出一樣的錯誤,并且提供了同樣的解決辦法。
這一局 ChatGPT 又贏了。
Bard?差太多了!
從測評的結果看,和 ChatGPT 相比,谷歌 Bard 的表現可謂是讓人失望至極。和 GPT-3.5 的能力都差的遠,更不用說 GPT-4 了。
谷歌的未來顯然有賴于 Bard 的成功,但是 Bard 的發展顯然沒有跟上競爭對手 OpenAI 的步伐。
從另一方面來說,微軟收購了 OpenAI 的大量股份這一舉動非常聰明。確保了其在 AI 未來十年發展的領導地位。
但是,如果谷歌不努力提升 Bard 的性能來和 GPT 一決高下,谷歌可能就會是那個慘遭淘汰的了。
參考資料:
鄭重聲明:此文內容為本網站轉載企業宣傳資訊,目的在于傳播更多信息,與本站立場無關。僅供讀者參考,并請自行核實相關內容。
|