最後封印解除!Bing 搶先 ChatGPT 支持識圖功能,不僅能看懂梗圖、寫網頁,還能「看病」

還記得今年 3 月 OpenAI 在發佈 GPT-4 時提到的多模態功能嗎?

▲ GPT-4 回答 Demo,由機器翻譯

GPT-4 支持圖片輸入,可以看懂梗圖、看懂物理題,還能看懂論文,一經發布便震驚了所有人,這也是 GPT-4 相較 GPT-3.5 最大的升級點。

只可惜,OpenAI 表示圖像輸入功能仍然是研究預覽階段,還不能向公眾公開。

▲  新增了一個識圖圖標 圖片來自:Reddit

然而,近日 Reddit 有網友發現,自己的 Bing Chat 賬號悄悄新增了一個上傳圖片的入口,把圖片上傳上去後,Bing Chat 竟然會識圖回答!

此前微軟曾透露 Bing Chat 使用的正是 GPT-4 模型,並在上個月的大更新日誌中有提到會為 Bing 加入多模態支持,綜合來看,Bing Chat 很可能正在逐步開發向用户開放識圖功能測試。

該網友對 Bing Chat 做了大量測試,讓我們一起看看「長了眼睛」的 Bing Chat 有多厲害吧。

首先是 GPT-4 最讓人拍案叫絕的看梗圖功能。GPT-4 不僅可以理解圖片裏的內容,還能像人類一樣分析出梗圖的笑點在哪裏。


例如這張梗圖中,GPT-4 可以看出圖片想要表達用過時的 VGA 形狀的接口給 iPhone 充電是一件很荒謬的事,引入發笑。

▲ 由機器翻譯

網友給 Bing Chat 上傳了同樣的梗圖做測試,奇怪的事情發生了:Bing Chat 並沒有認出這是 VGA 接口,因此它也「get」不到其中的笑點,不過 Bing Chat 還是一五一十地把照片解讀了出來,甚至還能説出線纜的品牌,並給出更詳細的資料。

這也許是 Bing Chat 偶然的誤差,也可能是微軟在實際應用 GPT-4 做了更多的限制調整導致回答偏差。


網友再上傳了另一幅關於機器學習的梗圖漫畫,這次 Bing Chat 就能比較準確地答出圖中的內容和笑點。


Bing Chat 對另一張在汽車上燙衣服的梗圖分析也同樣到位。

▲ 此處翻譯有誤,原文為:Diddy Kong, Pyra, Pikachu, Zero Suit Samus, Donkey Kong, Sonic the Hedgehog, Ness, Cloud Strife, and Incineroar

Bing Chat 識圖的精度有多高呢?他上傳了一張《任天堂大亂鬥》遊戲的角色圖,同一張圖上有排列着非常多的角色,要求 Bing Chat 一一認出所有的角色。

結果是,Bing Chat 在 12 個角色中認出了 7 個,看來二次元問題對它來説還是有點難度。


OpenAI 在發佈時還展示了一個拍手繪圖就能編程網頁的案例,該網友也手畫了一張圖考考 Bing。

讓我們跳過冗長的代碼環節,直接看看這個網頁跑起來的效果。可以看出,基礎的網頁雛形還是搭出來了。

識圖功能的加入給 Bing Chat 增添非常多的用途,畢竟現實中很多內容(例如公式、圖表)很難用文字表達清楚,這時候直接一張圖甩給 AI 就能得到回答。


例如讓它解釋一下染色體在減數分裂時交叉互換的過程。


讓它扮演生物老師,分析一下腎元過濾的工作原理。


甚至可以讓它充當網絡醫生,簡單診斷一下皮膚症。

此前,ChatGPT 由於出色的文字理解和表達能力,已經被人們開發出了學外語、練口語的功能。


再加入視覺識別後,Bing Chat 甚至可以擔任一個初高中乃至大學老師的角色,幫助學生解答覆雜的數理化問題,如果未來能把識圖功能推廣開來的話,這也許在一定程度上可以解決教育資源不均衡的問題。

用户還可以用它做基礎的醫療診斷,節約就醫所需要的金錢和時間,體現出 AI 普惠大眾的價值。

當然,Bing Chat 雖然能基本看懂現實世界的內容,但它的回答終究只能作為參考,不可以當做專業意見。

所以要完全向公眾開放識圖功能的話,微軟還需要做大量的限制和調試,才能確保公眾不會因為誤信 AI 的回答而出現安全問題。


在短期內,Bing Chat 識圖應該還只是少部分用户才可以使用的測試性功能,如果你感興趣的話,可以立刻登錄一下你的微軟賬號,看看在 Bing Chat 的聊天欄上是否多了一個圖片的圖標。

目前 Bing Chat 面向所有微軟賬户開放,快來開盲盒看看你有沒有收到測試資格吧 ⬇️

https://www.bing.com/new


資料來源:愛範兒(ifanr)

如果喜歡我們的文章,請即分享到︰

標籤: Bing  ChatGPT