最後封印解除!Bing 搶先 ChatGPT 支持識圖功能,不僅能看懂梗圖、寫網頁,還能「看病」
還記得今年 3 月 OpenAI 在發佈 GPT-4 時提到的多模態功能嗎?
▲ GPT-4 回答 Demo,由機器翻譯
GPT-4 支持圖片輸入,可以看懂梗圖、看懂物理題,還能看懂論文,一經發布便震驚了所有人,這也是 GPT-4 相較 GPT-3.5 最大的升級點。
只可惜,OpenAI 表示圖像輸入功能仍然是研究預覽階段,還不能向公眾公開。
▲ 新增了一個識圖圖標 圖片來自:Reddit
然而,近日 Reddit 有網友發現,自己的 Bing Chat 賬號悄悄新增了一個上傳圖片的入口,把圖片上傳上去後,Bing Chat 竟然會識圖回答!
此前微軟曾透露 Bing Chat 使用的正是 GPT-4 模型,並在上個月的大更新日誌中有提到會為 Bing 加入多模態支持,綜合來看,Bing Chat 很可能正在逐步開發向用户開放識圖功能測試。
該網友對 Bing Chat 做了大量測試,讓我們一起看看「長了眼睛」的 Bing Chat 有多厲害吧。
首先是 GPT-4 最讓人拍案叫絕的看梗圖功能。GPT-4 不僅可以理解圖片裏的內容,還能像人類一樣分析出梗圖的笑點在哪裏。
例如這張梗圖中,GPT-4 可以看出圖片想要表達用過時的 VGA 形狀的接口給 iPhone 充電是一件很荒謬的事,引入發笑。
▲ 由機器翻譯
網友給 Bing Chat 上傳了同樣的梗圖做測試,奇怪的事情發生了:Bing Chat 並沒有認出這是 VGA 接口,因此它也「get」不到其中的笑點,不過 Bing Chat 還是一五一十地把照片解讀了出來,甚至還能説出線纜的品牌,並給出更詳細的資料。
這也許是 Bing Chat 偶然的誤差,也可能是微軟在實際應用 GPT-4 做了更多的限制調整導致回答偏差。
網友再上傳了另一幅關於機器學習的梗圖漫畫,這次 Bing Chat 就能比較準確地答出圖中的內容和笑點。
Bing Chat 對另一張在汽車上燙衣服的梗圖分析也同樣到位。
▲ 此處翻譯有誤,原文為:Diddy Kong, Pyra, Pikachu, Zero Suit Samus, Donkey Kong, Sonic the Hedgehog, Ness, Cloud Strife, and Incineroar
Bing Chat 識圖的精度有多高呢?他上傳了一張《任天堂大亂鬥》遊戲的角色圖,同一張圖上有排列着非常多的角色,要求 Bing Chat 一一認出所有的角色。
結果是,Bing Chat 在 12 個角色中認出了 7 個,看來二次元問題對它來説還是有點難度。
OpenAI 在發佈時還展示了一個拍手繪圖就能編程網頁的案例,該網友也手畫了一張圖考考 Bing。
讓我們跳過冗長的代碼環節,直接看看這個網頁跑起來的效果。可以看出,基礎的網頁雛形還是搭出來了。
識圖功能的加入給 Bing Chat 增添非常多的用途,畢竟現實中很多內容(例如公式、圖表)很難用文字表達清楚,這時候直接一張圖甩給 AI 就能得到回答。
例如讓它解釋一下染色體在減數分裂時交叉互換的過程。
讓它扮演生物老師,分析一下腎元過濾的工作原理。
甚至可以讓它充當網絡醫生,簡單診斷一下皮膚症。
此前,ChatGPT 由於出色的文字理解和表達能力,已經被人們開發出了學外語、練口語的功能。
再加入視覺識別後,Bing Chat 甚至可以擔任一個初高中乃至大學老師的角色,幫助學生解答覆雜的數理化問題,如果未來能把識圖功能推廣開來的話,這也許在一定程度上可以解決教育資源不均衡的問題。
用户還可以用它做基礎的醫療診斷,節約就醫所需要的金錢和時間,體現出 AI 普惠大眾的價值。
當然,Bing Chat 雖然能基本看懂現實世界的內容,但它的回答終究只能作為參考,不可以當做專業意見。
所以要完全向公眾開放識圖功能的話,微軟還需要做大量的限制和調試,才能確保公眾不會因為誤信 AI 的回答而出現安全問題。
在短期內,Bing Chat 識圖應該還只是少部分用户才可以使用的測試性功能,如果你感興趣的話,可以立刻登錄一下你的微軟賬號,看看在 Bing Chat 的聊天欄上是否多了一個圖片的圖標。
目前 Bing Chat 面向所有微軟賬户開放,快來開盲盒看看你有沒有收到測試資格吧 ⬇️
https://www.bing.com/new
資料來源:愛範兒(ifanr)
▲ GPT-4 回答 Demo,由機器翻譯
GPT-4 支持圖片輸入,可以看懂梗圖、看懂物理題,還能看懂論文,一經發布便震驚了所有人,這也是 GPT-4 相較 GPT-3.5 最大的升級點。
只可惜,OpenAI 表示圖像輸入功能仍然是研究預覽階段,還不能向公眾公開。
▲ 新增了一個識圖圖標 圖片來自:Reddit
然而,近日 Reddit 有網友發現,自己的 Bing Chat 賬號悄悄新增了一個上傳圖片的入口,把圖片上傳上去後,Bing Chat 竟然會識圖回答!
此前微軟曾透露 Bing Chat 使用的正是 GPT-4 模型,並在上個月的大更新日誌中有提到會為 Bing 加入多模態支持,綜合來看,Bing Chat 很可能正在逐步開發向用户開放識圖功能測試。
該網友對 Bing Chat 做了大量測試,讓我們一起看看「長了眼睛」的 Bing Chat 有多厲害吧。
首先是 GPT-4 最讓人拍案叫絕的看梗圖功能。GPT-4 不僅可以理解圖片裏的內容,還能像人類一樣分析出梗圖的笑點在哪裏。
例如這張梗圖中,GPT-4 可以看出圖片想要表達用過時的 VGA 形狀的接口給 iPhone 充電是一件很荒謬的事,引入發笑。
▲ 由機器翻譯
網友給 Bing Chat 上傳了同樣的梗圖做測試,奇怪的事情發生了:Bing Chat 並沒有認出這是 VGA 接口,因此它也「get」不到其中的笑點,不過 Bing Chat 還是一五一十地把照片解讀了出來,甚至還能説出線纜的品牌,並給出更詳細的資料。
這也許是 Bing Chat 偶然的誤差,也可能是微軟在實際應用 GPT-4 做了更多的限制調整導致回答偏差。
網友再上傳了另一幅關於機器學習的梗圖漫畫,這次 Bing Chat 就能比較準確地答出圖中的內容和笑點。
Bing Chat 對另一張在汽車上燙衣服的梗圖分析也同樣到位。
▲ 此處翻譯有誤,原文為:Diddy Kong, Pyra, Pikachu, Zero Suit Samus, Donkey Kong, Sonic the Hedgehog, Ness, Cloud Strife, and Incineroar
Bing Chat 識圖的精度有多高呢?他上傳了一張《任天堂大亂鬥》遊戲的角色圖,同一張圖上有排列着非常多的角色,要求 Bing Chat 一一認出所有的角色。
結果是,Bing Chat 在 12 個角色中認出了 7 個,看來二次元問題對它來説還是有點難度。
OpenAI 在發佈時還展示了一個拍手繪圖就能編程網頁的案例,該網友也手畫了一張圖考考 Bing。
讓我們跳過冗長的代碼環節,直接看看這個網頁跑起來的效果。可以看出,基礎的網頁雛形還是搭出來了。
識圖功能的加入給 Bing Chat 增添非常多的用途,畢竟現實中很多內容(例如公式、圖表)很難用文字表達清楚,這時候直接一張圖甩給 AI 就能得到回答。
例如讓它解釋一下染色體在減數分裂時交叉互換的過程。
讓它扮演生物老師,分析一下腎元過濾的工作原理。
甚至可以讓它充當網絡醫生,簡單診斷一下皮膚症。
此前,ChatGPT 由於出色的文字理解和表達能力,已經被人們開發出了學外語、練口語的功能。
再加入視覺識別後,Bing Chat 甚至可以擔任一個初高中乃至大學老師的角色,幫助學生解答覆雜的數理化問題,如果未來能把識圖功能推廣開來的話,這也許在一定程度上可以解決教育資源不均衡的問題。
用户還可以用它做基礎的醫療診斷,節約就醫所需要的金錢和時間,體現出 AI 普惠大眾的價值。
當然,Bing Chat 雖然能基本看懂現實世界的內容,但它的回答終究只能作為參考,不可以當做專業意見。
所以要完全向公眾開放識圖功能的話,微軟還需要做大量的限制和調試,才能確保公眾不會因為誤信 AI 的回答而出現安全問題。
在短期內,Bing Chat 識圖應該還只是少部分用户才可以使用的測試性功能,如果你感興趣的話,可以立刻登錄一下你的微軟賬號,看看在 Bing Chat 的聊天欄上是否多了一個圖片的圖標。
目前 Bing Chat 面向所有微軟賬户開放,快來開盲盒看看你有沒有收到測試資格吧 ⬇️
https://www.bing.com/new
資料來源:愛範兒(ifanr)