DALL·E 3 推理能力爆炸提升，OpenAI 搶跑「ChatGPT 原生」
時隔一年半，OpenAI 直接玩了一個大的，把文生圖和 ChatGPT 做了結合，帶著最新版本 DALL·E 3 來了。
DALL·E 3 的巨大飛躍主要體現在兩大方面。
第一，只需要提示詞，ChatGPT 可自動對詞語進行拓展，大大弱化了提示工程的約束，產生圖畫細節更多、描述更精準。
第二，Chat GPT 原生，模型在理解使用者指令及將文字轉換為圖片的能力增加了。 OpenAI 表示，DALL·E 3 比以往系統更能理解細微差別和細節，讓使用者更輕鬆地將自己的想法轉化為非常準確的圖像。
可以看到，DALL·E 3 不僅在推理能力上更強大了，同時用起來也更簡單，給了大家無限的創作可能性。
DALL·E 3 的巨大飛躍
DALL·E 3 最大的突破，無疑是將文生圖模型與 ChatGPT 的結合，大大降低了提示詞的門檻。
使用者只需輸入簡單的字詞，ChatGPT 可自動對提示詞進行擴充、產生客製化的詳細提示，從簡單的句子到詳細的段落，勾勒出一副細節感滿滿的畫面。
來看幾張由 DALL·E 3 產生的圖片：
引用滿月映照下的繁華都市街道，熙熙攘攘的行人正享受夜生活。
在街角的攤位上，一位滿頭紅髮、身著天鵝絨斗篷的年輕女子正在與脾氣暴躁的老攤主討價還價。
這位脾氣暴躁的小販身材高大、為人老練，他穿著筆挺的西裝、留著引人注目的小鬍子，正興致勃勃地用他的蒸汽朋克電話在交談。
引用擬人化的秋葉組成了一支民間樂隊，在鄉村的森林中，它們演奏著傳統的藍草音樂，點綴著滿月撒下的柔和月光。
引用荔枝紋風格的球形椅子，具有凹凸不平的白色外觀和豪華的內部，襯托著熱帶壁紙。
精彩的細節刻畫，加上精緻的圖像畫面，可以看到，DALL·E 3 在弱化了提示詞約束的同時，也具備了 ChatGPT 原生的優勢，用語言指導大型神經網絡執行各種文本生成任務。
目前來看，DALL·E 3 在理解使用者指令和文生圖方面都展現了更為出色的能力，這也是先前 AIGC 領域存在的短板之一。 一位 OpenAI 研究員也表示，語言的進步使 DALL·E 3 能夠更好地解析複雜指令，避免混淆詳細請求中的元素。
而如果出現影像與文字描述不符的情況時，使用者可在 ChatGPT 中隨時進行調整。
關於 DALL·E 3 更多細節，Sam Altman 也分享了一個可愛的宣傳影片。
影片中，家長透過向 ChatGPT 提問“5 歲小朋友口中的‘超級向日葵刺猬’的樣子是什麼樣？”，獲得了四段不同風格的提示詞，並由 DALL·E 3 生成對應圖像。
在由使用者選定了圖像風格、並為小刺蝟起名Larry 後，ChatGPT 為故事添加了更多豐富的元素，包括森林的背景、小房子、以及帶有Larry 名字的小信箱等等，ChatGPT 綜合了 前面的資訊後，還可以產生一個完整的故事情節。
可以說，從童話故事到插圖，ChatGPT 和 DALL·E 3 全包了！ 有網友評價稱，Sam Altman 放出的小刺猬 demo 視頻，是《30 分鐘做一本兒童繪本》的實例。
而與先前 DALL·E 系列模型相比，根據同一句提示詞“一名籃球運動員扣籃、被描繪成一個星雲爆炸的油畫”，使用 DALL·E2 和 DALL·E3 分別進行圖片生成。 可以看到，兩代模型在生成圖片的效果有明顯的差異。
和左側相比，DALL·E 3 圖片中的細節描繪、場景明亮度等效果都更好。
在 DALL·E 2 發布的一年多時間，期間 Stable Diffusion 掀起了一陣擴散模型熱潮，後者一時風光兩無。 如今，OpenAI 帶著最新版的 DALL·E 3 洶洶來襲，似乎將要改變這一局面。
新一輪文生圖戰局打響了
早些時候，約 400 人左右參與測試了 OpenAI Discord 伺服器上的 DALL·E 3 Alpha 版本，網友評價：生成圖片的準確度碾壓 Stable Diffusion 、MidJourney。 MidJourney 的語文水準一直被使用者吐槽，這點在 DALL·E 3 上大有改觀。 DALL·E 3 可以透過 Prompt 提示，在圖片中產生連續準確的單字拼寫，像下圖中的“HELLO”，在以往的文生圖模型中還沒有模型可實現這一點。
這張「DALL·E CAN SPELL」的圖片放大後，也可以看到在圖片深處的「DALL·E 」有拼寫成「DALE」的情況，但是整體看，在遵循提示和生成連貫細節方面DALL ·E 3 已經有了極大的突破。
除了文字的細節，在對 Prompt 理解方面，DALL·E 3 與早一期的版本也有極大的進步。 提示詞是「霧濛濛的森林裡，地面非常泥濘，一場自行車比賽正在進行，一個粉紅色的小丑騎著用奶酪做成的自行車，和跟熊貓擊掌，熊貓很生氣。」在5 月DALL·E 版本中可以看到，熊貓和小丑的手掌是扭曲的，自行車用奶酪製成這一細節不太明顯，熊貓表情面露微笑，這一點顯然和提示詞的內容不符合。
到了DALL·E 3 的版本中可以看到，小丑和熊貓擊掌，小丑明顯的五根手指，自行車車輪完全是奶酪元素，包括車輪激起的泥點細節等， DALL·E 3 在理解提示詞語義 和呈現畫面方面有了非常明顯的進步。
當在 Stable Diffusion 、MidJourney 中輸入相同提示詞時，呈現的畫面與提示詞的關係，不能說一點不同，也差不多是毫不相關。 看到 DALL·E 3 的表現，許多網友表示 Stable Diffusion 、MidJourney 無法在這個層級上與其競爭。
就在上週，有消息爆出Google正在小範圍內測 Gemini，傳言稱，Gemini 將比 ChatGPT 強大 20 倍，這也給 OpenAI 帶來了一定程度上的輿論壓力。
隨後，OpenAI 「悄悄」更新了GPT-3.5-Turbo-Instruct，此前有消息傳出，OpenAI 正緊鑼密鼓地將GPT-4 與類似於Gemini 提供的多模態功能結合起來，不少業內人士猜測，OpenAI 或在即將召開的首屆開發者大會上發布多模態大模型，例如GPT-4-Vision。
大模型局勢撲朔迷離，身為大模型的領導者，Google和 OpenAI 在互相試探，二者真實實力幾何，還有多少顛覆我們認知的能力，尚且未知。
目前， DALL·E 3 背後的技術細節並未公佈。 但在安全和版權保護方面，OpenAI 已對DALL·E 3 投入了大量的工作，包括採取緩解措施拒絕提供公眾人物姓名、與外部的“紅隊”成員（對模型進行壓力測試的團隊）合作、 在內部開發來源分類器等。
此外，DALL·E 3 拒絕提供在世藝術家風格圖像，藝術創作者也可選擇將其個人作品從 DALL·E 3 未來圖像生成模型的訓練中剔除。 據悉，DALL·E 3 將於 10 月初面向 ChatGPT Plus 和 Enterprise 用戶上線，用戶使用 DALL·E 3 創建的圖像無需 OpenAI 授權即可轉載或出售。
雷峯網原創文章，未經授權禁止轉載。詳情見轉載須知。
資料來源：雷鋒網
作者/編輯：黄楠