重磅更新！ChatGPT 可以直接語音對(duì)話和上傳圖片了！

• 2023年9月26日 13:30

在昨晚，OpenAI CEO Sam Altman 在推特上發(fā)布了一條重要消息，ChatGPT 要推出新功能啦。ChatGPT 現(xiàn)在可以看、聽和說了！

這次 ChatGPT 推出新的語音和圖像功能提供了一種新的、更直觀的界面類型，允許用戶跟它進(jìn)行語音對(duì)話，向 ChatGPT 展示說話內(nèi)容。

多場(chǎng)景使用 ChatGPT

這一次的更新將使 ChatGPT 成為更強(qiáng)大的工具，適用于多種生活場(chǎng)景。比如，當(dāng)你在旅行時(shí)，可以拍攝周圍的地標(biāo)，然后與 ChatGPT 進(jìn)行實(shí)時(shí)對(duì)話，了解更多有趣的信息。而當(dāng)你在家時(shí)，只需拍攝你冰箱里的食物，ChatGPT 就能幫你決定今晚吃什么，甚至提供相應(yīng)的食譜。如果你的孩子遇到數(shù)學(xué)難題，拍照上傳后，ChatGPT 也可以幫助他們解決問題。

例如，你可以拍一張照片，然后詢問如何調(diào)整自行車座椅的高度。這一更新使 ChatGPT 成為了一個(gè)更強(qiáng)大的伴侶，可以幫助你解決日常生活中的各種問題。

官方示例

官方還給出了另一個(gè)實(shí)用的使用場(chǎng)景思路：你打開冰箱，拍一張照片，然后問 AI 晚餐可以吃什么，ChatGPT 將生成完整的菜譜。這樣，你可以在快節(jié)奏的生活中省下時(shí)間，讓 ChatGPT 幫你規(guī)劃健康的飲食。

這次的更新將在接下來的兩周內(nèi)向 ChatGPT Plus 訂閱用戶和企業(yè)版用戶推出，而且不論你使用的是 iOS 還是 Android，你都能夠輕松使用這一新功能。

ChatGPT 多模態(tài)版 GPT-4V

與此同時(shí)，多模態(tài)版 GPT-4V 模型也公開了更多細(xì)節(jié)。最令人驚訝的是，這個(gè)多模態(tài)版的 GPT 模型早在 2022 年 3 月就已經(jīng)完成訓(xùn)練，這意味著 OpenAI 在這方面取得了長(zhǎng)足的進(jìn)展。

現(xiàn)在，讓我們來看看 GPT-4V 模型的能力和局限性。

GPT-4V 的視覺能力

這個(gè)多模態(tài)版的 GPT 模型具有強(qiáng)大的視覺能力：

1.物體檢測(cè)： GPT-4V 能夠檢測(cè)和識(shí)別圖像中的常見物體，例如汽車、動(dòng)物和家居用品等。這項(xiàng)能力在標(biāo)準(zhǔn)圖像數(shù)據(jù)集上進(jìn)行了評(píng)估，表現(xiàn)出卓越的物體識(shí)別能力。

2.文本識(shí)別： 模型具備光學(xué)字符識(shí)別 (OCR) 功能，可以檢測(cè)圖像中的打印或手寫文本，并將其轉(zhuǎn)錄為機(jī)器可讀文本。這一功能在處理文檔、標(biāo)志、標(biāo)題等圖像時(shí)表現(xiàn)出色。

3.人臉識(shí)別： GPT-4V 能夠定位并識(shí)別圖像中的人臉。它還具有一定的面部分析能力，能夠根據(jù)面部特征識(shí)別性別、年齡和種族屬性。這一能力經(jīng)過 FairFace 和 LFW 等數(shù)據(jù)集的測(cè)量驗(yàn)證。

4.驗(yàn)證碼解決： 在處理基于文本和圖像的驗(yàn)證碼時(shí)，GPT-4V 表現(xiàn)出了出色的視覺推理能力，這表明模型具有高級(jí)解謎技能。

5.地理定位： 模型能夠識(shí)別風(fēng)景圖像中描繪的城市或地理位置，表明它吸收了關(guān)于現(xiàn)實(shí)世界的大量知識(shí)。然而，這也可能涉及到隱私問題，因?yàn)槟Ｐ涂梢宰R(shí)別出與特定地點(diǎn)相關(guān)的信息。

GPT-4V 的局限性

雖然 GPT-4V 具有強(qiáng)大的視覺能力，但它仍然存在一些局限性：

1.空間關(guān)系： 模型可能難以準(zhǔn)確理解圖像中對(duì)象的精確空間布局和位置，有時(shí)無法正確捕捉對(duì)象之間的相對(duì)位置。

2.對(duì)象重疊： 當(dāng)圖像中的對(duì)象嚴(yán)重重疊時(shí)，GPT-4V 有時(shí)難以區(qū)分一個(gè)對(duì)象的結(jié)束位置和下一個(gè)對(duì)象的開始位置，可能將它們混合在一起。

3.背景/前景： 模型不總是能夠準(zhǔn)確識(shí)別圖像中的前景和背景中的對(duì)象，有時(shí)會(huì)錯(cuò)誤地描述對(duì)象之間的關(guān)系。

4.遮擋： 當(dāng)圖像中的某些對(duì)象被其他對(duì)象部分遮擋或遮擋時(shí)，GPT-4V 可能無法識(shí)別被遮擋的對(duì)象，或者錯(cuò)過了它們與周圍對(duì)象的關(guān)系。

5.細(xì)節(jié)： 模型有時(shí)會(huì)忽略或誤解圖像中的微小物體、文本或復(fù)雜細(xì)節(jié)，導(dǎo)致錯(cuò)誤的關(guān)系描述。

6.上下文推理： GPT-4V 缺乏強(qiáng)大的視覺推理能力，無法深入分析圖像的上下文，并描述對(duì)象之間的隱含關(guān)

7.置信度： 模型有時(shí)可能錯(cuò)誤地描述對(duì)象之間的關(guān)系，與圖像內(nèi)容不符。這意味著它的描述可能不總是準(zhǔn)確的。

需要注意的是，盡管 GPT-4V 具有強(qiáng)大的視覺能力，但目前在科學(xué)研究和醫(yī)療用途中，其性能可能不夠可靠。因此，在這些領(lǐng)域的應(yīng)用需要更多的研究和驗(yàn)證。

ChatGPT 團(tuán)隊(duì)表示，為了保護(hù)用戶隱私和防止濫用，他們正在考慮是否應(yīng)該允許模型識(shí)別公眾人物，以及是否應(yīng)該允許模型從人物圖像中推斷性別、種族或情感等信息。這表明他們對(duì)用戶的隱私和道德問題非常重視。

總之，ChatGPT 的這一重磅更新為用戶提供了更多交互的可能性，使其成為一個(gè)更加強(qiáng)大和多功能的工具。語音和圖像功能的引入使 ChatGPT 變得更加直觀和便捷，為用戶提供了全新的體驗(yàn)。無論是在生活中解決問題，還是與模型進(jìn)行有趣的對(duì)話，ChatGPT 的潛力正在不斷擴(kuò)大。如果你是 ChatGPT Plus 或企業(yè)版用戶，你將在未來兩周內(nèi)率先體驗(yàn)到這些令人激動(dòng)的新功能，而其他用戶也將很快可以享受到這一更新帶來的便利。

所以，你已經(jīng)想好了要問 ChatGPT 的第一個(gè)問題嗎？這一重大更新將為你的交互體驗(yàn)帶來更多樂趣和便捷，期待 ChatGPT 在未來繼續(xù)發(fā)展，為我們帶來更多驚喜和創(chuàng)新。不論你是專業(yè)用戶還是普通用戶，這一更新都將使你的生活更加便利和有趣。隨著技術(shù)的不斷發(fā)展，ChatGPT 帶來的可能性也會(huì)不斷擴(kuò)大，讓我們拭目以待，期待更多精彩的功能和體驗(yàn)。

免責(zé)聲明:重磅更新！ChatGPT 可以直接語音對(duì)話和上傳圖片了！文章轉(zhuǎn)發(fā)自互聯(lián)網(wǎng)，版權(quán)歸其所有。
文章內(nèi)容不代表本站立場(chǎng)和任何投資暗示。加密貨幣市場(chǎng)極其波動(dòng)，風(fēng)險(xiǎn)很高，可能不適合所有投資者。在投資加密貨幣之前，請(qǐng)確保自己充分了解市場(chǎng)和投資的風(fēng)險(xiǎn)，并考慮自己的財(cái)務(wù)狀況和風(fēng)險(xiǎn)承受能力。此外，請(qǐng)遵循您所在國(guó)家的法律法規(guī)，以及遵守交易所和錢包提供商的規(guī)定。對(duì)于任何因使用加密貨幣所造成的投資損失或其他損失，本站不承擔(dān)任何責(zé)任。