報告稱 OpenAI 採集了超一百萬小時的 YouTube 視頻來訓練 GPT-4

IT之家 4 月 7 日消息，本週早些時候，《華爾街日報》報道稱 AI 公司在收集高質量訓練數據方面遇到了困難。今天，《紐約時報》詳細介紹了 AI 公司處理此問題的一些方法，其中涉及到屬於 AI 版權法模糊灰色區域的內容。

報道稱，OpenAI 迫切需要訓練數據，並開發了 Whisper 音頻轉錄模型來克服困難，轉錄了超過 100 萬小時的 YouTube 視頻來訓練其最先進的大型語言模型 GPT-4。

報道提到，OpenAI在 2021 年耗盡了有用的數據供應，並在耗盡其他資源後討論了轉錄 YouTube 視頻、播客和有聲讀物的可行性。此外，OpenAI 使用了包括來自 Github 的計算機代碼、國際象棋走棋數據庫和來自 Quizlet 的作業內容。

據報道，OpenAI公司知道這在法律上存在問題，但認爲這是合理使用。《泰晤士報》則透露，OpenAI 總裁 Greg Brockman 親自參與了所使用視頻的收集。

OpenAI 發言人 Lindsay Held 在一封電子郵件中告訴 The Verge，該公司爲其每個模型策劃了“獨特”的數據集，以“幫助他們瞭解世界”並保持其全球研究競爭力。Held 補充說，該公司使用“衆多來源，包括公開數據和非公開數據的合作伙伴”，並且正在考慮生成自己的合成數據。

谷歌發言人 Matt Bryant 在一封電子郵件中表示，該公司“看到了有關 OpenAI 活動的未經證實的報告”，並補充說“我們的 robots.txt 文件（IT之家注：網站與爬蟲間的君子協定）和服務條款都禁止未經授權的抓取或下載 YouTube 內容”。

IT之家注意到，YouTube 首席執行官 Neal Mohan 近日在採訪中公開表示，儘管沒有直接證據表明 OpenAI 使用 YouTube 視頻來訓練 Sora（文本生成視頻的 AI 模型），但警告稱這種行爲違反了 YouTube 現行的平臺服務條款。

Meta 同樣也遇到了數據可用性的限制，在《泰晤士報》聽到的錄音中，Meta 的AI 團隊爲了努力追趕 OpenAI，討論了未經許可使用版權作品的情況。該公司在瀏覽了“互聯網上幾乎可用的英語書籍、散文、詩歌和新聞文章”後，顯然考慮採取一些措施，例如支付圖書許可費用，甚至直接收購一家大型出版商。

琳文書齋