AI能看懂食譜文字敘述 自動生成餐點圖片

2023-07-15 08:33:52 1

　　據外媒developer.nvidia報導，以色列特拉維夫大學研究團隊開發了一套系統，該系統可以根據食譜敘述的內容自動產生餐點圖片。目前，該研究成果已經在arXiv發布。

　　據了解，特拉維夫大學研究團隊是透過深度學習框架PyTorch，並搭配Nvidia Titan X GPU，訓練了條件式對抗生成網路(Conditional GAN)，其中包含52,000份手寫食譜和相對應的圖片，經過訓練後，模型就能夠生成與食譜敘述相對應的圖片。

　　這篇論文作者之一Ori Bar El表示，「我們的系統採用配方作為輸入，並從頭開始生成反映系統'相信'本食譜描述的食物圖像。目前存在的問題是，系統無法訪問配方的標題 ，不然這項任務將會非常簡單。由於配方文本太長也不能直接描述食物的可視內容，使得這項任務不僅對人類來說非常困難，對計算機更是如此。「

　　為了評估系統透過兩種方法產生的圖片區別，研究團隊用人工的方式對圖片進行評分，評分以1～5為標準。目前，該系統已成功生成許多食物圖片，例如義大利麵、飯、湯、沙拉等，但是針對獨特形狀的食物類似於漢堡、雞肉或是飲料等等，還需要進一步研究。

　　圖片來源於：arXiv