學習開源飛控主要考慮哪些因素（智源推出飛智大模型技術開源體系）

2023-07-28 02:31:30

以 ChatGPT 為代表的大模型的出現，推動人工智慧迎來了全新的發展浪潮，也引發了後者在技術範式上的變革。作為一種體系化的技術路徑，其背後少不了算法、算力和數據的支撐。

在此發展背景下，要想更好地提升大模型技術的創新能力，不僅要紮實推進基礎設施的建設以及大模型應用的開發和普及，更要構建開源開放的生態格局。

北京智源人工智慧研究院（以下簡稱「智源」） 是一家人工智慧領域的非盈利性質的新型研發機構，也是研究中國大模型的科研機構。

為加速大模型方向的協同創新，智源於近日發布 FlagOpen（飛智）大模型技術開源體系，其主要包括 FlagAI、FlagPerf、FlagEval、FlagData、FlagBoot 和 FlagStudio 六個部分。

全新推出大模型技術開源體系，賦能中國大模型技術創新能力提升

（一）FlagOpen（飛智）：大模型技術開源體系

FlagOpen 是智源與多家產學研單位共同構建的大模型開源開放軟體體系。為了更好地推動大模型軟硬體生態的建設，該體系包括算法、模型、工具、評測等多個部分，目標要支持多種深度學習框架和 AI 晶片。

圖丨FlagOpen（飛智）大模型技術開源體系（來源：資料圖）

據介紹，FlagOpen 能夠降低大模型開發的難度，助力全球開發者開展各種大模型的開發和研究工作，讓更多的開發者以開源開放的方式，進行自由探索和協同創新。

據悉，未來 FlagOpen 也將為全球 AI 企業和機構，提供 AI 大模型軟體發行版本、平臺、商業化軟體構建方面的支撐。（FlagOpen 開源平臺入口：https://flagopen.baai.ac.cn）

（二）FlagAI ：大模型算法、模型及工具一站式開源項目

對於算法開發人員來說，其總會面臨在浩瀚的開源世界中尋求質量較高、值得信任的算法的需求，也會在集合不同的優化技術工具時，遭遇算法和開源的其他工具無法匹配的問題，這會給其正常高效的工作開展造成不可小覷的影響。

作為一個能夠提高大模型開發效率的工具，FlagAI 集合了全球最主流的大模型算法技術和多種加速優化的技術，賦能模型開發的高效訓練和有針對性的細節調整。

目前，FlagAI 已經集合了語言大模型 OPT、視覺大模型 ViT、Swin Transformer 等多種國內外主流大模型算法，也包括智源自己的「悟道」大模型 2.0、3.0 等重要模型。此外，FlagAI 已加入 Linux 基金會。

（三）FlagPerf：面向多種 AI 硬體的一體化評測引擎

快速高效地對 AI 軟硬體進行適配和評測，解決目前其面臨的兼容性差、技術棧異構程度高等問題，是建設 AI 生態的關鍵環節。

作為面向多種AI硬體的一體化評測引擎，FlagPerf 目標是支持多種晶片和深度學習框架，構建專業且不斷迭代的評測體系，賦能 AI 產業生態的發展和繁榮。

目前，FlagPerf 已經聯合天數智芯、百度 PaddlePaddle、崑崙芯科技、中國移動等企業開展 AI 硬體評測建設的工作。

（四）FlagEval：多領域、多維度的基礎大模型評測開源項目

為推進大模型研發的落地，以及對生成任務的客觀評價，智源構建了大模型評測工具開源項目 FlagEval，希望未來能夠滿足多維度、多模態領域的全面評測。

FlagEval 首先開放的是多模態領域——CLIP 系列模型評測工具，是業內首個完整支持多種語言、多種評測難度和任務的文-圖跨模態評測工具。之後還將發布更多不同領域和維度的評測工具。

（五）FlagData：開箱即用、易於擴展的數據工具開源項目

基於過去四年來的不斷積累，智源研究院著手數據建設工作，構建了 WuDaoCorpora 語料庫，同時開發了一批數據處理的工具。

因此，為了更好地搜集、清理和整理數據，使其能夠呈現一種標準可用的狀態，是亟需面對和解決的關鍵。

FlagData 正是在此需求之下應運而生的一款數據工具，其包括清洗、標註、壓縮、統計分析等功能在內，能夠幫助大模型開發團隊完成高質量的數據處理，進而優化和提升大模型的質量。

當下的 AIGC 只是冰山上的小小一角

在不知不覺中，人工智慧已經走過了多年的發展歷程。2022 年以來，利用人工智慧技術來生成內容（AI Generated Content，AIGC）的蓬勃發展態勢，讓越來越多的人看到，因大模型的推進而不斷派生出的 AI 落地和普及發展的可能性。

在林詠華看來，目前我們正在走由大模型技術推動的向 AIGC 元年，全球範圍內尤其是中國的很多企業和團隊都紛紛嘗試打造自己的 AIGC 應用,也在陸續出現很多類 ChatGPT 的產品模型。

「但是大家所看到的只是冰山浮在水面的部分。要打造 AIGC 的能力，無論是文生圖還是 ChatGPT 的能力，都離不開水面之下大模型很厚的全棧技術。」林詠華表示。

具體來說，文生圖和 ChatGPT 等應用都離不開強大的語言預訓練大模型、視覺基礎大模型、圖文基礎大模型等作為支撐的重要基座。

「大模型只是 AI 從一個高技術領域轉入普及的全民應用的代表性產品，遠非 AI 技術生態的全部。」北京智源人工智慧研究院院長黃鐵軍表示，如果把開發出的大模型比作能夠發電的發電機，那麼發電機和能夠作為產品和服務走入千家萬戶的電力相比，「還存在著很長的距離」。

此外，不斷提高為 AI 系統的高效運行做支撐的算力，以及構建客觀公正的大模型的評價方法，也是推進 AIGC 向前發展的不可或缺的重要環節。

基於此，智源致力於從上述層面出發，集合打造一款包括以上核心內容的技術體系，因此也就有了這次 FlagOpen 大模型技術開源體系的誕生。

「開源本質上是一個大家共建並持續發展的過程。我希望大家共建的開源開放體系，在將來做 AI 的產品或者 AI 的服務時能夠用上。」黃鐵軍表示。

推進大模型持續創新

作為一種深度學習新範式，預訓練模型在經過大量的數據訓練之後，可以執行語言理解、圖片處理等特定的任務。而大模型，正是預訓練模型的代稱，這一詞語由智源於 2021 年率先提出，後成為學界和業界約定俗成的術語。

近年來，智源始終堅持不懈地走在推進大模型持續創新的發展道路上。其於 2020 年啟動了大模型研究的戰略方向，完成了大模型攻關團隊的搭建。

2021 年 3 月，其推出已經完成了百億和千億參數規模預訓練的超大規模智能模型「悟道 1.0」。

經過聯合攻關，智源又於 2021 年 6 月發布了擁有 1.75 萬億參數量的「悟道 2.0」。

對於「悟道」項目來說，林詠華認為其最重要的意義是幫助鍛造了當前中國大模型研究領域的中堅力量。「在過去的兩年，我們不斷地投入、支持』悟道』大模型研究項目，幫助中國培養了一批大模型的創新團隊和研究者。」她說。

據介紹，2022 年以後，智源在大模型上的發展朝著更深、更寬的方向邁進。智源不僅致力於「悟道 3.0」向視覺、文圖等多模態領域發展，並通過 FlagOpen 這樣的開源體系的建設，推動開放創新。此外，其也將組織和承擔科技部 2030 人工智慧旗艦項目「人工智慧基礎模型支撐平臺與評測技術。