2022年2月25日，上海人工智能實驗室聯合商湯科技、香港中文大學、上海交通大學近日共同發佈通用視覺開源平台OpenGVLab，向學術界和產業界開放其超高效預訓練模型，以及千萬級精標注、十萬級標籤量的公開數據集，為全球開發者提升各類下游視覺任務模型訓練提供重要支持。同時，OpenGVLab還同步開放了業內首個針對通用視覺模型的評測基準，便利開發者對不同通用視覺模型的性能進行橫向評估和持續優化。目前OpenGVLab開源平台（https://opengvlab.shlab.org.cn）已正式上線，供各界研究人員訪問和使用，後續項目還將開通在線推理功能，供所有對人工智能視覺技術感興趣的社會人士隨時體驗。

 「開源是一項意義非凡的工作，人工智能技術的迅速發展離不開全球研究人員十餘年來的開源共建。」上海人工智能實驗室負責人表示：「希望通過發佈OpenGVLab開源平台，幫助業界更好地探索和應用通用視覺AI技術，促進體系化解決AI發展中數據、泛化、認知和安全等諸多瓶頸問題，為推動人工智能學術、產業發展做出貢獻。」

通用視覺開源平台OpenGVLab基於通用視覺技術體系「書生」（INTERN）打造，「書生」由上海人工智能實驗室聯合商湯科技、香港中文大學、上海交通大學於去年11月正式發佈，解決目前大部分AI模型只能完成單一任務的難題。技術報告《INTERN: A New Learning Paradigm Towards General Vision》已在arXiv平台發佈。

如上圖所示，包括畫圖在內的各類圖片，「書生」都能較為準確地識別出圖中內容。

憑藉「書生」在通用視覺技術上的強勁支撐，OpenGVLab將幫助開發者顯著降低通用視覺模型的開發門檻，用更低成本快速開發用於成百上千種視覺任務、視覺場景的算法模型，高效實現對長尾場景的覆蓋，推動AI技術的規模化應用。

開放超高性能模型和千萬級精標注數據集，降低學界投入成本

OpenGVLab充分繼承了通用視覺技術體系「書生」的技術優勢，其開源的預訓練模型具備極高性能，全面覆蓋分類、目標檢測、語義分割、深度估計四大視覺核心任務，在準確率和數據使用效率上均取得大幅提升。使用此模型，研究人員可以大幅降低下游數據採集成本，用極低的數據量，即可快速滿足多場景、多任務的AI模型訓練。

同時，OpenGVLab還提供多種不同參數量、不同計算量的預訓練模型，以滿足不同場景的應用需求。模型庫中列出的多個模型，在ImageNet的微調結果和推理資源、速度等方面，相比之前的公開模型均有不同程度的性能提升。

除了預訓練模型，以百億數據總量為基礎，上海人工智能實驗室構建了超大量級的精標注數據集，近期將進行數據開源工作，開源範圍涵蓋千萬級精標注數據集和十萬級標籤體系。超大量級的精標注數據集不僅整合了現有的開源數據集，還通過大規模數據圖像標注任務，實現了對圖像分類、目標檢測以及圖像分割等任務的覆蓋，數據總量級近七千萬。目前，圖像分類任務數據集已率先開源，後續還將開源目標檢測任務等更多數據集。

此外，此次開源的超大標籤體系不僅幾乎覆蓋了所有現有開源數據集，還在此基礎上擴充了大量細粒度標籤，涵蓋各類圖像中的屬性、狀態等，極大豐富了圖像任務的應用場景，顯著降低下游數據的採集成本。研究人員還可以通過自動化工具添加更多標籤，對數據標籤體系進行持續擴展和延伸，不斷提高標籤體系的細粒度，共同促進開源生態繁榮發展。

發佈首個通用視覺評測基準，推動通用視覺模型評測標準統一

伴隨OpenGVLab的發佈，上海人工智能實驗室還開放了業內首個針對通用視覺模型的評測基準，彌補通用視覺模型評測領域的空白。當前，行業中已有的評測基準主要針對單一任務、單一視覺維度設計，無法反映通用視覺模型的整體性能，難以用於橫向比較。全新的通用視覺評測基準憑借在任務、數據等層面的創新設計，可以提供權威的評測結果，推動統一標準上的公平和準確評測，加快通用視覺模型的產業化應用步伐。

在任務設計上，全新開放的通用視覺評測基準創新地引入了多任務評測體系，可以從分類、目標檢測、語義分割、深度估計、行為識別等5類任務方向，對模型的通用性能進行整體評估。不僅如此，該評測基準新加了僅用測試數據集10% 數據量的評測設定，可以有效評估通用模型在真實數據分佈下的小樣本學習能力。在測試後，評測基準還會根據模型的評測結果給出相應的總分，方便使用者對不同的模型進行橫向評測。

隨著人工智能與產業融合的不斷深入，行業對人工智能的需求逐漸從單一任務向複雜的多任務協同發展，需要構建開源、開放的體系。去年7月，上海人工智能實驗室發佈開源平台體系OpenXLab，涵蓋新一代OpenMMLab和決策AI平台OpenDILab。此次與商湯科技及各大學聯合發佈通用視覺開源平台OpenGVLab，不僅幫助開發者降低通用視覺模型的開發門檻，為推動通用視覺技術發展奠定基礎，也進一步完善了OpenXLab開源體系，促進人工智能的基礎研究和生態構建。

+++