在當今飛速發展的數字時代，生成式大模型正以其令人矚目的創意能力和潛力引領著人工智能領域的前沿。
作為一種集合了復雜算法、海量數據和深度學習技術的產物，生成式大模型已經廣泛應用于自然語言處理、創意生成、智能對話等領域。然而，盡管其在創造性和創新性方面取得了巨大成功，但也不可避免地面臨著一些潛在風險和挑戰。
為了迎接大模型帶來的數字化變革，工程中心基于《生成式人工智能服務管理暫行辦法》推出了大模型評測維服務。
一、生成式大模型 風險與挑戰
隨著生成式大模型的廣泛應用，一些問題也開始浮現。其中包括信息可信度的問題，模型可能會誤導用戶或產生不準確的內容；另外，隱私和數據安全也成為了關切的焦點，模型可能會泄露敏感信息。因此，在探索生成式大模型的無限潛力的同時，科學評測其風險勢在必行。
1、數據安全與合規風險問題
數據樣本的隱私性、知識產權、數據質量可能無法得到有效保護，從而導致生成式人工智能輸出內容異常；
惡意用戶可能利用系統漏洞，運用特定手段導致模型數據泄露， 以及一些不良信息的輸出；
2、對話與輸出機制——用戶風險與價值風險
模型可能因為無法審核帶有誘導性的指令， 或無法判斷生成結果的影響， 導致輸出不良信息；
生成的內容可能包含錯誤、不準確或無法驗證的信息， 模型可能在處理特定問題時在邏輯上缺乏一致性和連貫性；
3、政策導向——國內監管日趨加強
（1）2023年4月中共中央政治局召開會議，分析研究當前經濟形勢和經濟工作。會議提出要重視通用人工智能發展，營造創新生態，重視防范風險。
（2）2023年5月，北京市人民政府辦公廳印發了《北京市促進通用人工智能創新發展的若干措施》，加強了大模型等通用人工智能的評測監管。
其中，第九條強調：“建設大模型評測開放服務平臺，建立公平高效的自適應評測體系，根據不同目標和任務，實現大模型自動適配評測。”
（3）2023年7月七部門聯合公布《生成式人工智能服務管理暫行辦法》，自2023年8月15日起施行。
《辦法》明確生成式人工智能服務提供者應當依法開展預訓練、優化訓練等訓練數據處理活動，使用具有合法來源的數據和基礎模型；涉及知識產權的，不得侵害他人依法享有的知識產權；涉及個人信息的，應當取得個人同意或者符合法律、行政法規規定的其他情形；采取有效措施提高訓練數據質量，增強訓練數據的真實性、準確性、客觀性、多樣性。此外，明確了數據標注的相關要求。
二、工程中心生成式大模型評測服務
為了迎接大模型帶來的數字化變革，工程中心基于《生成式人工智能服務管理暫行辦法》制定了全新的評測維度，形成大模型評測服務，為模型的全面性能評估提供了更多的視角，可有效提升大模型服務的透明度，提高生成內容的準確性和可靠性。
工程中心大模型評測服務從穩定性、交互性、應用性、安全性、魯棒性五大評測維度等多角度出發，針對生成式人工智能模型目前存在問題，進行全方位評測，不僅涵蓋當前主流評測體系的評測維度，還引入了一些新的維度來評估模型的性能和合規性。
• 模型穩定性評測
模型穩定性測評是評估模型在非常規輸入下能否提供安全穩定的服務，用于測試大模型在各種場景下的穩定性和性能。這有助于評估模型在實際應用中是否能夠滿足需求。
• 模型交互性和應用性評測
具體包括了多語種評測、語言流暢度、情感分析、代碼評測、專業翻譯、摘要能力、百科知識、邏輯推理等多個子項。通過這些評測子項，可以全方位衡量大模型的表現和能力。
• 模型安全性評測
模型安全性主要包含模型可以避免虛假、歧視信息輸出、數據合規檢查以及環境安全檢測等多個子項，為模型可靠性和安全性提供應用依據。
工程中心大模型評測服務以法律層面《個人信息保護法》、《網絡安全法》、《中華人民共和國數據安全法》、《中華人民共和國密碼法》等法律要求；國家標準層面《GB_T 22239-2019信息安全技術 網絡安全等級保護基本要求》、《GB-T 39412-2020 信息安全技術 代碼安全審計規范》、《GB_T 25000.10-2016 系統與軟件工程 系統與軟件質量要求和評價(SQuaRE) 第10部分系統與軟件質量模型》、《GB_T 41479-2022 信息安全技術 網絡數據處理安全要求》、《GM/T 0054-2018信息安全技術 信息系統密碼應用基本要求》、《GB/T 20984-2022信息安全技術 信息安全風險評估方法》等標準；為支撐實現大模型軟件安全、等級保護、密碼評估、風險評估、代碼審計、數據安全等合規性的評測。
• 模型魯棒性評測
模型魯棒性主要包含模型可以抵御惡意數據的輸入、防止隱私泄露以及模型輸出的可解釋性，從測試數據攻擊、訓練數據投毒、隱私泄露以及可解釋性多角度出發進行評測。
了解更多服務詳情可通過工程中心官方微信【信息安全國家工程研究中心】聯系交流。
讓我們共同創造一個安全、可靠的人工智能未來！
