在科技界的密切關注下，OpenAI于近日揭曉了其連續發布計劃的第二部分，時間定格在北京時間12月7日的凌晨。這場直播不僅吸引了全球科技愛好者的眼球，還帶來了一個名為“強化微調”的全新概念。
據OpenAI透露，強化微調是一種革命性的模型定制技術，旨在通過小規模特定領域數據的進一步訓練，將預訓練好的大型語言模型推向更高的專業化水平。這一過程好比讓一個博學多才的“通才”通過針對性訓練，成為某一領域的“頂尖專家”。
OpenAI高管形象地比喻，強化微調能將大型語言模型的能力從“高中水平”躍升至“博士級專家”的高度，為高校、研究人員和企業提供了量身打造AI解決方案的可能。例如，OpenAI正與湯森路透攜手，致力于開發一個專為法律領域定制的AI模型。
雖然OpenAI CEO Sam Altman并未現身此次直播，但他在社交媒體上難掩興奮之情，稱贊強化微調為“2024年最大的驚喜”，并期待看到人們基于這一技術構建出的新奇應用。
一位AI大模型應用企業的創始人對36氪表示，強化微調對于普通用戶來說或許并不直接相關，但對于專業領域的工作者來說，卻是一項極具價值的新技術。它極大地降低了行業專家級大模型的實現難度。
在直播現場，OpenAI展示了強化微調的一個具體應用案例——罕見遺傳病研究。通過與伯克利實驗室和德國Charité醫院的研究人員合作，OpenAI使用強化微調技術訓練了GPT o1 Mini模型。這個模型在推理罕見疾病成因方面表現出色，甚至超越了體積更大的GPT o1模型，展現了其在復雜病情診斷和理解方面的巨大潛力。
值得注意的是，強化微調與傳統微調方法有著本質的不同。傳統微調往往只是讓模型“記住答案”，而強化微調則更注重訓練模型在特定領域中學會推理，從而找到正確答案。這一方法采用了兩個不同的數據集合：微調數據集和測試數據集。模型首先基于微調數據集進行訓練，然后通過測試數據集進行驗證，經過反復自我推理訓練驗證，最終達到很高的性能水平。因此，即使在數據量有限的情況下（有時僅需幾十個樣本），強化微調也能實現顯著的性能提升。
然而，目前強化微調方案仍處于研究預覽階段，OpenAI計劃在2025年全面推出。為了進一步優化模型性能，OpenAI正在邀請研究機構、大學以及企業參與強化微調研究計劃，并希望與愿意共享數據集的組織合作。
OpenAI還展示了強化微調在多個領域的潛在應用，包括金融、醫療、教育等。這些應用不僅展示了強化微調技術的廣泛適用性，也為其未來的商業化應用奠定了堅實基礎。
隨著強化微調技術的不斷成熟和推出，我們有理由相信，這一技術將在未來為各行各業帶來更加智能化、高效化的解決方案。
同時，OpenAI的開放合作態度也為這一技術的廣泛應用提供了有力支持。通過邀請更多合作伙伴參與研究計劃，OpenAI旨在共同推動AI技術的創新與發展，為人類社會創造更多價值。
