OpenAI近期啟動了一個為期12天的創新發布周期，命名為“shipmas”，旨在推出一系列令人矚目的新功能、產品及演示。在這一系列發布活動的第二天，OpenAI揭曉了強化微調（Reinforcement Fine-Tuning, RFT）技術，為開發者和機器學習工程師提供了一個強大的工具，用于構建針對特定復雜領域任務的專家級模型。
強化微調項目通過引入全新的模型定制技術，允許開發者利用高質量的任務集對模型進行微調。這一過程中，開發者可以利用參考答案來評估模型的響應，從而顯著提升模型在特定領域任務中的推理能力和準確性。這一技術的出現，為模型在特定領域的表現帶來了質的飛躍。
根據OpenAI的官方介紹，開發人員現在可以使用從數十到數千個的高質量任務來定制OpenAI的模型，并通過提供的參考答案對模型的響應進行評分。這一創新技術不僅強化了模型推理類似問題的方式，還顯著提高了其在特定領域任務上的準確性。通過這一方法，模型能夠更精準地理解和解決復雜問題。
與標準微調方法不同，強化微調利用強化學習算法，將模型的性能從高中水平提升至專家博士級別。這一技術不僅僅是對模型進行簡單的模仿訓練，而是通過讓模型學習全新的推理方式，并通過評分機制強化正確的推理路線，從而僅使用少量示例就能顯著提高模型的性能。
強化微調技術的另一個顯著優勢是，它支持用戶利用自己的黃金數據集創建獨特的模型，并將其應用于法律、金融、工程、保險等需要深厚專業知識的領域。這一技術為這些領域的專家提供了一個強大的工具，使他們能夠更有效地利用人工智能輔助完成復雜任務。
OpenAI特別鼓勵研究機構、高校和企業申請使用這一技術，特別是那些目前由專家領導執行一系列狹窄但復雜任務的機構。OpenAI認為，強化微調在結果具有客觀“正確”答案且大多數專家會達成一致的任務中表現出色，因此在法律、保險、醫療、金融、工程等領域具有廣闊的應用前景。
參與者可以提前訪問Alpha版的強化微調API，并在特定領域任務中進行測試。OpenAI還鼓勵參與者分享自己的數據集，以共同改進OpenAI的模型。這一舉措不僅促進了技術的迭代升級，還加強了行業內的合作與交流。
OpenAI預計將在2025年初公開發布強化微調功能。OpenAI的首席執行官山姆·阿爾特曼對這一技術表示了高度贊賞：“強化微調的效果出奇地好，它是我2024年最大的驚喜之一。”這一技術的推出，無疑將為人工智能領域的發展注入新的活力。
