近日,《國家自然科學(xué)基金“十四五”發(fā)展規(guī)劃》正式公布規(guī)劃全文,問題驅(qū)動(dòng)的應(yīng)用數(shù)學(xué)前沿理論與方法被列入重點(diǎn)發(fā)展領(lǐng)域,覆蓋“不確定性量化,數(shù)據(jù)科學(xué)和人工智能中的優(yōu)化模型、算法設(shè)計(jì)與分析,組合優(yōu)化、整數(shù)規(guī)劃及隨機(jī)優(yōu)化,風(fēng)險(xiǎn)資產(chǎn)和金融風(fēng)險(xiǎn)的建模、模擬與分析,約束最優(yōu)控制問題,工業(yè)設(shè)計(jì)制造中的核心數(shù)學(xué)方法,腦網(wǎng)絡(luò)與生物建模分析中的關(guān)鍵數(shù)學(xué)問題”等多個(gè)研究方向。
從上述研究?jī)?nèi)容中,我們可以提煉出幾個(gè)關(guān)鍵詞:模型、優(yōu)化和算法,這是用數(shù)學(xué)優(yōu)化的方法解決復(fù)雜現(xiàn)實(shí)問題的幾個(gè)核心點(diǎn)。其中,求解器作為底層計(jì)算“引擎”,是解決復(fù)雜數(shù)學(xué)優(yōu)化問題的必備工具。國家自然科學(xué)基金的規(guī)劃和指向,一方面強(qiáng)調(diào)了算法、求解器等數(shù)學(xué)優(yōu)化技術(shù)應(yīng)用的重要性,另一方面也說明我國在這個(gè)領(lǐng)域還有很大的創(chuàng)新和發(fā)展空間。
求解器最初的出現(xiàn),是源于二戰(zhàn)中艦隊(duì)調(diào)度、后勤保障等問題,其在商業(yè)場(chǎng)景的應(yīng)用,國外已經(jīng)有三十多年的歷史。國產(chǎn)求解器雖然起步較晚,但近幾年蓬勃發(fā)展。在求解性能上,以COPT為代表的國產(chǎn)求解器的多項(xiàng)求解性能已超越歐美國家,在應(yīng)用層面,也已經(jīng)在基礎(chǔ)設(shè)施、工業(yè)制造、零售消費(fèi)等多個(gè)領(lǐng)域開展應(yīng)用。但是,如何讓求解器以更高的效率走向產(chǎn)業(yè),如何以最快的速度激發(fā)數(shù)字經(jīng)濟(jì)的價(jià)值,對(duì)于我們來說,仍然是一項(xiàng)重大的課題。
數(shù)字經(jīng)濟(jì)大河奔涌之下,國產(chǎn)求解器發(fā)展的契機(jī)和壁壘
過去很長(zhǎng)一段時(shí)間,國內(nèi)沒有人研究求解器,一些企業(yè)和機(jī)構(gòu)在遇到大規(guī)模復(fù)雜計(jì)算問題時(shí),只能選購歐美國家的求解器。商業(yè)求解器三大廠GUROBI、CPLEX與 XPRESS 憑借先發(fā)優(yōu)勢(shì),豐富的商業(yè)開發(fā)經(jīng)驗(yàn),以及較好的性能,占據(jù)了國際大部分市場(chǎng)份額。
此前,我們的數(shù)字化程度還不夠高,數(shù)字化場(chǎng)景也不夠多,求解器的價(jià)值沒有被看到,求解器處于無人問津的“冷門地帶”。近些年,我國數(shù)字經(jīng)濟(jì)大河奔涌,數(shù)據(jù)越來越多元,數(shù)據(jù)量越來越大,求解器成為各種復(fù)雜問題背后的不可或缺的計(jì)算引擎,發(fā)展國產(chǎn)求解器已經(jīng)成為一種必需。
意識(shí)到這個(gè)問題的,有杉數(shù)科技這樣的創(chuàng)業(yè)型公司,也有華為、阿里等大廠,但是,國外三十多年的發(fā)展經(jīng)驗(yàn),要如何追趕?雖然國內(nèi)企業(yè)很早就開始運(yùn)用國外求解器,但因?yàn)榍蠼馄骶腿缤?ldquo;黑匣子”一樣,無法看到其內(nèi)部運(yùn)算方式,國產(chǎn)求解器的研發(fā)只能從零開始。
從技術(shù)上看,數(shù)學(xué)規(guī)劃求解器的數(shù)學(xué)理論和方法在公開資料上都能找到,但是要通過這些方法和理論打造出一套底層技術(shù)工具,研發(fā)壁壘卻非常高。這需要將一個(gè)高度復(fù)雜的數(shù)學(xué)系統(tǒng),以百萬行級(jí)別的代碼工程化地實(shí)現(xiàn)出來,技術(shù)難度大,研發(fā)周期長(zhǎng),對(duì)研發(fā)者的數(shù)學(xué)和編程能力都是很大的挑戰(zhàn),這種人才很稀缺,有經(jīng)驗(yàn)的人才更稀缺。
從應(yīng)用上看,雖然我們將求解器比作巨型“計(jì)算器”,但是使用求解器,必須要先把業(yè)務(wù)問題轉(zhuǎn)化成求解器可以讀懂的語言,這個(gè)抽象化的過程不是靠想象得來的,研發(fā)者必須深入業(yè)務(wù)場(chǎng)景,用嚴(yán)密的邏輯對(duì)業(yè)務(wù)進(jìn)行梳理和建模。這一方面需要企業(yè)有一定的數(shù)據(jù)基礎(chǔ),另一方面也要求研發(fā)者懂得業(yè)務(wù)語言,只有不斷地在各種場(chǎng)景中嘗試、踩坑和迭代,最后才能研發(fā)出符合市場(chǎng)需求的求解器。
面對(duì)橫亙?cè)谇蠼馄黝I(lǐng)域的幾道高墻,我們必須一個(gè)個(gè)推倒,才能夠看到隱藏在后面的無限價(jià)值。很多問題,從無到有往往是最難跨越的一步。由四位斯坦福博士創(chuàng)立的杉數(shù)科技,在運(yùn)籌學(xué)、商學(xué)、決策分析等領(lǐng)域擁有深厚背景,這也促使其成為最早研究國產(chǎn)求解器的公司。
求解器領(lǐng)域的中國隊(duì),正在打一場(chǎng)技術(shù)突圍戰(zhàn)
2017年,杉數(shù)科技聯(lián)合上海財(cái)經(jīng)大學(xué)共同推出了開源求解器LEAVES,國產(chǎn)求解器由此發(fā)端。2019年5月,杉數(shù)科技獨(dú)立研發(fā)的商業(yè)求解器COPT正式上市,剛問世的COPT1.0版本,在線性規(guī)劃單純形法性能上就達(dá)到世界一流水平,打響了國產(chǎn)商用求解器的第一聲“驚雷”。
隨后,杉數(shù)科技陸續(xù)發(fā)布了商業(yè)混合整數(shù)規(guī)劃求解器、商業(yè)線性規(guī)劃內(nèi)點(diǎn)法求解器、商業(yè)二階錐規(guī)劃求解器、凸二次(約束)規(guī)劃求解器、半定規(guī)劃求解器,再到今年10月份6.0版本發(fā)布混合整數(shù)二階錐規(guī)劃MISOCP求解器以及混合整數(shù)凸二次(約束)規(guī)劃MIQ(C)P求解器,杉數(shù)科技用四年時(shí)間填補(bǔ)了國產(chǎn)求解器的諸多空白。
在此期間,中科院、華為、阿里都在大力開發(fā)求解器,在求解器這個(gè)賽道,我們看到了越來越多的中國身影。而國產(chǎn)求解器隊(duì)列中,求解器COPT是迭代最快的。從1.0到6.0版本,求解模塊不斷擴(kuò)展,求解器性能連續(xù)攀升,同時(shí),也結(jié)合實(shí)踐反饋進(jìn)行了FeasRelax功能
、參數(shù)自動(dòng)調(diào)優(yōu)等多方面輔助實(shí)際應(yīng)用的功能升級(jí),為企業(yè)解決高性能求解問題提供了更多國產(chǎn)化的選擇。
在求解方式上,COPT求解器的線性規(guī)劃求解模塊實(shí)現(xiàn)了對(duì)偶單純形法與內(nèi)點(diǎn)法(包括Crossover),整數(shù)規(guī)劃求解模塊實(shí)現(xiàn)了以分支切割算法(Branch-and-Cut)為核心的求解方法,二階錐規(guī)劃求解模塊基于齊次自對(duì)偶模型,實(shí)現(xiàn)了帶預(yù)測(cè)校正的原始-對(duì)偶內(nèi)點(diǎn)法,這些模塊均可以利用多核處理器進(jìn)行并行計(jì)算。另外,半定規(guī)劃求解模塊,針對(duì)不同的半定規(guī)劃結(jié)構(gòu),實(shí)現(xiàn)了原始-對(duì)偶、對(duì)偶內(nèi)點(diǎn)法及交替方向乘子法,求解時(shí)會(huì)根據(jù)問題結(jié)構(gòu)選擇其中效率最高的一種。從求解速度來看,在美國ASU測(cè)評(píng)榜上,COPT求解器的大部分求解模塊的求解性能都已比肩甚至超越國際先進(jìn)求解器。
目前COPT求解器提供個(gè)人許可、集群許可和浮動(dòng)許可服務(wù),可滿足高校、科研機(jī)構(gòu)和企業(yè)的多元化求解需求。求解規(guī)模上,COPT能支持億量級(jí)問題的高效求解。針對(duì)特殊場(chǎng)景需求,COPT還能進(jìn)行定制化開發(fā)和增強(qiáng),有效擴(kuò)展了技術(shù)與場(chǎng)景的融合邊界。
精耕深作,推進(jìn)求解器國產(chǎn)化替代
縱觀國產(chǎn)求解器的發(fā)展歷程,其出現(xiàn)有賴于數(shù)字經(jīng)濟(jì)的發(fā)展,同時(shí)它也將成為推動(dòng)數(shù)字經(jīng)濟(jì)的新引擎。精益管理時(shí)代,無論是城市基礎(chǔ)設(shè)施運(yùn)營,還是企業(yè)生產(chǎn)管理,都需要借助海量數(shù)據(jù)驅(qū)動(dòng)做出科學(xué)決策,企業(yè)對(duì)求解器的需求日趨強(qiáng)烈。經(jīng)過短短幾年的發(fā)展,國產(chǎn)求解器已經(jīng)逐漸走進(jìn)基礎(chǔ)設(shè)施、工業(yè)制造、零售消費(fèi)等多個(gè)領(lǐng)域,成為眾多企業(yè)和機(jī)構(gòu)實(shí)現(xiàn)智能決策的有力支撐。其中,COPT求解器以強(qiáng)大的求解性能,吸引了眾多用戶的青睞。從COPT求解器的應(yīng)用地圖中,我們基本可以窺見國產(chǎn)求解器的應(yīng)用現(xiàn)狀。
在使用COPT求解器的用戶中,有很大一部分企業(yè)和機(jī)構(gòu),都在用國產(chǎn)求解器替代之前使用的國外求解器,比如,依托國家電網(wǎng)科技項(xiàng)目,杉數(shù)科技與中國電力科學(xué)研究院開展合作,研究基于國產(chǎn)優(yōu)化引擎的電力系統(tǒng)經(jīng)濟(jì)調(diào)度問題,推動(dòng)電力系統(tǒng)安全約束經(jīng)濟(jì)調(diào)度優(yōu)化引擎國產(chǎn)化,打破了長(zhǎng)期以來主流電力系統(tǒng)優(yōu)化引擎及分析技術(shù)的“卡脖子”問題。同時(shí),也有很多企業(yè)在推進(jìn)數(shù)字化建設(shè)的過程中,開始使用求解器技術(shù)來解決很多人工以及常規(guī)數(shù)字化系統(tǒng)無法解決的問題。
和簡(jiǎn)單引入求解器不同的是,杉數(shù)科技提供的不僅僅是求解器工具,而是以問題為出發(fā)點(diǎn)、以效果為導(dǎo)向,幫助企業(yè)和機(jī)構(gòu)建立基于求解器的智能決策優(yōu)化系統(tǒng)。在國際局勢(shì)動(dòng)蕩和疫情影響之下,各行各業(yè)都在倡導(dǎo)優(yōu)化,優(yōu)化效率,優(yōu)化成本,優(yōu)化質(zhì)量等等,比如,成百上千個(gè)加工廠和生產(chǎn)線,如何安排生產(chǎn)才能使成本更低效率更高?一輛輛飛馳而過的地鐵是如何保障運(yùn)行時(shí)間穩(wěn)定和車輛可用率的?遍布全國的零售店如何分貨配貨才能以更低的成本滿足訂單需求?
每個(gè)行業(yè)都有每個(gè)行業(yè)的問題,數(shù)學(xué)抽象建模是求解器優(yōu)化求解的第一步,只有深入場(chǎng)景內(nèi)部,建立科學(xué)合理的模型,引入求解器才能發(fā)揮更大意義。在推進(jìn)求解器應(yīng)用之初,國內(nèi)沒有經(jīng)驗(yàn)可循,沒有標(biāo)準(zhǔn)可參考,只能一個(gè)問題一個(gè)問題的去克服。到今天,COPT求解器已經(jīng)被應(yīng)用于各領(lǐng)域的百余家標(biāo)桿企業(yè)和機(jī)構(gòu),優(yōu)化效果顯著。天上飛的,地上跑的,以及豐富多元的工業(yè)和商業(yè)場(chǎng)景背后,都能看到國產(chǎn)求解器的身影。
例如,航天領(lǐng)域中的飛行器軌跡優(yōu)化問題是一類最優(yōu)控制問題,技術(shù)難度較高,利用COPT求解器可以實(shí)現(xiàn)最優(yōu)最快的軌跡優(yōu)化求解。通過將國產(chǎn)求解器與飛行器所載求解硬件進(jìn)行整合,并融合進(jìn)高效、可靠的定制化軌跡優(yōu)化求解算法,可實(shí)現(xiàn)飛行器在不依賴外部規(guī)劃和控制的情況下,保證最優(yōu)的實(shí)時(shí)軌跡控制并精準(zhǔn)到達(dá)目標(biāo)。
在軌道交通領(lǐng)域,針對(duì)乘務(wù)排班、運(yùn)行圖編制、列車檢修等優(yōu)化問題,COPT求解器也表現(xiàn)出較好的優(yōu)化求解效果。例如,為了解決乘務(wù)排班效率低、不均衡等問題,某地鐵運(yùn)營公司綜合考慮出勤時(shí)間、退勤人數(shù)、里程工時(shí)、站點(diǎn)換乘等排班約束,構(gòu)建智能乘務(wù)排班模型,使用COPT進(jìn)行求解,有效降低了正線值乘人數(shù),提升了乘務(wù)員的滿意度。
在能源電力領(lǐng)域,COPT求解器可廣泛用于無功調(diào)度優(yōu)化、電力市場(chǎng)定價(jià),電力市場(chǎng)出清等典型能源電力優(yōu)化場(chǎng)景。例如,在南方區(qū)域電力市場(chǎng)建設(shè)過程中,杉數(shù)科技協(xié)力南方電網(wǎng)打造了電力市場(chǎng)出清引擎,綜合考慮交直流迭代、梯級(jí)水電等復(fù)雜約束特點(diǎn),設(shè)計(jì)出清計(jì)算差異化算法,對(duì)電力現(xiàn)貨市場(chǎng)原出清模型進(jìn)行深度定制化改造,顯著提升了現(xiàn)貨市場(chǎng)出清計(jì)算效率,實(shí)現(xiàn)機(jī)組出力分配最優(yōu)化,促進(jìn)電力現(xiàn)貨交易的供需平衡,有效降低了平均發(fā)電成本,提升了整體運(yùn)營效率和效益。
在工業(yè)生產(chǎn)中,對(duì)于涉及上百個(gè)工廠、數(shù)萬生產(chǎn)零件的排產(chǎn)排程、物料籌措等問題,COPT求解器同樣是優(yōu)化利器。例如,某ICT巨頭針對(duì)數(shù)百個(gè)工廠,構(gòu)建多工廠協(xié)調(diào)排產(chǎn)引擎,綜合考慮多工廠的差異化屬性、物料約束、產(chǎn)能約束等,達(dá)成多工廠多產(chǎn)線智能協(xié)同生產(chǎn),利用排產(chǎn)模型和求解器快速計(jì)算和決策,實(shí)現(xiàn)天及周維度的多周期生產(chǎn)排程計(jì)劃最優(yōu),最終將訂單滿足率提高20%、產(chǎn)能損失率降低30%,靈活高效地滿足了客戶需求。
從建模、求解到?jīng)Q策優(yōu)化,不同場(chǎng)景的求解思路是一致的,但每個(gè)場(chǎng)景都蘊(yùn)含了非同一般的技術(shù)高度和業(yè)務(wù)精度,場(chǎng)景的差異化以及建模難度使其很難快速普及。而隨著國產(chǎn)求解器走進(jìn)更多領(lǐng)域,領(lǐng)先企業(yè)沉淀下來的經(jīng)驗(yàn)正在突破這道高墻,比如,針對(duì)不同行業(yè)的場(chǎng)景,構(gòu)建多種基礎(chǔ)模型庫,形成標(biāo)準(zhǔn)化的優(yōu)化求解方案,不同企業(yè)在解決同類問題時(shí),根據(jù)差異化需求進(jìn)行定制化調(diào)整,可以極大降低企業(yè)使用運(yùn)籌優(yōu)化技術(shù)的難度。
產(chǎn)學(xué)研用聯(lián)動(dòng)發(fā)展,為大規(guī)模產(chǎn)業(yè)化落地鋪路
雖然求解器迎來了發(fā)展的大時(shí)代,目前我們也只看到了冰山一角,對(duì)于體量龐大的數(shù)字經(jīng)濟(jì)而言,求解器未來的應(yīng)用空間還很大。而要擴(kuò)大求解器的產(chǎn)業(yè)寬度,我們還有很長(zhǎng)的路要走,這有賴于各方參與者的共同努力。
除了在各個(gè)商用領(lǐng)域加速推進(jìn)國產(chǎn)求解器落地,杉數(shù)科技等領(lǐng)先企業(yè)也在借助多方資源和力量,推動(dòng)產(chǎn)學(xué)研用聯(lián)動(dòng)發(fā)展。比如,為了強(qiáng)化求解器的理論和實(shí)踐教育,杉數(shù)科技聯(lián)合名校師資力量和行業(yè)專家打造了運(yùn)籌與智能決策教學(xué)平臺(tái)--CORIDM,平臺(tái)集課程、案例、實(shí)踐為一體,為高校師生、科研人員及企業(yè)用戶搭建運(yùn)籌優(yōu)化與智能決策技術(shù)學(xué)習(xí)、交流和應(yīng)用的橋梁,致力于將求解器研發(fā)及應(yīng)用方面的成功經(jīng)驗(yàn)向更大范圍普及。
應(yīng)用層面,2022年《工業(yè)智能決策白皮書》的誕生,為求解器在工業(yè)場(chǎng)景的應(yīng)用帶來了系統(tǒng)的指引。白皮書對(duì)以求解器為核心的智能決策技術(shù)的理論和落地方法論進(jìn)行了全面闡述,打開了求解器與工業(yè)制造各場(chǎng)景連通的密碼,也將為求解器在更多場(chǎng)景的應(yīng)用提供參考。
對(duì)于數(shù)學(xué)優(yōu)化這道迷人的數(shù)學(xué)題,在實(shí)驗(yàn)室里潛心研究非常重要,但只有讓其在各個(gè)產(chǎn)業(yè)落地開花,才能釋放出技術(shù)的終極價(jià)值。而杉數(shù)科技所做的,就是本著創(chuàng)業(yè)者的初心,向上,不斷探索技術(shù)高峰,融合機(jī)器學(xué)習(xí)等人工智能技術(shù)推進(jìn)求解器持續(xù)升級(jí);向下,持續(xù)感知企業(yè)和機(jī)構(gòu)的切實(shí)需求,讓求解器真正走進(jìn)產(chǎn)業(yè)改革的最深處。
其實(shí),不止求解器技術(shù)如此,整個(gè)應(yīng)用數(shù)學(xué)的發(fā)展都需要更多新力量來突破邊界、下沉場(chǎng)景和規(guī)模推進(jìn),才能跨越技術(shù)和應(yīng)用的“達(dá)爾文之海”。數(shù)字經(jīng)濟(jì)背景之下,以問題驅(qū)動(dòng)的應(yīng)用數(shù)學(xué)越來越重要,數(shù)學(xué)優(yōu)化之光正在照進(jìn)千行百業(yè),國產(chǎn)求解器的大規(guī)模產(chǎn)業(yè)化落地不遠(yuǎn)了。