> Source
機器學習距1950年代已經走了很長一段路，當時，人們設計了用于簡單機器學習算法的統計方法，并引入了貝葉斯方法進行概率建模。 接近二十世紀，基于艾倫·圖靈（Alan Turing）在計算機技術上的進步，對支持向量機和基本神經網絡等模型的研究隨著反向傳播的發現而激增。 幾年后，大規模計算的可用性已被大規模的神經網絡所取代，這些神經網絡可以在圍棋上擊敗世界冠軍，產生逼真的藝術并進行閱讀。 從歷史上看，機器學習的進步一直受到計算能力的推動。
隨著在經典計算中使計算機芯片變得越來越強大的動力開始枯竭（位接近它們可能的最小分子大小），機器學習開發不再能夠依靠計算能力的穩定增長來開發更強大的功能。 和有效的模型。 作為響應，機器學習正在轉向成分學習。
成分學習基于這樣一個想法，即一個模型無法做到所有。 當深度神經網絡僅用于一項任務（例如，識別惡性或良性癌細胞或將圖像分類為狗或貓）時，它們可以表現良好。 不幸的是，在神經網絡中已經觀察到的事情是它們只能很好地完成一件事。 隨著人工智能的應用日益復雜，單一的神經網絡只會越來越大，這說明了神經元越來越多的新并發癥。
如前所述，這種持續增長的能力已經到了死胡同。 通過將這些神經網絡中的幾個進行組合以執行完整任務的各個部分，該模型作為一個整體，在執行這些復雜任務時會表現得更好，同時又保持了合理的計算空間。 當一項任務分解為多個神經網絡時，每個單獨的網絡都可以專注于各自的領域，而不是需要全部由一個網絡覆蓋。 這類似于要求總統（或總理）在勞動，國防，衛生和其他部門秘書的支持下做出決定。
例如，考慮以下任務：為高檔餐廳創建一個與用戶互動的聊天機器人，該聊天機器人可以執行常見的任務，例如查詢菜單或進行預訂，以及進行閑聊。
對話可以清楚地分為三個部分：歡愉和閑談，信息檢索和行動。 我們可以選擇一個更分布式的系統，而不是采用一個機器學習模型來處理以前的交互并輸出響應，
一個神經網絡可以推斷出手頭有什么任務-如果用戶正在引導對話，期望獲得愉悅，信息或行動，則將任務分配給專門的網絡。 通過使用分布式模型而不是諸如編碼器-解碼器網絡或文本GAN *之類的東西，可以實現兩個好處：
· 精度更高。 由于將任務委派給三個單獨的模型，每個模型專門研究自己的領域，因此提高了模型的性能。
· 更快的運行時間。 盡管訓練分布式模型通常比較困難，但是進行預測時分布式模型要快得多，這對于需要快速響應的項目來說必不可少。 這是因為可以將分布式模型視為"分裂"奇異模型，因此信息僅通過與當前任務有關的有用神經元傳遞，而無需流經整個網絡。
*編碼器/解碼器網絡和GAN由多個網絡組成，也許可以將其視為組成模型本身。 在這種情況下，僅將它們視為單數是因為組合模型在其上擴展以使其更有效。 所描述的結構化構成模型更多是"構成-構成模型"。
或者，考慮使用GAN（生成模型）代替傳統的數據增強方法，該方法在許多情況下不適合上下文并提供過多的有害噪聲。 通過不斷將新生成的GAN數據匯入模型，解決了兩個問題：
· 類標簽不均勻。 數據收集的一個巨大問題是模型傾向于以與標簽中相同的比例進行預測。 如果cat-dog數據集中75％的標簽為" dog"，則模型也會在大多數情況下建議使用" dog"。 通過使用GAN，可以創建其他圖像來消除類不平衡。
· 過度擬合。 GAN通常是通過數據擴充來解決的問題，它提供了一種在通用上下文數組中表現更好的解決方案。 例如，名人臉部的扭曲可能會導致圖像無法與其類別聯系在一起。 另一方面，GAN提供了過擬合所需的其他變化，并且可以更有效地提高模型學習的效率。
或者，例如，考慮一個雙模型系統，該系統更建設性地允許模型學習容易學習的（原始難度評估模型可以高置信度/概率來解決）樣本，并且僅在深度神經網絡之后才引入更困難的訓練樣本 掌握了以前的知識。
通過先建立基礎概念，然后微調權重以獲取更困難的數據樣本，這種漸進式難度學習可能比傳統的學習方法更有效。 這個想法依賴于組成模型框架，它由通過邏輯流程鏈接的兩個或多個子模型組成。
應該注意的是，成分學習與整體方法有所不同，因為a）成分學習中的模型執行不同的任務，并且b）基于上下文的關系是成分學習的關鍵部分，整體方法中不存在這種關系。
成分學習比標準建模困難得多，后者需要選擇正確的算法并準備數據。 在組合系統中，有無數種方法可以構造每個模型之間的關系，而所有方法都取決于上下文。 從某種意義上說，構建成分學習模型是一門藝術。 確定使用哪種類型的模型以及之間的關系需要額外的編碼，創造性思維以及對模型本質的基本理解，但是在處理AI在2020年及未來需要解決的復雜問題時，這將帶來巨大的回報。
人工智能的未來在于成分學習。
(本文翻譯自Andre Ye的文章《Compositional Learning is the Future of machine Learning》，參考：
https://medium.com/swlh/compositional-learning-is-the-future-of-machine-learning-22b56ad09edc)
