谷歌宣布其人工智能平臺(tái)的一個(gè)關(guān)鍵組成部分——人工智能預(yù)測(cè)服務(wù)已正式全面啟動(dòng)。該服務(wù)支持托管在主流的機(jī)器學(xué)習(xí)框架，包括TensorFlow、XGBoost和Scikit-Learn中。
AI Prediction服務(wù)充當(dāng)機(jī)器學(xué)習(xí)管道的最后階段。它在云中托管經(jīng)過(guò)訓(xùn)練的機(jī)器學(xué)習(xí)模型，以推斷新數(shù)據(jù)的目標(biāo)值。部署在AI預(yù)測(cè)服務(wù)中的經(jīng)過(guò)訓(xùn)練的模型作為REST端點(diǎn)公開(kāi)，可以從任何支持HTTP的標(biāo)準(zhǔn)客戶端調(diào)用這些端點(diǎn)。
AI平臺(tái)預(yù)測(cè)服務(wù)基于Google Kubernetes Engine（GKE）后端，旨在通過(guò)新的硬件選項(xiàng)（如Google計(jì)算引擎機(jī)器類(lèi)型和NVIDIA GPU）提高可靠性和靈活性。
雖然該服務(wù)基于googlekubernetes引擎，但AI預(yù)測(cè)服務(wù)隱藏了集群的供應(yīng)、管理和擴(kuò)展的復(fù)雜性。數(shù)據(jù)科學(xué)家和工程師可以專注于業(yè)務(wù)問(wèn)題，而不是管理基礎(chǔ)設(shè)施。
在一般可用性下，AI預(yù)測(cè)服務(wù)支持高內(nèi)存和高cpu機(jī)器類(lèi)型上的XGBoost和Scikit學(xué)習(xí)模型。在后臺(tái)，服務(wù)根據(jù)流量和請(qǐng)求自動(dòng)擴(kuò)展和收縮基礎(chǔ)設(shè)施。
該服務(wù)與Google云控制臺(tái)和Stackdriver緊密集成，以跟蹤和可視化資源指標(biāo)。與模型的GPU、CPU、RAM和網(wǎng)絡(luò)利用率相關(guān)的性能指標(biāo)可以深入了解性能特征。
客戶可以選擇通過(guò)AI Prediction服務(wù)在特定區(qū)域部署機(jī)器學(xué)習(xí)模型。Google在三個(gè)區(qū)域（us-central1、euro-west4和asia-east1）中引入了新的端點(diǎn)，并通過(guò)區(qū)域隔離來(lái)提高可靠性。部署在區(qū)域端點(diǎn)上的模型位于指定區(qū)域內(nèi)，為客戶提供數(shù)據(jù)局部性和所有權(quán)。
通過(guò)增加對(duì)VPC控件的支持，客戶可以定義安全范圍并部署僅可訪問(wèn)該范圍內(nèi)或另一個(gè)橋接范圍內(nèi)的資源和服務(wù)的在線預(yù)測(cè)模型。由于預(yù)測(cè)服務(wù)端點(diǎn)是VPC專用的，因此數(shù)據(jù)保留在專用網(wǎng)絡(luò)內(nèi)，而不必遍歷公共互聯(lián)網(wǎng)。
通過(guò)AI Prediction服務(wù)部署和公開(kāi)的模型支持在線和批處理推理。在線預(yù)測(cè)經(jīng)過(guò)優(yōu)化，可最大程度地減少服務(wù)預(yù)測(cè)的延遲，而批處理預(yù)測(cè)，則可以優(yōu)化處理作業(yè)中的大量實(shí)例。與立即發(fā)送結(jié)果的在線預(yù)測(cè)不同，批處理預(yù)測(cè)將推理輸出寫(xiě)入存儲(chǔ)在Google Cloud Storage存儲(chǔ)桶中的文件中。
谷歌一直在大力投資人工智能平臺(tái)即服務(wù)（PaaS）產(chǎn)品。它整合和擴(kuò)充了包括cloudml引擎在內(nèi)的各種服務(wù)。通過(guò)與GKE和Kubeflow的緊密集成，該服務(wù)已經(jīng)發(fā)展成為一個(gè)支持?jǐn)?shù)據(jù)準(zhǔn)備、轉(zhuǎn)換、培訓(xùn)、模型管理、部署和推理的端到端平臺(tái)。
