2022 亞馬遜云科技re:Invent全球大會進入第二天,亞馬遜云科技首席執行官 Adam Selipsky 發表了“如何借助云的力量,在未知領域抓住機遇并茁壯成長”的主題演講。在兩個小時的演講中,Adam 重點圍繞數據、安全、計算性能和行業應用等4個主題發布了多項重磅發布,助力云上客戶快速實現數字化轉型,提高創新速度。
數據之浩瀚
Adam 提到,正如宇宙探測一樣,我們要用多個工具才能夠深切地了解到深不可測的宇宙,我們需要把不同系統、不同部門的各種深刻見解整合在一起,才能去尋找各種可能。同樣,數據領域也是如此,管理數據的規模和增長既是一個巨大的挑戰,也是一個機遇,我們需要一套完整的工具來應對數據的規模和種類。
企業需要對數據做到很好的管理,來保證數據是安全的,同時還要去理解這些數據,然后探索這些數據可以給企業帶來的各種潛力。亞馬遜云科技專注于構建所有這些功能,亞馬遜云科技倡導在數據管理領域需要有:
1)恰當的工具
2)有效的數據集成
3)規范數據治理
4)深入的業務洞察力
端到端的數據服務
推出 Amazon OpenSearch Serverless 版本
為了幫助客戶更好的管理和處理數據、提取數據價值,亞馬遜云科技打造了多款數據分析的工具,客戶可以使用不同工具來應對數據的不同規模和多樣性。亞馬遜云科技擁有的每個數據庫解決方案都是針對客戶的特定需求而推出的,每個數據分析解決方案在其產品組合中都有著清晰的定位。
面對日益增長的客戶需求,Adam 宣布正式推出 Amazon OpenSearch Serverless 版本,新解決方案簡化了運行 PB 級搜索和分析工作負載的過程,而無需配置、管理或擴展 OpenSearch 集群。OpenSearch Serverless 自動調配和擴展底層資源,為最苛刻和最不可預測的工作負載提供快速數據接收和查詢響應。使用 OpenSearch Serverless,客戶只需支付所消耗的資源。至此,亞馬遜云科技所有關鍵的數據分析服務均已提供無服務器選項。
除了提供數據分析服務以外,亞馬遜云科技對專家級的從業者也提供了非常強有力且實用的平臺,助力每一個數據開發者簡化繁雜工作,提升工作效率。我們將數據分析與機器學習能力做了有效的集成,通過 Amazon SageMaker,進一步挖掘數據的價值,促進企業增長。
數據集成
在數據集成方面,Adam 重點提到了 ETL(數據提取,轉換和加載),以及它是重復性無差別的繁重工作。在這方面,亞馬遜云科技的 Redshift、Athena 和 Data Exchange 以及 SageMaker 集成可以提供更好的幫助。Adam 宣布 Amazon Aurora 將首次支持與 Amazon Redshift 的 Zero-ETL(提取、轉換和加載)集成,以實現對 Aurora PB 交易數據的近實時分析和機器學習。
Zero-ETL 集成
這種集成將事務數據與分析功能結合在一起,消除了在 Aurora 和 Redshift 之間構建和管理自定義數據管道的所有工作。用戶不必構建和維護復雜的數據管道來執行提取、轉換和加載(ETL)操作。Adam 強調:“數據進入 Aurora 幾秒鐘后,就可以在 Redshift 內無縫提供。您可以在同一個 Redshift 實例中復制來自多個Aurora 數據庫的數據。整個系統是無服務器的,并根據數據量動態地上下擴展。因此,沒有需要管理的基礎設施。現在,您在 Aurora 中真正實現了兩全其美的快速、可擴展的事務,以及 Redshift 中的可擴展分析,都在一個無縫系統中。” 亞馬遜云科技堅信 zero-ETL 必將是最終目標,亞馬遜云科技正在努力構建一個完全無需 ETL 的未來!
Amazon Redshift 與 Apache Spark 集成
此外,Adam 還宣布了 Amazon Redshift 與 Apache Spark 集成,以幫助數據工程師構建和運行 Spark 應用程序,這些應用程序可以從 Amazon RedShift 集群消費和寫入數據。“今天,如果你在 EMR 工作,你可以使用 Spark 對數據進行分析。但如果你想對 Redshift 中的數據運行 Spark 查詢,你必須要么將數據移動到 S3,要么查找、下載并配置緩慢的開源容器到 Redshift 的連接器。更好的方法是只在 Redshift 對數據運行一個 Spark 查詢。” Adam 在他的主題演講中說道,“所以我們希望快速無縫,我很高興為 Apache Spark 引入 Amazon Redshift 集成。”
如果客戶正在使用亞馬遜云科技的分析和機器學習服務,如 Amazon EMR、Amazon Glue 和 Amazon SageMaker,他們現在可以構建 Apache Spark 應用程序,在不影響應用程序性能或數據的事務一致性的情況下讀取和寫入 Amazon Redshift 數據倉庫。
Adam 表示,“現在在亞馬遜云科技的Amazon Redshift 上運行 Apache Spark 應用程序非常容易,不再需要移動任何數據,也不再需要構建或管理任何連接器。” 針對 Apache Spark 的 Amazon Redshift 集成最大限度地減少了設置 Spark Redshift 開源連接器的繁瑣且通常是手動的過程,并減少了準備分析和 ML 任務所需的時間。
數據合規與可控
接下來討論使數據可訪問但又合規和可控的方法。合規可控與可訪問性之間的平衡很難實現,建立正確的數據治理機制,是給人信任和信心,是鼓勵創新,而不是限制創新。然而,在所有團隊和職能部門之間建立企業范圍的治理是一項艱巨但關鍵的任務。
發布 Amazon DataZone
實現簡易精細的數據管理
亞馬遜云科技宣布推出 Amazon DataZone,一項用于分類、發現、共享和管理數據的數據管理服務,可以集成 Redshift、Athena 和 QuickSight,以及對第三方數據源提供 API 接口,可實現細粒度數據管理,其中包含由機器學習填充的數據目錄,易于使用業務術語進行搜索。
Adam 表示,“DataZone 使數據管理員能夠輕松管理對數據的管理訪問,從而使您能夠在整個組織中安全地釋放數據。它使數據工程師、數據科學家、產品經理、分析師和其他業務用戶能夠輕松地發現、使用和協作這些數據,為您的業務提供見解。”
更廣闊的數據洞察
Amzon Quicksight Q 預測服務
數據的第四個部分就是實現業務洞察,Adam 宣布使用 Amzon Quicksight Q 應用探索新的基于機器學習的預測服務正式發布,以探索更廣闊的數據領域。使用 Q 進行基于機器學習的預測,用戶可以在不涉及任何分析師或數據科學家的情況下查看業務績效預測。QuickSight Q 還將支持自然語言“為什么”問題,允許非分析師深入研究數據并找出導致特定結果的因素。
“您需要所有工具來處理海量且不斷擴大的數據量。當您擁有所有這些時,您就擁有了完整的端到端數據策略。” Adam表示,亞馬遜云科技是實現這一目標的助力,因為我們在“整個數據之旅”中做了大量投入,目標是幫助客戶更好的釋放數據的價值。亞馬遜云科技在數據服務領域的版圖已經變得更清晰、更全面,企業將在亞馬遜云科技的助力下,擁有各種各樣的工具來輕松應對以往經常面臨的數據類型多樣性、業務需求和使用場景復雜性的難題。
安全之深不可測
安全性是客戶選擇亞馬遜云科技的主要原因之一,亞馬遜云科技提供的安全性是其他的云提供服務商所難以比擬的。管理數據安全是我們工作的重中之重,為客戶提供包括從醫療服務、銀行還有其他的金融機構等各個領域最安全的云服務,并致力于提升系統的彈性和柔韌度。我們能夠為客戶提供高級而安全的服務,幫助客戶去識別、去探測、去減輕減少各種網絡安全的威脅。
Amazon GuardDuty
更新快速響應安全威脅
Amazon GuardDuty 這樣一個組件就具有檢測并且響應安全威脅的功能。在演講中 Adam 正式宣布了 Container runtime threat detection for GuardDuty。更新版的 GuardDuty 能檢測容器內部可能存在的安全風險,識別那些試圖訪問控制節點的的操作,支持與 Amazon EKS 集成。
它能夠在運行時間去探測到這些威脅,不僅是監測它,更重要的是去提升系統的功能,同時加固網絡之間的連接。在不同計算機的節點中,它的安全性如何?在各個不同的容器之間它是怎么樣來實現互聯的?對此我們提供了數千個不同的安全解決方案,同時我們也把數千第三方的安全解決方案集成到亞馬遜云科技服務的云端服務的平臺上,確保您的安全。
Amazon Security Lake
帶來數據安全新福音
Adam宣布推出 Amazon Security Lake,可以自動將來自云、本地和自定義來源的安全數據集中到存儲在用戶賬戶中的專用數據湖中。Security Lake 使分析安全數據變得更加容易,以便用戶可以更全面地了解整個組織的安全性,可以自動收集和管理您跨賬戶和區域的所有安全數據。用戶可以使用自己習慣的分析工具,同時保留對安全數據的控制和所有權。Security Lake 采用了開放式網絡安全架構框架 (OCSF),這是一種開放標準。它有助于規范化和組合來自亞馬遜云科技和廣泛的企業安全數據源的安全數據。
這是一個巨大的勝利,從長遠來看,對于打擊不良行為者和創建更易于管理的網絡安全運營生命周期來說將是一個重大的福音。
計算性能之極限
在極端的環境里面,足夠好,有時候還是不足夠好,所以我們準備好克服各種各樣的困難,我們在亞馬遜云科技應對的是各種極端的環境。比如,F1 賽車有5億個不同的數據點需要得到監控,從60到12個小時的減少時間,Epic Game 需要支持上億個不同的玩家,所以他們有很多的要求,他們需要處理成億的不同的要求,我們也可以給他們提供非常小的延遲。Nielsen 每天有數十億的數據需要處理。所以亞馬遜云科技一直在創新,長期為客戶提供所有數據分析的可用工具。亞馬遜云科技現在有600多種實例類型來滿足幾乎任何類型的需求或使用案例,其中許多實例使用的是特別定制的芯片。
Hpc6id 實例
以 HPC 客戶的需求為例,首先要根據他們確切的工作負載來確定他們的性能的規模;第二,就是要提供簡易使用的工具,確保客戶可以多方嘗試,用更少的時間來管理他們的基礎設施。HPC就是一個很好的選擇,它可以將管理擴展到數百萬的用例上面,最大程度地優化客戶的工作負載。
基于此,亞馬遜云科技正式發布了用于高性能計算(HPC)的新亞馬遜彈性計算云(Amazon EC2)Hpc6id 實例,基于 Amazon Nitro 系統構建的 EC2 Hpc6id 實例提供 200Gbps 彈性結構適配器網絡,用于高吞吐量節點間通信,使客戶 HPC 工作負載能夠大規模運行。Adam 表示:“Hpc6id 實例旨在為數據、內存密集型 HPC 工作負載、更高的內存帶寬、更快的本地 SSD 存儲和彈性結構適配器增強的網絡提供領先的性價比。使用 EC2 Hpc6id 實例,您可以降低 HPC 工作負載的成本,同時利用亞馬遜云科技的彈性和可擴展性。”
多樣化的強大實例
滿足您的所有需求
今天的機器學習模型已經發展到使用1000億個參數,在短短幾年內增加了一百倍。這大大推高了訓練機器學習模型的成本。隨著企業構建的機器學習模型越來越復雜,訓練和運行這些模型的成本成為一個現實問題。亞馬遜云科技創建了一系列創新實例來幫助用戶降低成本,Adam提到Trn1實例專為高性能訓練而構建,同時與同類基于 GPU 的實例相比,可節省高達 50% 的訓練成本。Trn1 實例對流行的NLP模型進行深度學習訓練時提供最高性能。同時宣布推出EC2 Inf2 實例預覽版,旨在以最低的成本為推理應用程序提供高性能。與 Inf1 實例相比,Inf2 實例提供高 3 倍的計算性能、高 4 倍的吞吐量和低 10 倍的延遲。
行業應用之無限可能
除了主要的產品升級以外,亞馬遜云科技還致力于打造面向特定行業或者特定應用場景的解決方案,以幫助客戶快速適配自己的應用場景,加速創新與縮短產品上市時間。
新服務
Amazon SupplyChain
Adam 首先推出了 Amazon SimSpace Weaver,只需要簡單的幾個操作就能在云端運行大規模空間模擬工作,支持主流 3D 引擎,包括 Unreal Engine 和 Unity。該服務旨在將仿真開發人員從他們自己的硬件限制中解放出來。Adam 表示,使用 SimSpace Weaver,您可以創建無縫的虛擬世界,其中包含數百萬個對象,這些對象可以實時交互,而無需管理后端基礎設施。
功能升級的Amazon CleanRooms
基于 Amazon Connect 的呼叫中心已經廣泛獲得了客戶的認可,每天支撐超過1000萬次互動。Adam 宣布了 Connect 新功能:新的機器學習驅動的預測、容量規劃和調度。“如今,數以萬計的客戶使用 Connect 每天支持超過1000 萬次互動,僅三周就可以快速部署可用的連接。比如,Convoy 在不到一分鐘的時間內接聽的升級呼叫的百分比提高了50%,Priceline 使1000多名座席能夠使用 Connect 在家工作。”
新方案
Amazon SimSpace Weaver
除此之外,Adam 還宣布推出客戶期待已久的供應鏈解決方案 Amazon Supply Chain。“許多亞馬遜云科技的客戶問我們,我們是否愿意采用亞馬遜供應鏈技術、亞馬遜云科技基礎設施和機器學習來幫助他們解決供應鏈問題。” Amazon Supply Chain 是一個基于云的新應用程序,可幫助供應鏈領導者減輕風險并降低成本,以提高供應鏈彈性。Amazon Supply Chain 統一了供應鏈數據,提供了基于 ML 的可操作見解,并提供了內置的上下文協作,所有這些都有助于用戶通過減少缺貨來提高客戶服務水平,同時幫助降低積壓成本。
Amazon Supply Chain 提供了一個實時可視化地圖功能,顯示了每個地點的庫存水平和健康狀況,并提供了目標觀察列表,以提醒您潛在的風險。當風險被發現時,Amazon Supply Chain 供應鏈提供庫存再平衡建議和內置的上下文協作工具,使跨團隊協調實施解決方案更加容易。Adam 表示:“這只是一個開始。我們將繼續在這里投資,努力解決您最困難的供應鏈問題。”
功能升級的Amazon Connect服務
在廣告營銷領域,Adam宣布推出 Amazon Clean Rooms,用于在共享營銷數據上進行安全協作并維護用戶的數據隱私。
通過分析組合的數據集,您可以提升對客戶提供各種服務的質量和水平,在查詢數據的同時可以把數據進行加密。
生物醫療
在生物醫療領域,Adam 正式宣布了 Amazon Omics,幫助用戶存儲、查詢、分析基因組數據并從中生成見解。Amazon Omics 通過幾次的點擊就可以進行相關的科學分析,Amazon Omics 有各種各樣的功能,也是一個安全的環境,并且符合相關的監管規定。我們用 Amazon Omics 來幫助我們更有目標地針對某一種疾病進行研究。
零售行業
談到零售業,Adam 提到了亞馬遜的 Just Walk Out 技術,一種可以用你的手掌支付,而不需要錢包或手機的技術。“我們已經看到了西雅圖水手隊的例子,他們報告說,在安裝了Just Walk Out技術后,水手商店的交易增加了三倍以上。”
最后,Adam 總結道,幫助有想法的人去創造機遇,實現轉型和創新發展,最重要就是“云的力量”,亞馬遜云科技就是這樣一個馭云賦能的角色。