6月20日消息,亞馬遜云科技推出Amazon Redshift流式注入(Streaming Ingestion)功能預覽,讓客戶能夠直接從Amazon Kinesis Data Streams向Amazon Redshift數據倉庫中注入實時數據并分析。
通常,在游戲實時數據分析、在線廣告點擊流分析、零售POS機數據流分析、應用日志和網絡日志分析、物聯網設備數據分析等應用場景中,應用或者終端設備會在短時間內持續生成巨量數據流。這些數據流會被送到Amazon Kinesis Data Streams進行實時緩存并最終使用Amazon Redshift完成數據分析。
以往,亞馬遜云科技的客戶如果想從Amazon Kinesis Data Streams向Amazon Redshift注入實時數據,需要先在Amazon S3中暫存數據,然后使用Copy命令加載數據來構建數據管道,這一過程通常需要幾分鐘才能完成。
現在,Amazon Redshift流式注入功能可以讓客戶無需在Amazon Simple Storage Service(Amazon S3)中暫存數據,直接將每秒數百兆的流數據接收到Amazon Redshift數據倉庫集群并處理。客戶使用現有工具和SQL執行下游處理和轉換,無需額外的成本,在幾秒鐘內從數據中獲得洞察。
亞馬遜云科技方面表示,Amazon Redshift流式注入(Streaming Ingestion)功能的推出大幅簡化流式數據管道構建,加速數據處理,支持以低延遲、高吞吐量訪問數據倉庫中的實時數據,幫助數據工程師、數據分析師和大數據開發者將數據分析從“批量”轉向“實時”,提升了亞馬遜云科技實時數據處理能力,并將進一步推動機器學習由實驗轉向規模化落地。