串流處理挑戰
在即時資料到達時處理,您可以比傳統資料分析技術更快地做出決策。但是,建置和操作您自己的自訂串流資料管道非常複雜,而且需要耗費大量資源:
-
您必須建置一個系統,能夠以符合成本效益的方式來收集、準備和傳輸來自數千個資料來源的資料。
您需要對存放和運算資源進行微調,以便有效地批次處理和傳輸資料,以實現最大輸送量和低延遲。
-
您必須部署和管理伺服器機群來擴展系統,以便您可以處理將要拋出的不同速度的資料。
版本升級是複雜而且成本高昂的過程。建置此平台後,您必須監控系統並從任何伺服器或網路故障中恢復,方法是從串流中的適當位置捕捉資料處理,而不是建立重複的資料。您還需要一個專門的基礎設施管理團隊。所有這些都需要寶貴的時間和金錢,最終,大多數公司從來沒有到達這一目標,而必須與現狀妥協,使用幾個小時或幾天的資訊來經營業務。