Beam 模型尚未包含的其他常見功能
排空 (Drain) |
---|
檢查點 (Checkpoint) |
鍵值排序傳遞 |
Google Cloud Dataflow | Apache Flink | Apache Spark (基於 RDD/DStream) | Apache Spark 結構化串流 (基於 Dataset) | Apache Samza | Apache Nemo | Hazelcast Jet | Twister2 | Python Direct FnRunner | Go Direct Runner |
---|
部分支援 Dataflow 有原生的排空操作,但在存在事件時間計時器迴圈的情況下無法運作。最終實作尚待模型支援。 | 部分支援 Flink 支援為管線建立「儲存點」,並在完成後關閉管線。 | : | : | : | : | : | : | |
否 | 部分支援 Flink 具有原生儲存點功能。 | 部分支援 Spark 具有原生儲存點功能。 | 否 尚未實作 | 部分支援 Samza 具有原生檢查點功能。 | : | : | : | |
部分支援 Dataflow 為批次和串流執行不同的混洗演算法。Dataflow 保證在串流中進行鍵值排序傳遞,但在批次中則不保證。 | 部分支援 Flink 可能為批次和串流執行不同的混洗演算法。Flink 保證在串流中進行鍵值排序傳遞,但在批次中則不保證。 | 未驗證 | 未驗證 | 未驗證 | 部分支援 Samza 可能為批次和串流執行不同的混洗演算法。Samza 保證在串流中進行鍵值排序傳遞,但在批次中則不保證。 | 未驗證 | 未驗證 | 未驗證 |
上次更新於 2024/10/31
您是否找到所有您要尋找的資訊?
內容是否實用且清楚?您是否有任何想要變更的地方?請告訴我們!