Apache Beam 路線圖

Apache Beam 不是由任何一家商業實體管理或引導,而是由其專案管理委員會 (PMC) 管理,因此我們沒有具體時間表的計劃意義上的路線圖。相反,我們分享我們對未來的願景以及使用者可以期待的主要倡議,這些倡議正在接受關注和貢獻。

Beam 的主要組成部分都有自己的路線圖,您可以透過選單找到。以下是整個專案的一些重點。

可移植性框架

可移植性是 Beam 的主要願景:在任何執行器上執行使用任何 SDK 撰寫的管線。這是 Java、Python 和 Go 以及每個 Beam 執行器的跨領域努力。目前,FlinkSparkPrism 執行器支援可移植性。

請參閱 可移植性路線圖上的詳細資訊

跨語言轉換

作為可移植性努力的一項好處,我們能夠在各個 SDK 中利用 Beam 轉換。範例包括在 Python 或 Go 管線中使用 Java 連接器和 Beam SQL,或在 Java 和 Go 中使用 Beam TFX 轉換。如需詳細資訊,請參閱 多 SDK 努力的路線圖

Go SDK

Go SDK 是最新的 SDK,也是第一個完全基於可移植性框架建置的 SDK。如果這引起您的興趣,請參閱 Go SDK 的路線圖

Python 3 支援

Apache Beam 2.14.0 及更高版本支援 Python 3.5、3.6 和 3.7。我們繼續改進 Python 3 使用者的體驗,並計劃逐步淘汰 Python 2 的支援 (BEAM-8371)

請參閱 Python SDK 的路線圖中的詳細資訊。

Java 17 支援

Java SDK 渴望為 Java 的下一個 LTS (長期支援) 版本新增支援。請參閱 Java SDK 的路線圖中的詳細資訊。

SQL

Beam 的 SQL 模組正在迅速成熟,允許使用者僅使用 SQL 撰寫批次和串流管線,同時也允許 Beam Java 開發人員在其管線的組件中使用 SQL 來提高效率。請參閱 Beam SQL 路線圖

可攜式模式

模式允許 SDK 和執行器了解使用者資料的結構,並釋放關聯式最佳化的可能性。可攜式模式可在 Python 和 Java 中的列之間實現相容性。一個特別有趣的用例是透過 Beam 的跨語言支援將 SQL (在 Java 中實作) 與 Python SDK 相結合。從此簡報中了解更多關於可攜式模式的資訊。

Euphoria

Euphoria 是 Beam 最新的 API,為 Beam Java 開發人員提供高階、流暢的樣式。請參閱 Euphoria API 路線圖