Apache Beam 2.31.0

我們很高興推出 Beam 的新版本 2.31.0。此版本包含改進和新功能。請參閱此版本的下載頁面

有關 2.31.0 版本變更的更多資訊,請查看詳細版本說明

重點

I/O

  • 修復了當 RuntimeValueProvider 作為 table 參數值使用時,ReadFromBigQuery 中的錯誤 (Python) (BEAM-12514)。

新功能/改進

  • CREATE FUNCTION DDL 語句已新增至 Calcite SQL 語法。JARAGGREGATE 現在是保留關鍵字。 (BEAM-12339)。
  • Flink 執行器現在支援 Flink 1.13 (BEAM-12277)。
  • DatastoreIO:寫入和刪除操作現在會遵循自動逐步增加的原則,與最佳實務做法一致 (Java/Python) (BEAM-12260, BEAM-12272)。
  • Python TriggerFn 有一個新的 may_lose_data 方法,用於表示潛在的資料遺失。預設行為假設為安全(向後相容所必需)。請參閱棄用項目,了解覆寫此方法的潛在影響。(BEAM-9487)。

重大變更

  • Python Row 物件現在對欄位順序敏感。因此,Row(x=3, y=4) 不再被視為等於 Row(y=4, x=3) (BEAM-11929)。
  • Kafka Beam SQL 表格現在會解釋 LOCATION 欄位;之前,如果提供此欄位,則會忽略它。
  • TopCombineFn 禁止將 compare 作為其參數 (Python) (BEAM-7372)。
  • 停止支援 Flink 1.10 (BEAM-12281)。

棄用項目

  • Python GBK 將在 Beam 2.33 中停止支援具有全域視窗和預設觸發器的無界限 PCollection。可以使用 --allow_unsafe_triggers 覆寫此行為。 (BEAM-9487)。
  • 從 Beam 2.33 開始,Python GBK 將開始要求安全觸發器或 --allow_unsafe_triggers 標誌。 (BEAM-9487)。

已知問題

貢獻者列表

根據 git shortlog,以下人員為 2.31.0 版本做出了貢獻。感謝所有貢獻者!

Ahmet Altay, ajo thomas, Alan Myrvold, Alex Amato, Alexey Romanenko, AlikRodriguez, Anant Damle, Andrew Pilloud, Benjamin Gonzalez, Boyuan Zhang, Brian Hulette, Chamikara Jayalath, Daniel Oliveira, David Cavazos, David Huntsperger, David Moravek, Dmytro Kozhevin, dpcollins-google, Emily Ye, Ernesto Valentino, Evan Galpin, Fernando Morales, Heejong Lee, Ismaël Mejía, Jan Lukavský, Josias Rico, jrynd, Kenneth Knowles, Ke Wu, kileys, Kyle Weaver, masahitojp, Matthias Baetens, Maximilian Michels, Milena Bukal, Nathan J. Mehl, Pablo Estrada, Peter Sobot, Reuven Lax, Robert Bradshaw, Robert Burke, roger-mike, Sam Rohde, Sam Whittle, Stephan Hoyer, Tom Underhill, tvalentyn, Uday Singh, Udi Meiri, Vitaly Terentyev, Xinyu Liu, Yichi Zhang, Yifan Mai, yoshiki.obata, zhoufek