我們很高興推出 Beam 的 2.47.0 新版本。此版本包含改進和新功能。請參閱下載頁面以取得此版本。

如需更多關於 2.47.0 版本變更的資訊，請查看詳細發佈說明。

重點

• Apache Beam 新增了 Python 3.11 支援 (#23848)。

I/O

• BigQuery Storage Write API 現在可透過跨語言在 Python SDK 中使用 (#21961)。
• 新增了 HbaseIO 支援，可將 RowMutations（依 rowkey 排序）寫入 Hbase (Java) (#25830)。
• 新增了 fileio 轉換 MatchFiles、MatchAll 和 ReadMatches (Go) (#25779)。
• 新增了 JmsIO 的整合測試 + 修復多個連線的問題 (Java) (#25887)。

新功能 / 改進

• Flink 執行器現在支援 Flink 1.16.x (#25046)。
• 現在可以直接將 Schema’d PTransforms 套用至 Beam 資料框，就像 PCollections 一樣。(請注意，當執行多個操作時，明確地串連操作 (如 `df | (Transform1 | Transform2 | ...)`) 可能更有效率，以避免過多的轉換。)
• Go SDK 新增了轉換 periodic.Impulse 和 periodic.Sequence，擴展了對緩慢更新的側輸入模式的支援。(#23106)
• Python SDK 相依性鏈中的幾個 Google 用戶端程式庫已更新至最新的主要版本。(#24599)

重大變更

• 如果主要階段無法載入，管道現在將在 worker 啟動時失敗。(#25401)。
• Python 管道選項現在將忽略以單一破折號開頭的未剖析命令列旗標。(#25943)。
• SmallestPerKey combiner 現在需要僅限關鍵字的引數，以指定選用參數，例如 `key` 和 `reverse`。(#25888)。

已棄用

• 由於 Google Cloud Debugger 服務關閉，因此雲端偵錯工具支援及其管道選項已被棄用，並將在下一個 Beam 版本中移除。(Java) (#25959)。

錯誤修復

• 在批次管道中處於 STORAGE_WRITE_API 模式的 BigQuery sink 在處理 Beam SDK 2.35.0 - 2.46.0（含）的其他不相關的暫時性錯誤期間，可能會導致資料一致性問題。如需更多詳細資訊，請參閱：https://github.com/apache/beam/issues/26521

已知問題

• BigQueryIO Storage API 使用 autoUpdateSchema 寫入可能會導致 Beam SDK 2.45.0 - 2.47.0（含）的資料損毀 (#26789)
• 長時間執行的 Python 管道可能會遇到記憶體洩漏：#28246。

貢獻者清單

根據 git shortlog，以下人員為 2.47.0 版本做出了貢獻。感謝所有貢獻者！

Ahmed Abualsaud

Ahmet Altay

Alexey Romanenko

Amir Fayazi

Amrane Ait Zeouay

Anand Inguva

Andrew Pilloud

Andrey Kot

Bjorn Pedersen

Bruno Volpato

Buqian Zheng

Chamikara Jayalath

ChangyuLi28

Damon

Danny McCormick

Dmitry Repin

George Ma

Jack Dingilian

Jack McCluskey

Jasper Van den Bossche

Jeremy Edwards

Jiangjie (Becket) Qin

Johanna Öjeling

Juta Staes

Kenneth Knowles

Kyle Weaver

Mattie Fu

Moritz Mack

Nick Li

Oleh Borysevych

Pablo Estrada

Rebecca Szper

Reuven Lax

Reza Rokni

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Saadat Su

Saifuddin53

Sam Rohde

Shubham Krishna

Svetak Sundhar

Theodore Ni

Thomas Gaddy

Timur Sultanov

Udi Meiri

Valentyn Tymofieiev

Xinyu Liu

Yanan Hao

Yi Hu

Yuvi Panda

andres-vv

bochap

dannikay

darshan-sj

dependabot[bot]

harrisonlimh

hnnsgstfssn

jrmccluskey

liferoad

tvalentyn

xianhualiu

zhangskz