我們很高興推出 Beam 的新版本 2.55.0。此版本包含改進和新功能。請參閱下載頁面以取得此版本。

如需更多關於 2.55.0 版本變更的資訊，請查看詳細版本說明。

重點

• Python SDK 現在將包含外部 Java 轉換的自動產生包裝函式！(#29834)

I/O

• 新增了對 BigQueryIO 處理錯誤記錄的支援 (#30081)。
  • 完整支援儲存讀取和寫入 API
  • 部分支援檔案載入 (支援寫入檔案失敗，不支援將檔案載入至 BQ 失敗)
  • 不支援擷取或串流插入
• 新增了對 PubSubIO 處理錯誤記錄的支援 (#30372)。
  • 不支援處理結構描述不符，且不建議為具有結構描述的 Pub/Sub 主題寫入啟用錯誤處理
• BigQueryIO DIRECT_READ 的 --enableBundling 管線選項已由 --enableStorageReadApiV2 取代。兩者都被認為是實驗性的，並且可能會變更 (Java) (#26354)。

新功能 / 改進

• 允許寫入叢集和非時間分割的 BigQuery 表格 (Java) (#30094)。
• Redis 快取支援已新增至 RequestResponseIO 和 Enrichment 轉換 (Python) (#30307)
• 將 sdks/java/fn-execution 和 runners/core-construction-java 合併到主要 SDK 中。這些成品從未打算供使用者使用，但要注意它們不再存在。這些步驟是將可攜性與所有其他核心功能一起引入核心 SDK 中。
• 為 Enrichment 轉換新增了 Vertex AI Feature Store 處理常式 (Python) (#30388)

重大變更

• Arrow 版本從 5.0.0 升級至 15.0.0 (#30181)。
• 建置自訂工作容器的 Go SDK 使用者在將基礎移至無散發容器時可能會遇到問題 (請參閱安全性修正)。
  • 問題源於無散發容器缺乏額外工具，而目前的自訂容器處理程序可能依賴這些工具。
  • 如需建置和使用自訂容器的說明，請參閱 https://beam.dev.org.tw/documentation/runtime/environments/#from-scratch-go。
• Python SDK 已將 --max_cache_memory_usage_mb 管線選項的預設值從 100 變更為 0。此選項最初是在 2.52.0 SDK 版本中引入的。此變更還原了不使用狀態快取的 2.51.0 SDK 的行為。如果您的管線使用可迭代的側輸入檢視，請考慮手動設定選項來增加快取大小。(#30360)。

棄用

• 不適用

錯誤修正

• 修正了 SpannerIO.readChangeStream 以支援將認證從管線選項傳播到 getDialect 呼叫，以驗證 Spanner (Java) (#30361)。
• 減少了 GCSIO 函式呼叫中的 HTTP 請求數量 (Python) (#30205)

安全性修正

• Go SDK 基礎容器映像已移至 distroless/base-nossl-debian12，將易受攻擊的容器表面減少到核心和 glibc (#30011)。

已知問題

• 在 Python 管線中，關閉不活動的套件處理程序時，關閉邏輯可能會過於積極地持有鎖定，阻止接受新工作。此問題的症狀包括長時間執行的作業速度變慢或卡住。已在 2.56.0 中修正 (#30679)。
• 使用 2.53.0-2.58.0 SDK 執行並從 GCS 讀取資料的 Python 管線可能會受到資料損毀問題的影響 (#32169)。此問題將在 2.59.0 中修正 (#32135)。若要解決此問題，請將 google-cloud-storage 套件更新至 2.18.2 或更新版本。

如需最新的已知問題清單，請參閱 https://github.com/apache/beam/blob/master/CHANGES.md

貢獻者清單

根據 git shortlog，以下人員為 2.55.0 版本做出了貢獻。感謝所有貢獻者！

Ahmed Abualsaud

Anand Inguva

Andrew Crites

Andrey Devyatkin

Arun Pandian

Arvind Ram

Chamikara Jayalath

Chris Gray

Claire McGinty

Damon Douglas

Dan Ellis

Danny McCormick

Daria Bezkorovaina

Dima I

Edward Cui

Ferran Fernández Garrido

GStravinsky

Jan Lukavský

Jason Mitchell

JayajP

Jeff Kinard

Jeffrey Kinard

Kenneth Knowles

Mattie Fu

Michel Davit

Oleh Borysevych

Ritesh Ghorse

Ritesh Tarway

Robert Bradshaw

Robert Burke

Sam Whittle

Scott Strong

Shunping Huang

Steven van Rossum

Svetak Sundhar

Talat UYARER

Ukjae Jeong (Jay)

Vitaly Terentyev

Vlado Djerek

Yi Hu

akashorabek

case-k

clmccart

dengwe1

dhruvdua

hardshah

johnjcasey

liferoad

martin trieu

tvalentyn