部落格與發佈

2024/01/04

Apache Beam 2.53.0

Jack R. McCluskey [@jrmccluskey]

我們很高興推出 Beam 的新版本 2.53.0。此版本包含改進和新功能。請參閱下載頁面以取得此版本。

如需 2.53.0 版本變更的更多資訊，請查看詳細的發行說明。

重點

  • 使用 2.47.0 及更新版本 Beam 的 Python 串流使用者應更新至 2.53.0 版本，此版本修正了一個已知問題：(#27330)。

I/O

  • TextIO 現在支援跳過多個標頭行 (Java) (#17990)。
  • Python GCSIO 現在使用 GCP GCS Client 而非 apitools 實作 (#25676)
  • 在 ClickHouse 中新增對 LowCardinality DataType 的支援 (Java) (#29533)。
  • 新增對 KafkaIO 處理錯誤記錄的支援 (Java) (#29546)
  • 新增對在 Vertex AI 和 Hugging Face Hub 模型中，於 MLTransform 中產生文字嵌入的支援。(#29564)
  • 新增 NATS IO 連接器 (Go) (#29000)。

新功能/改進

  • Python SDK 現在會正確地對 collections.abc.Collections 類型進行類型檢查。一些先前被 SDK 錯誤允許的類型提示現在可能會失敗。(#29272)
  • 在本地執行多語言管道不再需要 Docker。相反地，用於執行擴充的相同（通常自動啟動的）子程序也可以用作跨語言工作程序。
  • 在 Java 中新增了將錯誤處理程式新增至複合轉換的架構 (#29164)。
  • Python 3.11 映像檔現在包含 google-cloud-profiler (#29561)。

棄用

  • Euphoria DSL 已被棄用，並將在未來版本中移除（不早於 2.56.0）(#29451)

錯誤修正

  • (Python) 修復了串流管道中影響 2.47.0 及更新版本 SDK 的某些使用者的偶發性崩潰 (#27330)。
  • (Python) 修復了導致 MLTransform 在輸出 PCollection 中捨棄相同元素的錯誤 (#29600)。

安全性修正

已知問題

  • 在 Dataflow Java 串流管道中，DataflowExecutionStateSampler 中可能發生導致 NPE 的競爭情況 (#29987)。
  • 某些使用 2.52.0-2.54.0 SDK 且使用大量具體化側輸入的 Python 管道可能會受到效能下降的影響。若要在這些 SDK 版本上還原先前的行為，請提供 --max_cache_memory_usage_mb=0 管道選項。(<#30360)。
  • 使用 2.53.0-2.54.0 SDK 且在 GCS 上執行檔案操作的 Python 管道可能會受到過多 HTTP 請求的影響。這可能會導致效能下降或權限問題。( #28398)
  • 在 Python 管道中，當關閉不活動的套件處理器時，關閉邏輯可能會過度積極地持有鎖定，阻止接受新工作。此問題的症狀包括長時間執行的作業速度緩慢或停滯。已在 2.56.0 中修正 (#30679)。
  • 使用 2.53.0-2.58.0 SDK 且從 GCS 讀取資料的 Python 管道可能會受到資料損壞問題的影響 (#32169)。該問題將在 2.59.0 中修正 (#32135)。若要解決此問題，請將 google-cloud-storage 套件更新至 2.18.2 或更新版本。

如需最新的已知問題清單，請參閱 https://github.com/apache/beam/blob/master/CHANGES.md

貢獻者清單

根據 git shortlog，以下人員為 2.53.0 版本做出了貢獻。感謝所有貢獻者！

Ahmed Abualsaud

Ahmet Altay

Alexey Romanenko

Anand Inguva

Arun Pandian

Balázs Németh

Bruno Volpato

Byron Ellis

Calvin Swenson Jr

Chamikara Jayalath

Clay Johnson

Damon

Danny McCormick

Ferran Fernández Garrido

Georgii Zemlianyi

Israel Herraiz

Jack McCluskey

Jacob Tomlinson

Jan Lukavský

JayajP

Jeffrey Kinard

Johanna Öjeling

Julian Braha

Julien Tournay

Kenneth Knowles

Lawrence Qiu

Mark Zitnik

Mattie Fu

Michel Davit

Mike Williamson

Naireen

Naireen Hussain

Niel Markwick

Pablo Estrada

Radosław Stankiewicz

Rebecca Szper

Reuven Lax

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Sam Rohde

Sam Whittle

Shunping Huang

Svetak Sundhar

Talat UYARER

Tom Stepp

Tony Tang

Vlado Djerek

Yi Hu

Zechen Jiang

clmccart

damccorm

darshan-sj

gabry.wu

johnjcasey

liferoad

lrakla

martin trieu

tvalentyn