部落格 & 發佈

2023/05/31

Apache Beam 2.48.0

Ritesh Ghorse

我們很高興推出 Beam 的新版本 2.48.0。此版本包含改進和新功能。請參閱下載頁面了解此版本。

有關 2.48.0 中變更的詳細資訊，請查看詳細版本說明。

注意：由於附加到發佈標籤 sdks/v2.48.0 的提交不正確，因此此版本 Go SDK 的發佈標籤為 sdks/v2.48.2 而不是 sdks/v2.48.0。

重點

  • 「實驗性」註解清除：已從 Beam 中移除註解和概念，以避免將程式碼誤解為「尚未準備就緒」。任何擬議的重大變更將逐案進行優缺點決策（通常會避免），而不是使用「實驗性」來允許它們。

I/O

  • 新增 GCS 的重新命名和本機檔案系統的複製 (Go) (#25779)。
  • 新增 KinesisIO.Read 中增強型扇出的支援 (Java) (#19967)。
    • 此變更與 Beam 2.46.0 應用程式建立的 Flink 儲存點不相容，這些應用程式具有 KinesisIO 來源。
  • 新增 textio.ReadWithFilename 轉換 (Go) (#25812)。
  • 新增 fileio.MatchContinuously 轉換 (Go) (#26186)。

新功能/改進

  • 允許傳遞 google-cloud-profiler 的服務名稱 (Python) (#26280)。
  • 將死信佇列支援新增至 Python 中的 RunInference (#24209)。
  • 新增了在 RunInference 轉換上定義預先/後處理操作的支援 (#26308)
  • 新增一個基於 Docker Compose 的轉換服務，可用於發現和使用可攜式 Beam 轉換 (#26023)。

重大變更

  • 現在，在 Python SDK 中需要將標籤傳遞到 MultiProcessShared (#26168)。
  • 由於 Google Cloud Debugger 服務關閉，因此 Dataflow 執行器已移除 CloudDebuggerOptions（在 Beam v2.47.0 中已棄用）。 (Java) (#25959)。
  • 最終移除了 AWS 2 用戶端提供者（在 Beam v2.38.0 中已棄用）(#26681)。
  • 最終移除了 AWS 2 SnsIO.writeAsync（由於資料遺失的風險，在 Beam v2.37.0 中已棄用）(#26710)。
  • 最終移除了 AWS 2 編碼器（在新增 AWS Sdk Pojos 的架構支援時，在 Beam v2.43.0 中已棄用）(#23315)。

錯誤修正

  • 修復了由於長類別路徑導致 Java 引導載入器因參數太長而失敗的問題，並新增了路徑 jar。 (Java) (#25582)。

已知問題

  • 當以批次 (有界) 模式使用時，PubsubIO 寫入會對任何超過 100 個位元組的訊息擲回 SizeLimitExceededException。 (Java) (#27000)。
  • 長時間執行的 Python 管線可能會遇到記憶體洩漏：#28246。

貢獻者清單

根據 git shortlog，以下人員為 2.48.0 版本做出了貢獻。感謝所有貢獻者！

Abzal Tuganbay

Ahmed Abualsaud

Alexey Romanenko

Anand Inguva

Andrei Gurau

Andrey Devyatkin

Balázs Németh

Bazyli Polednia

Bruno Volpato

Chamikara Jayalath

Clay Johnson

Damon

Daniel Arn

Danny McCormick

Darkhan Nausharipov

Dip Patel

Dmitry Repin

George Novitskiy

Israel Herraiz

Jack Dingilian

Jack McCluskey

Jan Lukavský

Jasper Van den Bossche

Jeff Zhang

Jeremy Edwards

Johanna Öjeling

John Casey

Katie Liu

Kenneth Knowles

Kerry Donny-Clark

Kuba Rauch

Liam Miller-Cushon

MakarkinSAkvelon

Mattie Fu

Michel Davit

Moritz Mack

Nick Li

Oleh Borysevych

Pablo Estrada

Pranav Bhandari

Pranjal Joshi

Rebecca Szper

Reuven Lax

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Rouslan

RuiLong J

RyujiTamaki

Sam Whittle

Sanil Jain

Svetak Sundhar

Timur Sultanov

Tony Tang

Udi Meiri

Valentyn Tymofieiev

Vishal Bhise

Vitaly Terentyev

Xinyu Liu

Yi Hu

bullet03

darshan-sj

kellen

liferoad

mokamoka03210120

psolomin