我們很高興推出 Beam 的新版本 2.46.0。此版本包含改進和新功能。請參閱下載頁面以獲取此版本。

如需更多關於 2.46.0 版本變更的資訊，請查看詳細的發布說明。

重點

• Java SDK 容器遷移至以Eclipse Temurin作為基礎。此變更將遷移離開已棄用的OpenJDK容器。Eclipse Temurin 目前以 Ubuntu 22.04 為基礎，而 OpenJDK 容器則以 Debian 11 為基礎。
• RunInference PTransform 將接受模型路徑作為 Python SDK 中的 SideInputs。( #24042 )
• RunInference 在 Python SDK 中支援 ONNX 執行時 ( #22972 )
• Python SDK 中 RunInference 的 Tensorflow 模型處理器 ( #25366 )
• Java SDK 模組遷移至使用 :sdks:java:extensions:avro ( #24748 )

I/O

• 在 JmsIO 中新增了針對發布失敗的重試策略 (Java) ( #24971 )。
• 將文字檔案的 LZMA 壓縮/解壓縮支援新增至 Python SDK ( #25316 )
• 將 ReadFrom/WriteTo Csv/Json 作為頂級轉換新增至 Python SDK。

新功能/改進

• 為 Samza 可攜式模式新增 UDF 指標支援。
• SparkRunner 的選項，以避免 SDF 輸出必須放入記憶體中 ( #23852 )。這對於例如 ParquetIO 的讀取有所幫助。透過新增實驗 use_bounded_concurrent_output_for_sdf 來啟用此功能。
• 新增 WatchFilePattern 轉換，可用作 RunInference PTransform 的 Side Input，以使用檔案模式監視模型更新。( #24042 )
• 新增使用 PytorchModelHandler 載入 TorchScript 模型的支援。可以使用 torch_script_model_path=<path_to_model> 將 TorchScript 模型路徑傳遞給 PytorchModelHandler。( #25321 )
• Go SDK 現在需要 Go 1.19 才能建置。( #25545 )
• Go SDK 現在具有名為 Prism 的可攜式 Beam Runner 的初始原生 Go 實作。( #24789 )
  • 如需更多詳細資訊和目前狀態，請參閱 https://github.com/apache/beam/tree/master/sdks/go/pkg/beam/runners/prism。

重大變更

• 已移除針對 Spark 2 的已棄用 SparkRunner (請參閱 2.41.0 ) ( #25263 )。
• Python 的 BatchElements 在某些情況下會執行更積極的批次處理，預設情況下將批次處理上限設定為 10 秒而非 1 秒，並在此計算中排除固定成本，以更好地處理固定成本大於一秒的情況。若要取得舊的行為，可以將 target_batch_duration_secs_including_fixed_cost=1 傳遞至 BatchElements。

棄用

• beam-sdks-java-core 模組中已棄用 Avro 相關的類別，並將最終移除。請改為遷移至新的 beam-sdks-java-extensions-avro 模組，方法是從 org.apache.beam.sdk.extensions.avro 套件匯入類別。為了遷移的簡便性，新模組中 Avro 相關類別的相對套件路徑和整個類別階層與之前相同。例如，匯入 org.apache.beam.sdk.extensions.avro.coders.AvroCoder 類別，而不是 org.apache.beam.sdk.coders.AvroCoder。( #24749 )。

貢獻者列表

根據 git shortlog，以下人員為 2.46.0 版本做出貢獻。感謝所有貢獻者！

Ahmet Altay

Alan Zhang

Alexey Romanenko

Amrane Ait Zeouay

Anand Inguva

Andrew Pilloud

Brian Hulette

Bruno Volpato

Byron Ellis

Chamikara Jayalath

Damon

Danny McCormick

Darkhan Nausharipov

David Katz

Dmitry Repin

Doug Judd

Egbert van der Wal

Elizaveta Lomteva

Evan Galpin

Herman Mak

Jack McCluskey

Jan Lukavský

Johanna Öjeling

John Casey

Jozef Vilcek

Junhao Liu

Juta Staes

Katie Liu

Kiley Sok

Liam Miller-Cushon

Luke Cwik

Moritz Mack

Ning Kang

Oleh Borysevych

Pablo E

Pablo Estrada

Reuven Lax

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Ruslan Altynnikov

Ryan Zhang

Sam Rohde

Sam Whittle

Sam sam

Sergei Lilichenko

Shivam

Shubham Krishna

Theodore Ni

Timur Sultanov

Tony Tang

Vachan

Veronica Wasson

Vincent Devillers

Vitaly Terentyev

William Ross Morrow

Xinyu Liu

Yi Hu

ZhengLin Li

Ziqi Ma

ahmedabu98

alexeyinkin

aliftadvantage

bullet03

dannikay

darshan-sj

dependabot[bot]

johnjcasey

kamrankoupayi

kileys

liferoad

nancyxu123

nickuncaged1201

pablo rodriguez defino

tvalentyn

xqhu