Apache Beam 2.44.0

我們很高興推出 Beam 的新版本 2.44.0。此版本包含改進和新功能。請參閱下載頁面以取得此版本。

有關 2.44.0 變更的更多資訊,請參閱詳細發行說明

I/O

  • 新增對 Bigtable 接收器(Write 和 WriteBatch)的支援 (Go) (#23324)。
  • Beam 檔案系統的 S3 實作 (Go) (#23991)。
  • 新增對 SingleStoreDB 來源和接收器的支援 (Java) (#22617)。
  • 在 Azure 檔案系統中新增對 DefaultAzureCredential 驗證的支援 (Python) (#24210)。
  • 為 CDAP 批次和串流來源/接收器新增了新的 CdapIO (Java) (#24961)。
  • 為 Spark Receivers 2.4.* 新增了新的 SparkReceiverIO (Java) (#24960)。

新功能/改進

  • Beam 現在提供一個可攜式「執行器」,可使用 graphviz 呈現管道圖。如需更多詳細資訊,請參閱 python -m apache_beam.runners.render --help
  • 現在可以使用本機套件作為 requirements.txt 檔案中的依賴項,而無需透過 --extra_package 選項單獨傳遞 (Python) (#23684)。
  • 現在透過 --resource_hints 旗標支援管道資源提示 (Go) (#23990)。
  • 透過將依賴項安裝到臨時 venv,使 Python SDK 容器在可攜式執行器上可重複使用 (BEAM-12792)。
  • RunInference 模型處理常式現在支援在 Python 中指定自訂推論函式 (#22572)
  • 新增了對 Go SDK 的 map_windows urn 支援 (#24307)。

重大變更

  • 由於自 2.35.0 以來可分割讀取一直是預設行為,因此移除了 ParquetIO.withSplit。此變更的效果是取消對不可分割讀取的支援 (Java)(#23832)。
  • beam-sdks-java-extensions-google-cloud-platform-core 不再是 Java SDK Harness 的依賴項。某些可攜式執行器(例如 Dataflow Runner v2)的使用者可能對此套件具有未宣告的依賴項(例如,使用 GCS 與 TextIO),現在需要宣告依賴項。
  • beam-sdks-java-core 不再是 Java SDK Harness 的依賴項。可攜式執行器(例如 Dataflow Runner v2)的使用者將需要提供此套件及其依賴項。
  • Slices 現在使用 Beam Iterable Coder。這可以實現跨語言使用,但如果 Slice 類型用作 PCollection 元素或 State API 元素,則會中斷管道更新。(Go)#24339

錯誤修復

  • 修正了 JmsIO 確認問題 (Java) (#20814)
  • 修正了 Beam SQL CalciteUtils (Java) 和跨語言 JdbcIO (Python) 不支援 JDBC CHAR/VARCHAR、BINARY/VARBINARY 邏輯類型 (#23747#23526)。
  • 確保迭代和發出的類型與通用註冊套件一起使用時,會在類型和結構描述登錄中註冊。(Go) (#23889)

貢獻者清單

根據 git shortlog,以下人員為 2.44.0 版本做出了貢獻。感謝所有貢獻者!

Ahmed Abualsaud

Ahmet Altay

Alex Merose

Alexey Inkin

Alexey Romanenko

Anand Inguva

Andrei Gurau

Andrej Galad

Andrew Pilloud

Ayush Sharma

Benjamin Gonzalez

Bjorn Pedersen

Brian Hulette

Bruno Volpato

Bulat Safiullin

Chamikara Jayalath

Chris Gavin

Damon Douglas

Danielle Syse

Danny McCormick

Darkhan Nausharipov

David Cavazos

Dmitry Repin

Doug Judd

Elias Segundo Antonio

Evan Galpin

Evgeny Antyshev

Heejong Lee

Henrik Heggelund-Berg

Israel Herraiz

Jack McCluskey

Jan Lukavský

Janek Bevendorff

Johanna Öjeling

John J. Casey

Jozef Vilcek

Kanishk Karanawat

Kenneth Knowles

Kiley Sok

Laksh

Liam Miller-Cushon

Luke Cwik

MakarkinSAkvelon

Minbo Bae

Moritz Mack

Nancy Xu

Ning Kang

Nivaldo Tokuda

Oleh Borysevych

Pablo Estrada

Philippe Moussalli

Pranav Bhandari

Rebecca Szper

Reuven Lax

Rick Smit

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Ryan Thompson

Sam Whittle

Sanil Jain

Scott Strong

Shubham Krishna

Steven van Rossum

Svetak Sundhar

Thiago Nunes

Tianyang Hu

Trevor Gevers

Valentyn Tymofieiev

Vitaly Terentyev

Vladislav Chunikhin

Xinyu Liu

Yi Hu

Yichi Zhang

AdalbertMemSQL

agvdndor

andremissaglia

arne-alex

bullet03

camphillips22

capthiron

creste

fab-jul

illoise

kn1kn1

nancyxu123

peridotml

shinannegans

smeet07