Apache Beam 2.51.0

我們很高興推出 Beam 的新版本 2.51.0。此版本包含改進和新功能。請參閱此版本的下載頁面

有關 2.51.0 中變更的更多資訊,請查看詳細發行說明

新功能 / 改進

重大變更

  • 移除了 Beam SQL 的 fastjson 程式庫依賴。表格屬性已變更為基於 jackson ObjectNode (Java) (#24154)。
  • 從 Beam Python 容器映像中移除了 TensorFlow PR。如果您受到此變更的負面影響,請在 #20605 上留言。
  • parquetio.Write 中移除了參數 t reflect.Type。元素類型衍生自輸入 PCollection (Go) (#28490)
  • 重構了 BeamSqlSeekableTable.setUp,新增參數 joinSubsetType。#28283

錯誤修復

  • 修復了 GCS 連接器 (Python) 中的例外鏈結問題 (#26769)。
  • 修復了串流插入的例外處理,現在會根據重試策略重試 GoogleAPICallErrors,並將其路由到適當的失敗列,而不是導致管道錯誤 (Python) (#21080)。
  • 修復了 Python SDK 的跨語言 Bigtable Sink 中的一個錯誤,該錯誤會錯誤處理未明確設定時間戳記的記錄:#28632

安全性修復

已知問題

  • 使用 BigQuery Storage Read API 的 Python 管道必須將 fastavro 依賴性固定為 1.8.3 或更早版本:#28811

貢獻者列表

根據 git shortlog,以下人員為 2.50.0 版本做出了貢獻。感謝所有貢獻者!

Adam Whitmore

Ahmed Abualsaud

Ahmet Altay

Aleksandr Dudko

Alexey Romanenko

Anand Inguva

Andrey Devyatkin

Arvind Ram

Arwin Tio

BjornPrime

Bruno Volpato

Bulat

Celeste Zeng

Chamikara Jayalath

Clay Johnson

Damon

Danny McCormick

David Cavazos

Dip Patel

Hai Joey Tran

Hao Xu

Haruka Abe

Jack Dingilian

Jack McCluskey

Jeff Kinard

Jeffrey Kinard

Joey Tran

Johanna Öjeling

Julien Tournay

Kenneth Knowles

Kerry Donny-Clark

Mattie Fu

Melissa Pashniak

Michel Davit

Moritz Mack

Pranav Bhandari

Rebecca Szper

Reeba Qureshi

Reuven Lax

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Ruwann

Ryan Tam

Sam Rohde

Sereana Seim

Svetak Sundhar

Tim Grein

Udi Meiri

Valentyn Tymofieiev

Vitaly Terentyev

Vlado Djerek

Xinyu Liu

Yi Hu

Zbynek Konecny

Zechen Jiang

bzablocki

caneff

dependabot[bot]

gDuperran

gabry.wu

johnjcasey

kberezin-nshl

kennknowles

liferoad

lostluck

magicgoody

martin trieu

mosche

olalamichelle

tvalentyn

xqhu

Łukasz Spyra