Apache Beam 2.49.0

我們很高興推出 Beam 的新版本 2.49.0。此版本包含改進和新功能。請參閱下載頁面以取得此版本。

有關 2.49.0 中變更的詳細資訊,請查看詳細發行說明

I/O

  • 在 Java BigtableIO.ReadChangeStream 中新增了對 Bigtable 變更串流的支援 (#27183)。
  • 將 Bigtable 讀取和寫入跨語言轉換新增至 Python SDK ((#26593), (#27146))。

新功能/改進

  • 允許在使用 --prebuild_sdk_container_engine=cloud_build 時預先建置大型映像檔,例如依賴 tensorflowtorch 的映像檔 (#27023)。
  • 在工作站上安裝套件時,停用 pip 快取。這會減少預先建置的 Python 容器映像檔的大小 (#27035)。
  • 選取專用的 avro 資料讀取器和寫入器 (Java) (#18874)。
  • Go SDK 的計時器 API (Go) (#22737)。

棄用

  • 移除 Python 3.7 支援。 (#26447)

錯誤修復

  • 修正了在讀取器啟動前進行進度檢查時,KinesisIO 的 NullPointerException (IO) (#23868)

已知問題

  • 長時間執行的 Python 管線可能會發生記憶體洩漏:#28246
  • Python SDK 的跨語言 Bigtable sink 會錯誤處理未設定明確時間戳記的記錄:#28632。為了避免此問題,請在寫入 Bigtable 之前為所有記錄設定明確的時間戳記。
  • 使用 --impersonate_service_account 選項的 Python 管線,搭配 BigQuery IO,可能會在 Dataflow 上失敗 (#32030)。這已在 2.59.0 版本中修正。

貢獻者列表

根據 git shortlog,以下人員為 2.49.0 版本做出了貢獻。感謝所有貢獻者!

Abzal Tuganbay

AdalbertMemSQL

Ahmed Abualsaud

Ahmet Altay

Alan Zhang

Alexey Romanenko

Anand Inguva

Andrei Gurau

Arwin Tio

Bartosz Zablocki

Bruno Volpato

Burke Davison

Byron Ellis

Chamikara Jayalath

Charles Rothrock

Chris Gavin

Claire McGinty

Clay Johnson

Damon

Daniel Dopierała

Danny McCormick

Darkhan Nausharipov

David Cavazos

Dip Patel

Dmitry Repin

Gavin McDonald

Jack Dingilian

Jack McCluskey

James Fricker

Jan Lukavský

Jasper Van den Bossche

John Casey

John Gill

Joseph Crowley

Kanishk Karanawat

Katie Liu

Kenneth Knowles

Kyle Galloway

Liam Miller-Cushon

MakarkinSAkvelon

Masato Nakamura

Mattie Fu

Michel Davit

Naireen Hussain

Nathaniel Young

Nelson Osacky

Nick Li

Oleh Borysevych

Pablo Estrada

Reeba Qureshi

Reuven Lax

Ritesh Ghorse

Robert Bradshaw

Robert Burke

Rouslan

Saadat Su

Sam Rohde

Sam Whittle

Sanil Jain

Shunping Huang

Smeet nagda

Svetak Sundhar

Timur Sultanov

Udi Meiri

Valentyn Tymofieiev

Vlado Djerek

WuA

XQ Hu

Xianhua Liu

Xinyu Liu

Yi Hu

Zachary Houfek

alexeyinkin

bigduu

bullet03

bzablocki

jonathan-lemos

jubebo

magicgoody

ruslan-ikhsan

sultanalieva-s

vitaly.terentyev