部落格 & 版本發布
2023/07/17
Apache Beam 2.49.0
我們很高興推出 Beam 的新版本 2.49.0。此版本包含改進和新功能。請參閱下載頁面以取得此版本。
有關 2.49.0 中變更的詳細資訊,請查看詳細發行說明。
I/O
- 在 Java
BigtableIO.ReadChangeStream
中新增了對 Bigtable 變更串流的支援 (#27183)。 - 將 Bigtable 讀取和寫入跨語言轉換新增至 Python SDK ((#26593), (#27146))。
新功能/改進
- 允許在使用
--prebuild_sdk_container_engine=cloud_build
時預先建置大型映像檔,例如依賴tensorflow
或torch
的映像檔 (#27023)。 - 在工作站上安裝套件時,停用
pip
快取。這會減少預先建置的 Python 容器映像檔的大小 (#27035)。 - 選取專用的 avro 資料讀取器和寫入器 (Java) (#18874)。
- Go SDK 的計時器 API (Go) (#22737)。
棄用
- 移除 Python 3.7 支援。 (#26447)
錯誤修復
- 修正了在讀取器啟動前進行進度檢查時,KinesisIO 的
NullPointerException
(IO) (#23868)
已知問題
- 長時間執行的 Python 管線可能會發生記憶體洩漏:#28246。
- Python SDK 的跨語言 Bigtable sink 會錯誤處理未設定明確時間戳記的記錄:#28632。為了避免此問題,請在寫入 Bigtable 之前為所有記錄設定明確的時間戳記。
- 使用
--impersonate_service_account
選項的 Python 管線,搭配 BigQuery IO,可能會在 Dataflow 上失敗 (#32030)。這已在 2.59.0 版本中修正。
貢獻者列表
根據 git shortlog,以下人員為 2.49.0 版本做出了貢獻。感謝所有貢獻者!
Abzal Tuganbay
AdalbertMemSQL
Ahmed Abualsaud
Ahmet Altay
Alan Zhang
Alexey Romanenko
Anand Inguva
Andrei Gurau
Arwin Tio
Bartosz Zablocki
Bruno Volpato
Burke Davison
Byron Ellis
Chamikara Jayalath
Charles Rothrock
Chris Gavin
Claire McGinty
Clay Johnson
Damon
Daniel Dopierała
Danny McCormick
Darkhan Nausharipov
David Cavazos
Dip Patel
Dmitry Repin
Gavin McDonald
Jack Dingilian
Jack McCluskey
James Fricker
Jan Lukavský
Jasper Van den Bossche
John Casey
John Gill
Joseph Crowley
Kanishk Karanawat
Katie Liu
Kenneth Knowles
Kyle Galloway
Liam Miller-Cushon
MakarkinSAkvelon
Masato Nakamura
Mattie Fu
Michel Davit
Naireen Hussain
Nathaniel Young
Nelson Osacky
Nick Li
Oleh Borysevych
Pablo Estrada
Reeba Qureshi
Reuven Lax
Ritesh Ghorse
Robert Bradshaw
Robert Burke
Rouslan
Saadat Su
Sam Rohde
Sam Whittle
Sanil Jain
Shunping Huang
Smeet nagda
Svetak Sundhar
Timur Sultanov
Udi Meiri
Valentyn Tymofieiev
Vlado Djerek
WuA
XQ Hu
Xianhua Liu
Xinyu Liu
Yi Hu
Zachary Houfek
alexeyinkin
bigduu
bullet03
bzablocki
jonathan-lemos
jubebo
magicgoody
ruslan-ikhsan
sultanalieva-s
vitaly.terentyev