部落格 & 發布
2023/10/11
Apache Beam 2.51.0
我們很高興推出 Beam 的新版本 2.51.0。此版本包含改進和新功能。請參閱此版本的下載頁面。
有關 2.51.0 中變更的更多資訊,請查看詳細發行說明。
新功能 / 改進
- 在 Python 中,RunInference 現在支援使用 KeyedModelHandler 在同一個轉換中載入多個模型 (#27628)。
- 在 Python 中,VertexAIModelHandlerJSON 現在支援傳入 inference_args。這些將會作為參數傳遞至 Vertex 端點。
- 新增了對在使用者管道上執行
mypy
的支援 (#27906)
重大變更
- 移除了 Beam SQL 的 fastjson 程式庫依賴。表格屬性已變更為基於 jackson ObjectNode (Java) (#24154)。
- 從 Beam Python 容器映像中移除了 TensorFlow PR。如果您受到此變更的負面影響,請在 #20605 上留言。
- 從
parquetio.Write
中移除了參數t reflect.Type
。元素類型衍生自輸入 PCollection (Go) (#28490) - 重構了 BeamSqlSeekableTable.setUp,新增參數 joinSubsetType。#28283
錯誤修復
- 修復了 GCS 連接器 (Python) 中的例外鏈結問題 (#26769)。
- 修復了串流插入的例外處理,現在會根據重試策略重試 GoogleAPICallErrors,並將其路由到適當的失敗列,而不是導致管道錯誤 (Python) (#21080)。
- 修復了 Python SDK 的跨語言 Bigtable Sink 中的一個錯誤,該錯誤會錯誤處理未明確設定時間戳記的記錄:#28632。
安全性修復
- 更新了 Python 容器,修復了 CVE-2021-30474、CVE-2021-30475、CVE-2021-30473、CVE-2020-36133、CVE-2020-36131、CVE-2020-36130 和 CVE-2020-36135
- 使用 go 1.21.1 進行建置,修復了 CVE-2023-39320
已知問題
- 使用 BigQuery Storage Read API 的 Python 管道必須將
fastavro
依賴性固定為 1.8.3 或更早版本:#28811
貢獻者列表
根據 git shortlog,以下人員為 2.50.0 版本做出了貢獻。感謝所有貢獻者!
Adam Whitmore
Ahmed Abualsaud
Ahmet Altay
Aleksandr Dudko
Alexey Romanenko
Anand Inguva
Andrey Devyatkin
Arvind Ram
Arwin Tio
BjornPrime
Bruno Volpato
Bulat
Celeste Zeng
Chamikara Jayalath
Clay Johnson
Damon
Danny McCormick
David Cavazos
Dip Patel
Hai Joey Tran
Hao Xu
Haruka Abe
Jack Dingilian
Jack McCluskey
Jeff Kinard
Jeffrey Kinard
Joey Tran
Johanna Öjeling
Julien Tournay
Kenneth Knowles
Kerry Donny-Clark
Mattie Fu
Melissa Pashniak
Michel Davit
Moritz Mack
Pranav Bhandari
Rebecca Szper
Reeba Qureshi
Reuven Lax
Ritesh Ghorse
Robert Bradshaw
Robert Burke
Ruwann
Ryan Tam
Sam Rohde
Sereana Seim
Svetak Sundhar
Tim Grein
Udi Meiri
Valentyn Tymofieiev
Vitaly Terentyev
Vlado Djerek
Xinyu Liu
Yi Hu
Zbynek Konecny
Zechen Jiang
bzablocki
caneff
dependabot[bot]
gDuperran
gabry.wu
johnjcasey
kberezin-nshl
kennknowles
liferoad
lostluck
magicgoody
martin trieu
mosche
olalamichelle
tvalentyn
xqhu
Łukasz Spyra