部落格 & 版本發布
2023/01/17
Apache Beam 2.44.0
我們很高興推出 Beam 的新版本 2.44.0。此版本包含改進和新功能。請參閱下載頁面以取得此版本。
有關 2.44.0 變更的更多資訊,請參閱詳細發行說明。
I/O
- 新增對 Bigtable 接收器(Write 和 WriteBatch)的支援 (Go) (#23324)。
- Beam 檔案系統的 S3 實作 (Go) (#23991)。
- 新增對 SingleStoreDB 來源和接收器的支援 (Java) (#22617)。
- 在 Azure 檔案系統中新增對 DefaultAzureCredential 驗證的支援 (Python) (#24210)。
- 為 CDAP 批次和串流來源/接收器新增了新的 CdapIO (Java) (#24961)。
- 為 Spark Receivers 2.4.* 新增了新的 SparkReceiverIO (Java) (#24960)。
新功能/改進
- Beam 現在提供一個可攜式「執行器」,可使用 graphviz 呈現管道圖。如需更多詳細資訊,請參閱
python -m apache_beam.runners.render --help
。 - 現在可以使用本機套件作為 requirements.txt 檔案中的依賴項,而無需透過
--extra_package
選項單獨傳遞 (Python) (#23684)。 - 現在透過
--resource_hints
旗標支援管道資源提示 (Go) (#23990)。 - 透過將依賴項安裝到臨時 venv,使 Python SDK 容器在可攜式執行器上可重複使用 (BEAM-12792)。
- RunInference 模型處理常式現在支援在 Python 中指定自訂推論函式 (#22572)
- 新增了對 Go SDK 的
map_windows
urn 支援 (#24307)。
重大變更
- 由於自 2.35.0 以來可分割讀取一直是預設行為,因此移除了
ParquetIO.withSplit
。此變更的效果是取消對不可分割讀取的支援 (Java)(#23832)。 beam-sdks-java-extensions-google-cloud-platform-core
不再是 Java SDK Harness 的依賴項。某些可攜式執行器(例如 Dataflow Runner v2)的使用者可能對此套件具有未宣告的依賴項(例如,使用 GCS 與 TextIO),現在需要宣告依賴項。beam-sdks-java-core
不再是 Java SDK Harness 的依賴項。可攜式執行器(例如 Dataflow Runner v2)的使用者將需要提供此套件及其依賴項。- Slices 現在使用 Beam Iterable Coder。這可以實現跨語言使用,但如果 Slice 類型用作 PCollection 元素或 State API 元素,則會中斷管道更新。(Go)#24339
錯誤修復
- 修正了 JmsIO 確認問題 (Java) (#20814)
- 修正了 Beam SQL CalciteUtils (Java) 和跨語言 JdbcIO (Python) 不支援 JDBC CHAR/VARCHAR、BINARY/VARBINARY 邏輯類型 (#23747、#23526)。
- 確保迭代和發出的類型與通用註冊套件一起使用時,會在類型和結構描述登錄中註冊。(Go) (#23889)
貢獻者清單
根據 git shortlog,以下人員為 2.44.0 版本做出了貢獻。感謝所有貢獻者!
Ahmed Abualsaud
Ahmet Altay
Alex Merose
Alexey Inkin
Alexey Romanenko
Anand Inguva
Andrei Gurau
Andrej Galad
Andrew Pilloud
Ayush Sharma
Benjamin Gonzalez
Bjorn Pedersen
Brian Hulette
Bruno Volpato
Bulat Safiullin
Chamikara Jayalath
Chris Gavin
Damon Douglas
Danielle Syse
Danny McCormick
Darkhan Nausharipov
David Cavazos
Dmitry Repin
Doug Judd
Elias Segundo Antonio
Evan Galpin
Evgeny Antyshev
Heejong Lee
Henrik Heggelund-Berg
Israel Herraiz
Jack McCluskey
Jan Lukavský
Janek Bevendorff
Johanna Öjeling
John J. Casey
Jozef Vilcek
Kanishk Karanawat
Kenneth Knowles
Kiley Sok
Laksh
Liam Miller-Cushon
Luke Cwik
MakarkinSAkvelon
Minbo Bae
Moritz Mack
Nancy Xu
Ning Kang
Nivaldo Tokuda
Oleh Borysevych
Pablo Estrada
Philippe Moussalli
Pranav Bhandari
Rebecca Szper
Reuven Lax
Rick Smit
Ritesh Ghorse
Robert Bradshaw
Robert Burke
Ryan Thompson
Sam Whittle
Sanil Jain
Scott Strong
Shubham Krishna
Steven van Rossum
Svetak Sundhar
Thiago Nunes
Tianyang Hu
Trevor Gevers
Valentyn Tymofieiev
Vitaly Terentyev
Vladislav Chunikhin
Xinyu Liu
Yi Hu
Yichi Zhang
AdalbertMemSQL
agvdndor
andremissaglia
arne-alex
bullet03
camphillips22
capthiron
creste
fab-jul
illoise
kn1kn1
nancyxu123
peridotml
shinannegans
smeet07