部落格 & 發布
2022/08/23
Apache Beam 2.41.0
我們很高興推出 Beam 的新 2.41.0 版本。此版本包含改進和新功能。請參閱下載頁面了解此版本。
有關 2.41.0 變更的更多資訊,請查看詳細發行說明。
I/O
- 投影下推最佳化器現在預設為串流啟用,與自 2.38.0 起批次管道的行為一致。如果您遇到最佳化器的錯誤,請提交問題並使用管道選項
--experiments=disable_projection_pushdown
停用最佳化器。
新功能 / 改進
- 先前在 Java sdk 中提供的功能,Python sdk 現在也支援每個模組的記錄層級覆寫。( #18222)。
重大變更
- 當投影下推最佳化器移除未使用的欄位時,它可能會破壞已最佳化管道的 Dataflow 升級相容性。如果您需要升級並遇到相容性問題,請使用管道選項
--experiments=disable_projection_pushdown
停用最佳化器。
棄用
- 對 Spark 2.4.x 的支援已棄用,並將在 Beam 2.44.0 或之後的版本中移除(Spark 執行器)(#22094)。
- 用於 AWS Java SDK v1 的 amazon-web-services 和 kinesis 模組已棄用,建議改用 amazon-web-services2,並將在幾個 Beam 版本後最終移除 (Java) (#21249)。
錯誤修正
- 修正了在 Java SDK Firestore 連接器中重試查詢會產生不正確游標的情況 (#22089)。
- 修正了 Go SDK 中允許延遲的管道。它先前會忽略使用者設定的值,並始終設定為 0。( #22474)。
已知問題
- 請參閱影響此版本的完整未解決問題清單。
貢獻者清單
根據 git shortlog,以下人員為 2.41.0 版本做出了貢獻。感謝所有貢獻者!
Ahmed Abualsaud Ahmet Altay akashorabek Alexey Inkin Alexey Romanenko Anand Inguva andoni-guzman Andrew Pilloud Andrey Andy Ye Balázs Németh Benjamin Gonzalez BjornPrime Brian Hulette bulat safiullin bullet03 Byron Ellis Chamikara Jayalath Damon Douglas Daniel Oliveira Daniel Thevessen Danny McCormick David Huntsperger Dheeraj Gharde Etienne Chauchot Evan Galpin Fernando Morales Heejong Lee Jack McCluskey johnjcasey Kenneth Knowles Ke Wu Kiley Sok Liam Miller-Cushon Lucas Nogueira Luke Cwik MakarkinSAkvelon Manu Zhang Minbo Bae Moritz Mack Naireen Hussain Ning Kang Oleh Borysevych Pablo Estrada pablo rodriguez defino Pranav Bhandari Rebecca Szper Red Daly Reuven Lax Ritesh Ghorse Robert Bradshaw Robert Burke Ryan Thompson Sam Whittle Steven Niemitz Valentyn Tymofieiev Vincent Marquez Vitaly Terentyev Vlad Vladislav Chunikhin Yichi Zhang Yi Hu yirutang Yixiao Shen Yu Feng