我們很高興推出 Beam 的新版本 2.38.0。此版本包含改進和新功能。請參閱下載頁面以取得此版本。

如需 2.38.0 版本變更的更多資訊，請查看詳細發行說明。

I/O

• 將投影下推最佳化器引入 Java SDK (BEAM-12976)。此最佳化器目前僅適用於 BigQuery Storage API，但未來版本將新增更多 I/O。如果您在使用最佳化器時遇到錯誤，請提交 JIRA 並使用管道選項 --experiments=disable_projection_pushdown 停用最佳化器。
• 新增了適用於 Neo4j 圖形資料庫的新 IO。( BEAM-1857) 它能夠使用 UNWIND 語句更新節點和關係，並使用帶有參數的 cypher 語句讀取資料。
• amazon-web-services2 已達到功能對等，最終建議取代較早的 amazon-web-services 和 kinesis 模組 (Java)。這些模組將在接下來的版本中棄用 (BEAM-13174)。
  • 增加了對 Kinesis 長期未完成的寫入支援 (BEAM-13175)。
  • 簡化了所有 IO 的組態，並使其保持一致，包括 AwsOptions 的使用 (BEAM-13563、BEAM-13663、BEAM-13587)。
  • 此外，最近對 S3 檔案系統 (BEAM-13245、BEAM-13246、BEAM-13441、BEAM-13445、BEAM-14011)、DynamoDB IO (BEAM-13209、BEAM-13209)、SQS IO (BEAM-13631、BEAM-13510) 和其他方面進行了大量的改進和修復。

新功能 / 改進

• 透過 --requirements_file 提供的管道相依性現在將使用 linux_x86_64 平台的 PyPI 套件的二進位發行版本 (wheels) 分段到執行器 (BEAM-4032)。若要還原使用來源發行版本的行為，請設定管道選項 --requirements_cache_only_sources。若要在提交時跳過分段套件，請設定管道選項 --requirements_cache=skip (Python)。
• Flink 執行器現在支援 Flink 1.14.x (BEAM-13106)。
• 互動式 Beam 現在支援在 Dataproc 上遠端執行 Flink 管道 (Python) (BEAM-14071)。

重大變更

• (Python) 先前預期 DoFn.infer_output_types 會傳回 Iterable[element_type]，其中 element_type 是 PCollection 元素類型。現在預期會傳回 element_type。如果您在 DoFn 中覆寫了 infer_output_type (這並不常見)，請小心。請參閱 BEAM-13860。
• (amazon-web-services2) AwsOptions 中 awsRegion / endpoint 的類型從 String 變更為 Region / URI (BEAM-13563)。

棄用

• Beam 2.38.0 將是最後一個支援 Flink 1.11 的次要版本。
• (amazon-web-services2) 用戶端提供者 (withXYZClientProvider()) 以及 IO 特定的 RetryConfiguration 已棄用，請改用 withClientConfiguration() 或 AwsOptions 來設定 AWS IO/用戶端。用戶端提供者的自訂實作應替換為相應的 ClientBuilderFactory，並透過 AwsOptions 設定 (BEAM-13563)。

錯誤修正

• 修正大型物件的 S3 複製 (Java) (BEAM-14011)
• 修正管道標準化的二次行為 (Go) (BEAM-14128)
  • 這導致大型複雜管道的作業提交之前不必要的長時間預處理。
• 修正 pyarrow 版本剖析 (Python)(BEAM-14235)

已知問題

• 請參閱影響此版本的未解決問題的完整清單。

貢獻者清單

根據 git shortlog，以下人員為 2.38.0 版本做出貢獻。感謝所有貢獻者！

abhijeet-lele Ahmet Altay akustov Alexander Alexander Zhuravlev Alexey Romanenko AlikRodriguez Anand Inguva andoni-guzman andreukus Andy Ye Ankur Goenka ansh0l Artur Khanin Aydar Farrakhov Aydar Zainutdinov Benjamin Gonzalez Brian Hulette brucearctor bulat safiullin bullet03 Carl Mastrangelo Chamikara Jayalath Chun Yang Daniela Martín Daniel Oliveira Danny McCormick daria.malkova David Cavazos David Huntsperger dmitryor Dmytro Sadovnychyi dpcollins-google egalpin Elias Segundo Antonio emily Etienne Chauchot Hengfeng Li Ismaël Mejía Israel Herraiz Jack McCluskey Jakub Kukul Janek Bevendorff Jeff Klukas Johan Sternby Kamil Breguła Kenneth Knowles Ke Wu Kiley Kyle Weaver laraschmidt Lara Schmidt LE QUELLEC Olivier Luka Kalinovcic Luke Cwik Marcin Kuthan masahitojp Masato Nakamura Matt Casters Melissa Pashniak Michael Li Miguel Hernandez Moritz Mack mosche nancyxu123 Nathan J Mehl Niel Markwick Ning Kang Pablo Estrada paul-tlh Pavel Avilov Rahul Iyer Reuven Lax Ritesh Ghorse Robert Bradshaw Robert Burke Ryan Skraba Ryan Thompson Sam Whittle Seth Vargo sp029619 Steven Niemitz Thiago Nunes Udi Meiri Valentyn Tymofieiev Victor vitaly.terentyev Yichi Zhang Yi Hu yirutang Zachary Houfek Zoe