我們很高興推出 Beam 的新版本 2.43.0。此版本包含改進和新功能。請參閱下載頁面以取得此版本。

如需更多關於 2.43.0 版本變更的資訊，請查看詳細發佈說明。

重點

• 在 Apache Beam 中支援 Python 3.10 (#21458)。
• 初始實作一個執行器，允許我們在 Dask 上執行 Beam 管線。試用看看並給我們回饋！(Python) (#18962)。

I/O

• TextSource 的 CPU 使用率降低了 2.3 倍 (Java) (#23193)。
• 修正了在使用 SpannerIO 與 RuntimeValueProvider 選項時的錯誤 (Java) (#22146)。
• 修正了在 WriteToBigQuery 上呈現 Unicode 的問題 (#22312)
• 移除 BigQuery 讀取和寫入的過時變體，始終使用 Beam 原生變體 (#23564 和 #23559)。
• 將 Python SDK 的 google-cloud-spanner 依賴版本提升至 3.x (#21198)。

新功能/改進

• 透過跨語言 (使用自動擴展服務) 在 Go SDK 中新增資料框架封裝器。(Go) (#23384)。
• 命名所有 Java 線程以協助除錯 (#23049)。
• 初始實作一個執行器，允許我們在 Dask 上執行 Beam 管線。(Python) (#18962)。
• 允許透過管線選項設定 GCP OAuth 範圍。這解鎖了需要額外範圍的 Beam IO 的使用。例如，此功能可以存取 BigQuery 中 Google 雲端硬碟備份的表格 (#23290)。
• 從 Java 使用 Python RunInference 的範例 (#23290)。

重大變更

• Python SDK 中的 CoGroupByKey 轉換已變更輸出類型提示。代表分組值的類型提示組件從 List 變更為 Iterable，這更準確地反映了任意大型輸出集合的性質。#21556 Beam 使用者可能會在 CoGroupByKey 的下游轉換中看到錯誤。使用者必須將期望 List 的方法變更為期望 Iterable。請參閱 文件以取得資訊和修正。
• Spark 的 PortableRunner 預設將 Spark 3 作為預設的 Spark 主要版本，除非使用 --spark_version 另行設定。Spark 2 支援已棄用，並將很快移除 (#23728)。

錯誤修正

• 修正了 Python 跨語言 JDBC IO 連接器無法讀取或寫入包含 Numeric/Decimal 類型值的列 (#19817)。

貢獻者列表

根據 git shortlog，以下人員為 2.43.0 版本做出貢獻。感謝所有貢獻者！

Ahmed Abualsaud AlexZMLyu Alexey Romanenko Anand Inguva Andrew Pilloud Andy Ye Arnout Engelen Benjamin Gonzalez Bharath Kumarasubramanian BjornPrime Brian Hulette Bruno Volpato Chamikara Jayalath Colin Versteeg Damon Daniel Smilkov Daniela Martín Danny McCormick Darkhan Nausharipov David Huntsperger Denis Pyshev Dmitry Repin Evan Galpin Evgeny Antyshev Fernando Morales Geddy05 Harshit Mehrotra Iñigo San Jose Visiers Ismaël Mejía Israel Herraiz Jan Lukavský Juta Staes Kanishk Karanawat Kenneth Knowles KevinGG Kiley Sok Liam Miller-Cushon Luke Cwik Mc Melissa Pashniak Moritz Mack Ning Kang Pablo Estrada Philippe Moussalli Pranav Bhandari Rebecca Szper Reuven Lax Ritesh Ghorse Robert Bradshaw Robert Burke Ryan Thompson Ryohei Nagao Sam Rohde Sam Whittle Sanil Jain Seunghwan Hong Shane Hansen Shubham Krishna Shunsuke Otani Steve Niemitz Steven van Rossum Svetak Sundhar Thiago Nunes Toran Sahu Veronica Wasson Vitaly Terentyev Vladislav Chunikhin Xinyu Liu Yi Hu Yixiao Shen alexeyinkin arne-alex azhurkevich bulat safiullin bullet03 coldWater dpcollins-google egalpin johnjcasey liferoad rvballada shaojwu tvalentyn