我們很高興推出 Beam 的新 2.20.0 版本。此版本包含改進和新功能。請參閱下載頁面以取得此版本。

如需關於 2.20.0 中變更的詳細資訊，請查看詳細版本發佈說明。

I/O

Python SDK：。（#10223）。

• BEAM-8561 透過 ThriftIO 新增對 Thrift 編碼資料的支援
• BEAM-7310 KafkaIO 支援使用 Confluent Schema Registry 的綱要解析
• BEAM-7246 支援 Google Cloud Spanner。這是一個用於從 Google Cloud Spanner 讀取和寫入資料的實驗性模組
• BEAM-8399 新增對標準 HDFS URL（帶有伺服器名稱）的支援

新功能/改進

• BEAM-9146 新增 AnnotateVideo & AnnotateVideoWithContext PTransform，整合 GCP 影片智慧功能
• BEAM-9247 新增 AnnotateImage & AnnotateImageWithContext PTransform，使用 Google Cloud Vision API 進行逐元素和批次影像註解
• BEAM-9258 新增使用 Google Cloud DLP 檢查和去識別化文字的 PTransform
• BEAM-9248 新增 AnnotateText PTransform，整合 Google Cloud Natural Language 功能
• BEAM-9305 ReadFromBigQuery 現在支援查詢字串的值提供者
• BEAM-8841 新增透過 Avro 檔案載入寫入 BigQuery 的功能
• BEAM-9228 用於 FnApi 的 Direct runner 支援更進一步的平行處理
• BEAM-8550 在 Flink 和 Spark 中支援 @RequiresTimeSortedInput
• BEAM-6857 新增對動態計時器的支援

重大變更

• BEAM-3453 Python 中 ReadFromPubSub(topic=) 的向後不相容變更
• BEAM-9310 Java 中的 SpannerAccessor 現在是套件私有的，以減少 API 介面
• BEAM-8616 ParquetIO hadoop 相依性現在應由使用者提供
• BEAM-9063 從 2.20 版開始，Docker 映像將部署到 apache/beam 儲存庫

錯誤修正

• BEAM-9579 修正 ApproximateQuantiles 中的 numpy 運算子
• BEAM-9277 修正於 IPython 筆記本中執行時的例外
• BEAM-1833 重構 Python 管線建構以更好地遵循 Runner API
• BEAM-9225 修正 Flink uberjar 工作終止錯誤
• BEAM-9503 修正處理工作程序啟動中的 SyntaxError
• 各種錯誤修正和效能改進。

已知問題

• BEAM-9322 Python SDK 忽略手動設定的 PCollection 標籤
• BEAM-9445 Python SDK pre_optimize=all 實驗可能會導致錯誤
• BEAM-9725 Python SDK 針對重新洗牌轉換的效能衰退

貢獻者清單

根據 git shortlog，以下人員為 2.20.0 版本做出貢獻。感謝所有貢獻者！

Ahmet Altay、Alex Amato、Alexey Romanenko、Andrew Pilloud、Ankur Goenka、Anton Kedin、Boyuan Zhang、Brian Hulette、Brian Martin、Chamikara Jayalath、Charles Chen、Craig Chambers、Daniel Oliveira、David Moravek、David Rieber、Dustin Rhodes、Etienne Chauchot、Gleb Kanterov、Hai Lu、Heejong Lee、Ismaël Mejía、J Ross Thomson、Jan Lukavský、Jason Kuster、Jean-Baptiste Onofré、Jeff Klukas、João Cabrita、Juan Rael、Juta、Kasia Kucharczyk、Kengo Seki、Kenneth Jung、Kenneth Knowles、Kyle Weaver、Kyle Winkelman、Lukas Drbal、Marek Simunek、Mark Liu、Maximilian Michels、Melissa Pashniak、Michael Luckey、Michal Walenia、Mike Pedersen、Mikhail Gryzykhin、Niel Markwick、Pablo Estrada、Pascal Gula、Rehman Murad Ali、Reuven Lax、Rob、Robbe Sneyders、Robert Bradshaw、Robert Burke、Rui Wang、Ruoyun Huang、Ryan Williams、Sam Rohde、Sam Whittle、Scott Wegner、Shoaib Zafar、Thomas Weise、Tianyang Hu、Tyler Akidau、Udi Meiri、Valentyn Tymofieiev、Xinyu Liu、XuMingmin、ttanay、tvalentyn、Łukasz Gajowy