我們很高興推出 Beam 的新版本 2.30.0。此版本包含改進和新功能。請參閱此版本的下載頁面。

有關 2.30.0 中變更的更多資訊，請查看詳細發行說明。

重點

• 傳統的讀取轉換（非基於 SDF 的讀取）預設用於非 FnAPI 開源執行器。使用 use_sdf_read 實驗性標誌重新啟用基於 SDF 的讀取轉換 (BEAM-10670)
• 將供應商提供的 gRPC 依賴項升級到 1.36.0 (BEAM-11227)

I/O

• 修復了當有多個載入作業時，使用批次檔案載入的 WriteToBigQuery 不遵循架構更新選項的問題 (BEAM-11277)
• 修復了由於 BigQuery sink 在執行串流插入時吞下 HttpErrors 而導致作業無法正確重試的問題 (BEAM-12362)

新功能 / 改進

• 新增在 Java 和 Python SDK 中宣告資源提示的功能 (BEAM-2085)
• 為 Python SDK 中讀取和寫入新增了 Spanner IO 效能測試 (BEAM-10029)
• 新增支援在 Python SDK 中存取 GCP PubSub 訊息排序鍵、訊息 ID 和訊息發布時間戳記 (BEAM-7819)
• DataFrame API：新增在互動式 Beam 中收集 DataFrame 物件的支援 (BEAM-11855)
• DataFrame API：新增 apache_beam.examples.dataframe 模組 (BEAM-12024)
• 將 GCP 程式庫 BOM 版本升級到 20.0.0 (BEAM-11205)。 有關此 BOM 設定的 Google Cloud 用戶端程式庫版本，請參閱此表格
• 新增 sdkContainerImage 標誌以（最終）取代 workerHarnessContainerImage (BEAM-12212)
• 新增在使用架構時支援 Dataflow 更新 (BEAM-12198)
• 修復了 ZipFiles.zipDirectory 洩漏原生 JVM 記憶體的問題 (BEAM-12220)
• 修復了 Reshuffle.withNumBuckets 建立 (N*2)-1 個儲存區的問題 (BEAM-12361)

重大變更

• 停止支援 Flink 1.8 和 1.9 (BEAM-11948)
• MongoDbIO：Read.withFilter() 和 Read.withProjection() 已移除，因為它們自 Beam 2.12.0 起已棄用 (BEAM-12217)
• RedisIO.readAll() 已移除，因為它自 Beam 2.13.0 起已棄用。請使用 RedisIO.readKeyPatterns() 來獲得等效的功能 (BEAM-12214)
• MqttIO.create() 與 clientId 建構函式已移除，因為它自 Beam 2.13.0 起已棄用 (BEAM-12216)

已知問題

• 請參閱影響此版本的未解決問題的完整清單。

貢獻者清單

根據 git shortlog，以下人員為 2.30.0 版本做出了貢獻。感謝所有貢獻者！

Ahmet Altay, Alex Amato, Alexey Romanenko, Anant Damle, Andreas Bergmeier, Andrew Pilloud, Ankur Goenka, Anup D, Artur Khanin, Benjamin Gonzalez, Bipin Upadhyaya, Boyuan Zhang, Brian Hulette, Bulat Shakirzyanov, Chamikara Jayalath, Chun Yang, Daniel Kulp, Daniel Oliveira, David Cavazos, Elliotte Rusty Harold, Emily Ye, Eric Roshan-Eisner, Evan Galpin, Fabien Caylus, Fernando Morales, Heejong Lee, Iñigo San Jose Visiers, Isidro Martínez, Ismaël Mejía, Ke Wu, Kenneth Knowles, KevinGG, Kyle Weaver, Ludovic Post, MATTHEW Ouyang (LCL), Mackenzie Clark, Masato Nakamura, Matthias Baetens, Max, Nicholas Azar, Ning Kang, Pablo Estrada, Patrick McCaffrey, Quentin Sommer, Reuven Lax, Robert Bradshaw, Robert Burke, Rui Wang, Sam Rohde, Sam Whittle, Shoaib Zafar, Siyuan Chen, Sruthi Sree Kumar, Steve Niemitz, Sylvain Veyrié, Tomo Suzuki, Udi Meiri, Valentyn Tymofieiev, Vitaly Terentyev, Wenbing, Xinyu Liu, Yichi Zhang, Yifan Mai, Yueyang Qiu, Yunqing Zhou, ajo thomas, brucearctor, dmkozh, dpcollins-google, emily, jordan-moore, kileys, lostluck, masahitojp, roger-mike, sychen, tvalentyn, vachan-shetty, yoshiki.obata