我們很高興推出 Beam 的新 2.14.0 版本。此版本包含改進和新功能。請參閱此版本的下載頁面。

有關 2.14.0 中變更的更多資訊，請查看詳細發行說明。

重點

• Python 3 支援已擴展到 Python 3.6 和 3.7；此外還有其他各種 Python 3 的改進。
• Spark 可攜式執行器（批次）現在可用於 Java、Python、Go。
• 新增執行器：Hazelcast Jet 執行器。( BEAM-7305 )

I/O

• 為 BigQuery 讀取新增綱要支援。(Java) (BEAM-6673)
• 為 JDBC 來源新增綱要支援。(Java) (BEAM-6674)
• 修正 bytes 的 BigQuery 支援。(Python 3) (BEAM-6769)
• 新增 DynamoDB IO。(Java) (BEAM-7043)
• 新增使用 HCatalogIO 無邊界讀取支援。(Java) (BEAM-7450)
• 為 SDF 新增 BoundedSource 包裝器。(Python) (BEAM-7443)
• 在 RedisIO 中新增 INCRBY/DECRBY 操作的支援。( BEAM-7286 )
• 新增使用檔案載入的 WriteToBigQuery 的 ValueProvider 定義的 GCS 位置的支援。(Java) ((BEAM-7603))

新功能 / 改進

• Python SDK 新增 DoFn setup 和 teardown 方法的支援。( BEAM-562 )
• Python SDK 新增轉換：ApproximateUnique、Latest、Reify、ToString、WithKeys。
• 在 worker 中新增使用者定義的 JVM 初始化鉤子。( BEAM-6872 )
• 為 BigQueryTable 新增 SQL 列估計的支援。( BEAM-7513 )
• FlinkRunner 中串流接收器的自動分片。( BEAM-5865 )
• 從外部排序器中移除 Hadoop 相依性。( BEAM-7268 )
• 新增使可攜式 SDK worker 環境過期的選項。( BEAM-7348 )
• Beam 不再重新定位 Guava，只依賴於它自己廠商提供的 Guava 版本。( BEAM-6620 )

重大變更

• 已棄用 Jdbc IO 中的 set/getClientConfiguration。( BEAM-7263 )

錯誤修正

• 修正讀取串聯的壓縮檔案。(Python) (BEAM-6952)
• 修正 Flink >= 1.6 版本上的重新調整問題。( BEAM-7144 )
• 修正 SQL EXCEPT DISTINCT 行為。( BEAM-7194 )
• 修正 Flink Runner 的有界讀取之 OOM 問題。( BEAM-7442 )
• 修正 HdfsFileSystem 以正確比對目錄。( BEAM-7561 )
• 升級 Spark 執行器以使用 spark 版本 2.4.3。( BEAM-7265 )
• 將 Jackson 升級到版本 2.9.9。( BEAM-7465 )
• 其他各種錯誤修正和效能改進。

已知問題

• 請勿在此版本中使用 Python MongoDB 來源。此版本新增的 Python MongoDB 來源有一個已知問題，可能導致資料遺失。請參閱 (BEAM-7866) 以瞭解詳細資訊。
• 無法在 macOS 10.15 上安裝 Python SDK。請參閱 (BEAM-8368) 以瞭解詳細資訊。

貢獻者列表

根據 git shortlog，以下人員為 2.14.0 版本做出了貢獻。感謝所有貢獻者！

Ahmet Altay、Aizhamal Nurmamat kyzy、Ajo Thomas、Alex Amato、Alexey Romanenko、Alexey Strokach、Alex Van Boxel、Alireza Samadian、Andrew Pilloud、Ankit Jhalaria、Ankur Goenka、Anton Kedin、Aryan Naraghi、Bartok Jozsef、Bora Kaplan、Boyuan Zhang、Brian Hulette、Cam Mach、Chamikara Jayalath、Charith Ellawala、Charles Chen、Colm O hEigeartaigh、Cyrus Maden、Daniel Mills、Daniel Oliveira、David Cavazos、David Moravek、David Yan、Daniel Lescohier、Elwin Arens、Etienne Chauchot、Fábio Franco Uechi、Finch Keung、Frederik Bode、Gregory Kovelman、Graham Polley、Hai Lu、Hannah Jiang、Harshit Dwivedi、Harsh Vardhan、Heejong Lee、Henry Suryawirawan、Ismaël Mejía、Jan Lukavský、Jean-Baptiste Onofré、Jozef Vilcek、Juta、Kai Jiang、Kamil Wu、Kasia Kucharczyk、Kenneth Knowles、Kyle Weaver、Lara Schmidt、Łukasz Gajowy、Luke Cwik、Manu Zhang、Mark Liu、Matthias Baetens、Maximilian Michels、Melissa Pashniak、Michael Luckey、Michal Walenia、Mikhail Gryzykhin、Ming Liang、Neville Li、Pablo Estrada、Paul Suganthan、Peter Backx、Rakesh Kumar、Rasmi Elasmar、Reuven Lax、Reza Rokni、Robbe Sneyders、Robert Bradshaw、Robert Burke、Rose Nguyen、Rui Wang、Ruoyun Huang、Shoaib Zafar、Slava Chernyak、Steve Niemitz、Tanay Tummalapalli、Thomas Weise、Tim Robertson、Tim van der Lippe、Udi Meiri、Valentyn Tymofieiev、Varun Dhussa、Viktor Gerdin、Yichi Zhang、Yifan Mai、Yifan Zou、Yueyang Qiu。