我們很高興推出 Beam 的新版本 2.16.0。此版本包含改進和新功能。請參閱下載頁面以取得此版本。

有關 2.16.0 中變更的詳細資訊，請查看詳細的版本說明。

重點

• Beam 可攜式執行器在 Python 2.7、3.5、3.6、3.7 上發佈並支援可自訂的 Docker 容器映像。（BEAM-7907）
• 改進了 Python Streaming 在 Dataflow 上的整合，包括自動調整規模、排空、更新、串流引擎和計數器更新等服務功能。

新功能/改進

• 基於 BigQuery 相容的 HyperLogLog++ 實作的新計數相異轉換。（BEAM-7013）
• Google Cloud Dataflow 中 Python 串流作業轉換的 Web UI 圖形表示中的元素計數器。（BEAM-7045）
• 在 Python SDK 中新增 SetState。（BEAM-7741）
• 在 Dataflow Runner 中新增熱鍵偵測。（BEAM-7820）
• 新增從 gRPC JobService 取得已提交作業列表的功能。（BEAM-7927）
• 可攜式 Flink 管線現在可以捆綁到可執行 jar 中。（BEAM-7966，BEAM-7967）
• SQL join 選擇應在規劃器中完成，而不是在擴展到 PTransform 中完成。（BEAM-6114）
• 用於在串流中進行檔案載入的 BigQuery 的 Python Sink。（BEAM-6611）
• Python BigQuery sink 應能夠處理 15TB 的載入作業配額。（BEAM-7588）
• Spark 可攜式執行器：重複使用 SDK harness。（BEAM-7600）
• BigQuery 檔案載入應與載入作業大小限制良好搭配。（BEAM-7742）
• 具有容器化工作節點集區的外部環境。（BEAM-7980）
• 使用 OffsetRange 作為 OffsetRestrictionTracker 的限制。（BEAM-8014）
• 取得 SDK 工作節點 Docker 容器的記錄。（BEAM-8015）
• PCollection 邊界在 Python SDK 中被追蹤和傳播。（BEAM-8088）

相依性變更

• 將 “com.amazonaws:amazon-kinesis-producer” 升級到版本 0.13.1。（BEAM-7894）
• 升級到 joda time 2.10.3 以取得更新的 TZDB。（BEAM-8161）
• 將 Jackson 升級到版本 2.9.10。（BEAM-8299）
• 將 grpcio 最低需求版本升級到 1.12.1。（BEAM-7986）
• 將 Python2 中 funcsigs 的最低需求版本升級到 1.0.2。（BEAM-7060）
• 將 google-cloud-pubsub 的最高需求版本升級到 1.0.0。（BEAM-5539）
• 將 google-cloud-bigtable 的最高需求版本升級到 1.0.0。（BEAM-5539）
• 將 dill 版本升級到 0.3.0。（BEAM-8324）

錯誤修正

• 各種錯誤修正和效能改進。

已知問題

• 鑑於 Python 2 將於 2020 年 1 月 1 日達到 EOL，Beam 的 Python 2 使用者現在將收到警告，指出 Apache Beam 的新版本很快將僅支援 Python 3。
• 在 FlinkRunner 中，使用 FileIO.write 沒有正確註冊檔案系統。（BEAM-8303）
• Java DirectRunner 在串流模式下的效能迴歸。（BEAM-8363）
• 無法在 macOS 10.15 上安裝 Python SDK。（BEAM-8368）

貢獻者清單

根據 git shortlog，以下人員為 2.16.0 版本做出了貢獻。感謝所有貢獻者！

Ahmet Altay, Alex Van Boxel, Alexey Romanenko, Alexey Strokach, Alireza Samadian, Andre-Philippe Paquet, Andrew Pilloud, Ankur Goenka, Anton Kedin, Aryan Naraghi, B M VISHWAS, Bartok Jozsef, Bill Neubauer, Boyuan Zhang, Brian Hulette, Bruno Volpato, Chad Dombrova, Chamikara Jayalath, Charith Ellawala, Charles Chen, Claire McGinty, Cyrus Maden, Daniel Oliveira, Dante, David Cavazos, David Moravek, David Yan, Dominic Mitchell, Elias Djurfeldt, Enrico Canzonieri, Etienne Chauchot, Gleb Kanterov, Hai Lu, Hannah Jiang, Heejong Lee, Ian Lance Taylor, Ismaël Mejía, Jack Whelpton, James Wen, Jan Lukavský, Jean-Baptiste Onofré, Jofre, Kai Jiang, Kamil Wasilewski, Kasia Kucharczyk, Kenneth Jung, Kenneth Knowles, Kirill Kozlov, Kohki YAMAGIWA, Kyle Weaver, Kyle Winkelman, Ludovic Post, Luis Enrique Ortíz Ramirez, Luke Cwik, Mark Liu, Maximilian Michels, Michal Walenia, Mike Kaplinskiy, Mikhail Gryzykhin, NING KANG, Oliver Henlich, Pablo Estrada, Rakesh Kumar, Renat Nasyrov, Reuven Lax, Robert Bradshaw, Robert Burke, Rui Wang, Ruoyun Huang, Ryan Skraba, Sahith Nallapareddy, Salman Raza, Sam Rohde, Saul Chavez, Shoaib, Shoaib Zafar, Slava Chernyak, Tanay Tummalapalli, Thinh Ha, Thomas Weise, Tianzi Cai, Tim van der Lippe, Tomer Zeltzer, Tudor Marian, Udi Meiri, Valentyn Tymofieiev, Yichi Zhang, Yifan Zou, Yueyang Qiu, gxercavins, jesusrv1103, lostluck, matt-darwin, mrociorg, ostrokach, parahul, rahul8383, rosetn, sunjincheng121, the1plummie, ttanay, tvalentyn, venn001, yoshiki.obata, Łukasz Gajowy