我們很高興推出 Beam 的新版本 2.11.0。此版本包含改進和新功能。請參閱下載頁面以取得此版本。

有關 2.11.0 中變更的更多資訊，請查看詳細發行說明。

重點

相依性升級/變更

• Java: antlr: 4.7
• Java: antlr_runtime: 4.7
• Java: bigdataoss_gcsio: 1.9.16
• Java: bigdataoss_util: 1.9.16
• Java: bigtable_client_core: 1.8.0
• Java: cassandra-driver-core: 3.6.0
• Java: cassandra-driver-mapping: 3.6.0
• Java: commons-compress: 1.18
• Java: gax_grpc: 1.38.0
• Java: google_api_common: 1.7.0
• Java: google_api_services_dataflow: v1b3-rev20190126-1.27.0
• Java: google_cloud_bigquery_storage: 0.79.0-alpha
• Java: google_cloud_bigquery_storage_proto: 0.44.0
• Java: google_auth_library_credentials: 0.12.0
• Java: google_auth_library_oauth2_http: 0.12.0
• Java: google_cloud_core: 1.61.0
• Java: google_cloud_core_grpc: 1.61.0
• Java: google_cloud_spanner: 1.6.0
• Java: grpc_all: 1.17.1
• Java: grpc_auth: 1.17.1
• Java: grpc_core: 1.17.1
• Java: grpc_google_cloud_pubsub_v1: 1.17.1
• Java: grpc_protobuf: 1.17.1
• Java: grpc_protobuf_lite: 1.17.1
• Java: grpc_netty: 1.17.1
• Java: grpc_stub: 1.17.1
• Java: netty_handler: 4.1.30.Final
• Java: netty_tcnative_boringssl_static: 2.0.17.Final
• Java: netty_transport_native_epoll: 4.1.30.Final
• Java: proto_google_cloud_spanner_admin_database_v1: 1.6.0
• Java: zstd_jni: 1.3.8-3
• Python: futures>=3.2.0,<4.0.0; python_version < “3.0”
• Python: pyvcf>=0.6.8,<0.7.0; python_version < “3.0”
• Python: google-apitools>=0.5.26,<0.5.27
• Python: google-cloud-core==0.28.1
• Python: google-cloud-bigtable==0.31.1

I/O

• 可攜式 Flink 執行器支援執行跨語言轉換。
• 新增 Cloud KMS 支援到 GCS 複製。
• 在 KafkaIO.read() 中新增 offsetConsumer 的參數。
• 允許在 ParquetIO 寫入中設定壓縮編碼解碼器。
• 將 kms_key 新增至 BigQuery 轉換，並傳遞至 Dataflow。

新功能/改進

• Python 3 (實驗性) 支援 DirectRunner 和 DataflowRunner。
• 新增 Java SDK 的 ZStandard 壓縮支援。
• Python：新增 CombineFn.compact，類似於 Java。
• SparkRunner：GroupByKey 針對非合併視窗進行最佳化。
• SparkRunner：新增 bundleSize 參數以控制 Spark 來源的分割。
• FlinkRunner：可攜式執行器儲存點/升級支援。

錯誤修復

• 各種錯誤修復和效能改進。

棄用

• 棄用 MongoDb withKeepAlive，因為它在 Mongo 驅動程式中已棄用。

貢獻者列表

根據 git shortlog，以下人員對 2.11.0 版本做出了貢獻。感謝所有貢獻者！

Ahmet Altay, Alex Amato. Alexey Romanenko, Andrew Pilloud, Ankur Goenka, Anton Kedin, Boyuan Zhang, Brian Hulette, Brian Martin, Chamikara Jayalath, Charles Chen, Craig Chambers, Daniel Oliveira, David Moravek, David Rieber, Dustin Rhodes, Etienne Chauchot, Gleb Kanterov, Hai Lu, Heejong Lee, Ismaël Mejía, J Ross Thomson, Jan Lukavsky, Jason Kuster, Jean-Baptiste Onofré, Jeff Klukas, João Cabrita, Juan Rael, Juta Staes, Kasia Kucharczyk, Kengo Seki, Kenneth Jung, Kenneth Knowles, Kyle Weaver, Kyle Winkelman, Lukas Drbal, Marek Simunek, Mark Liu, Maximilian Michels, Melissa Pashniak, Michael Luckey, Michal Walenia, Mike Pedersen, Mikhail Gryzykhin, Niel Markwick, Pablo Estrada, Pascal Gula, Reuven Lax, Robbe Sneyders, Robert Bradshaw, Robert Burke, Rui Wang, Ruoyun Huang, Ryan Williams, Sam Rohde, Sam Whittle, Scott Wegner, Tanay Tummalapalli, Thomas Weise, Tianyang Hu, Tyler Akidau, Udi Meiri, Valentyn Tymofieiev, Xinyu Liu, Xu Mingmin, Łukasz Gajowy.