我們很高興推出 Beam 的新版本 2.13.0。此版本包含改進和新功能。請參閱下載頁面以取得此版本。

如需更多有關 2.13.0 版本變更的資訊，請查看詳細的版本說明。

重點

I/O

• 支援使用 BigQuery 儲存 API 讀取查詢結果。
• 支援 KafkaIO 進行外部配置，以用於其他 SDK。
• BigQuery IO 現在在 Python 3 上支援 BYTES 資料類型。
• Avro IO 支援在 Python 3 上啟用。
• 對於 Python 3 管線，Beam AvroIO 和 Dataflow 工作程式所使用的預設 Avro 程式庫已從 avro-python3 切換為 fastavro。

新功能 / 改進

• 新增 Flink 1.8 支援。
• 支援在可攜式 Spark 執行器上執行單字計數。
• FnApi Dataflow 執行器中的 ElementCount 指標。
• 支援從 lambda 建立 BinaryCombineFn。

重大變更

• 當在 Python DirectRunner 上使用 Beam Bigquery IO 將 BYTES 資料類型寫入 BigQuery 時，使用者需要將位元組值進行 base64 編碼，然後再將其傳遞到 Bigquery IO。因此，當從 BigQuery 讀取位元組資料時，IO 也會傳回 base64 編碼的位元組。此變更僅影響 Python DirectRunner 上的 Bigquery IO。新的 DirectRunner 行為與 Beam Java Bigquery IO 和 Python Dataflow Runner 對位元組的處理方式一致。

錯誤修正

• 各種錯誤修正和效能改進。

貢獻者列表

根據 git shortlog，以下人員為 2.13.0 版本做出了貢獻。感謝所有貢獻者！

Aaron Li, Ahmet Altay, Aizhamal Nurmamat kyzy, Alex Amato, Alexey Romanenko, Andrew Pilloud, Ankur Goenka, Anton Kedin, apstndb, Boyuan Zhang, Brian Hulette, Brian Quinlan, Chamikara Jayalath, Cyrus Maden, Daniel Chen, Daniel Oliveira, David Cavazos, David Moravek, David Yan, EdgarLGB, Etienne Chauchot, frederik2, Gleb Kanterov, Harshit Dwivedi, Harsh Vardhan, Heejong Lee, Hennadiy Leontyev, Henri-Mayeul de Benque, Ismaël Mejía, Jae-woo Kim, Jamie Kirkpatrick, Jan Lukavský, Jason Kuster, Jean-Baptiste Onofré, JohnZZGithub, Jozef Vilcek, Juta, Kenneth Jung, Kenneth Knowles, Kyle Weaver, Łukasz Gajowy, Luke Cwik, Mark Liu, Mathieu Blanchard, Maximilian Michels, Melissa Pashniak, Michael Luckey, Michal Walenia, Mike Kaplinskiy, Mike Pedersen, Mikhail Gryzykhin, Mikhail-Ivanov, Niklas Hansson, pabloem, Pablo Estrada, Pranay Nanda, Reuven Lax, Richard Moorhead, Robbe Sneyders, Robert Bradshaw, Robert Burke, Roman van der Krogt, rosetn, Rui Wang, Ryan Yuan, Sam Whittle, sudhan499, Sylwester Kardziejonek, Ted, Thomas Weise, Tim Robertson, ttanay, tvalentyn, Udi Meiri, Valentyn Tymofieiev, Xinyu Liu, Yifan Zou, yoshiki.obata, Yueyang Qiu