部落格 & 發佈

2020/02/04

Apache Beam 2.19.0

Boyuan Zhang

我們很高興推出 Beam 的新版本 2.19.0。此版本包含改進和新功能。請參閱下載頁面以獲取此版本。

有關 2.19.0 中變更的更多資訊，請查看詳細發佈說明。

重點

I/O

  • BEAM-1440 為 Python SDK 建立一個 BigQuery 來源（實作 iobase.BoundedSource）
  • BEAM-2572 為 Python SDK 實作 S3 檔案系統
  • BEAM-5192 支援 Elasticsearch 7.x
  • BEAM-8745 更精細的 BigQuery Load 工作大小控制
  • BEAM-8801 PubsubMessageToRow 不應在 processElement 中檢查 useFlatSchema()
  • BEAM-8953 擴展 ParquetIO.Read/ReadFiles.Builder 以支援 Avro GenericData 模型
  • BEAM-8946 從 MongoDBIOIT 報告集合大小
  • BEAM-8978 從 HadoopFormatIOIT 報告已儲存的資料大小

新功能/改進

  • BEAM-6008 改進 Java/Python PortableRunner 中的錯誤報告
  • BEAM-8296 將 Spark 工作伺服器容器化
  • BEAM-8746 允許本地工作服務從 Docker 內部工作
  • BEAM-8837 PCollectionVisualizationTest：可能的錯誤
  • BEAM-8139 執行可攜式 Spark 應用程式 jar
  • BEAM-9019 改進 Spark 編碼器（Beam 編碼器的包裝器）
  • BEAM-9053 改進在 Python SDK 中無法為指定路徑取得正確檔案系統時的錯誤訊息）改進在 Python SDK 中無法為指定路徑取得正確檔案系統時的錯誤訊息
  • BEAM-9055 統一跨語言的 Fn Data API 的設定名稱

SQL

  • BEAM-5690 使用 SparkRunner 在 BeamSql 中使用 GroupByKey 的問題
  • BEAM-8993 [SQL] MongoDb 應使用謂詞下推
  • BEAM-8844 [SQL] 為 BigQueryTable 建立效能測試
  • BEAM-9023 升級至 ZetaSQL 2019.12.1

重大變更

  • BEAM-8989 ParDo.getSideInputs 中向後不相容的變更（執行 Apache Nemo 快速入門時因失敗而捕獲）
  • BEAM-8402 與 Python DirectRunner 中環境表示方式相關的向後不相容變更。
  • BEAM-9218 Beam 2.18.0 上範本暫存損壞

相依性變更

  • BEAM-8696 Beam 相依性更新請求：com.google.protobuf:protobuf-java
  • BEAM-8701 Beam 相依性更新請求：commons-io:commons-io
  • BEAM-8716 Beam 相依性更新請求：org.apache.commons:commons-csv
  • BEAM-8717 Beam 相依性更新請求：org.apache.commons:commons-lang3
  • BEAM-8749 Beam 相依性更新請求：com.datastax.cassandra:cassandra-driver-mapping
  • BEAM-5546 Beam 相依性更新請求：commons-codec:commons-codec

錯誤修正

  • BEAM-9123 HadoopResourceId 傳回錯誤的目錄名稱
  • BEAM-8962 FlinkMetricContainer 會導致 JobManager 中的流失，並導致 Web 前端發生故障
  • BEAM-5495 PipelineResources 演算法在大多數環境中無法運作
  • BEAM-8025 Cassandra IO classMethod 測試不可靠
  • BEAM-8577 FileSystems 可能在 ResourceId 反序列化期間尚未初始化
  • BEAM-8582 Python SDK 為 Default 和 AfterWatermark 觸發器發出重複記錄
  • BEAM-8943 當 SDK harness 環境清理失敗時，SDK harness 伺服器無法正確關閉
  • BEAM-8995 apache_beam.io.gcp.bigquery_read_it_test 在 Py3.5 PC 上失敗，出現：TypeError：JSON 物件必須是 str，而不是 ‘bytes’
  • BEAM-8999 PGBKCVOperation 不遵守時間戳記組合器
  • BEAM-9050 Beam pickler 無法 pickle 將 module 設定為 None 的類別。
  • 各種錯誤修正和效能改進。

貢獻者列表

根據 git shortlog，以下人員為 2.19.0 版本做出了貢獻。感謝所有貢獻者！

Ahmet Altay、Alex Amato、Alexey Romanenko、Andrew Pilloud、Ankur Goenka、Anton Kedin、Boyuan Zhang、Brian Hulette、Brian Martin、Chamikara Jayalath、Charles Chen、Craig Chambers、Daniel Oliveira、David Moravek、David Rieber、Dustin Rhodes、Etienne Chauchot、Gleb Kanterov、Hai Lu、Heejong Lee、Ismaël Mejía、Jan Lukavský、Jason Kuster、Jean-Baptiste Onofré、Jeff Klukas、João Cabrita、J Ross Thomson、Juan Rael、Juta、Kasia Kucharczyk、Kengo Seki、Kenneth Jung、Kenneth Knowles、Kyle Weaver、Kyle Winkelman、Lukas Drbal、Łukasz Gajowy、Marek Simunek、Mark Liu、Maximilian Michels、Melissa Pashniak、Michael Luckey、Michal Walenia、Mike Pedersen、Mikhail Gryzykhin、Niel Markwick、Pablo Estrada、Pascal Gula、Reuven Lax、Rob、Robbe Sneyders、Robert Bradshaw、Robert Burke、Rui Wang、Ruoyun Huang、Ryan Williams、Sam Rohde、Sam Whittle、Scott Wegner、Thomas Weise、Tianyang Hu、ttanay、tvalentyn、Tyler Akidau、Udi Meiri、Valentyn Tymofieiev、Xinyu Liu、XuMingmin