部落格 & 版本發布

2020/06/08

Apache Beam 2.22.0

Brian Hulette [@BrianHulette]

我們很高興推出 Beam 的新版本 2.22.0。此版本包含改進和新功能。請參閱此版本的下載頁面。

有關 2.22.0 中變更的更多資訊，請參閱詳細版本說明。

I/O

  • DataflowRunner（Python）的基本 Kafka 讀/寫支援（BEAM-8019）。
  • Google Healthcare API 的來源和接收器（Java）（BEAM-9468）。

新功能/改進

  • Dataflow 串流管線中支援 --workerCacheMB 標誌（BEAM-9964）
  • FnApi 執行器支援 --direct_num_workers=0。它會將執行管線的機器上的執行緒/子程序的數量設定為核心數量（BEAM-9443）。
  • Python SDK 現在實驗性支援 SqlTransform（BEAM-8603）。
  • 將 OnWindowExpiration 方法新增至 Stateful DoFn（BEAM-1589）。
  • 新增用於 Google Cloud DLP（資料遺失防護）服務整合的 PTransform（BEAM-9723）
    • 資料檢查、
    • 資料去識別、
    • 資料重新識別。
  • 在文件網站中新增更完整的 I/O 支援矩陣（BEAM-9916）。
  • 將 Sphinx 升級到 3.0.3 以建置 PyDoc。
  • 新增一個 PTransform，用於使用 Google Cloud AI 影像處理服務進行影像註解（BEAM-9646）

重大變更

  • 當使用 --runner=PortableRunner 時，Python SDK 現在需要設定 --job_endpoint （BEAM-9860）。尋求舊預設行為的使用者應改為設定 --runner=FlinkRunner。

貢獻者清單

根據 git shortlog，以下人員為 2.22.0 版本做出了貢獻。感謝所有貢獻者！

Ahmet Altay, aiyangar, Ajo Thomas, Akshay-Iyangar, Alan Pryor, Alexey Romanenko, Allen Pradeep Xavier, amaliujia, Andrew Pilloud, Ankur Goenka, Ashwin Ramaswami, bntnam, Borzoo Esmailloo, Boyuan Zhang, Brian Hulette, Chamikara Jayalath, Colm O hEigeartaigh, Craig Chambers, Damon Douglas, Daniel Oliveira, David Cavazos, David Moravek, Esun Kim, Etienne Chauchot, Filipe Regadas, Graeme Morgan, Hannah Jiang, Hannah-Jiang, Harch Vardhan, Heejong Lee, Henry Suryawirawan, Ismaël Mejía, Israel Herraiz, Jacob Ferriero, Jan Lukavský, John Mora, Kamil Wasilewski, Kenneth Jung, Kenneth Knowles, kevingg, Kyle Weaver, Kyoungha Min, Kyungwon Jo, Luke Cwik, Mark Liu, Matthias Baetens, Maximilian Michels, Michal Walenia, Mikhail Gryzykhin, Nam Bui, Niel Markwick, Ning Kang, Omar Ismail, omarismail94, Pablo Estrada, paul fisher, pawelpasterz, Pawel Pasterz, Piotr Szuberski, Rahul Patwari, rarokni, Rehman, Rehman Murad Ali, Reuven Lax, Robert Bradshaw, Robert Burke, Rui Wang, Ruoyun Huang, Sam Rohde, Sam Whittle, Sebastian Graca, Shoaib Zafar, Sruthi Sree Kumar, Stephen O’Kennedy, Steve Koonce, Steve Niemitz, Steven van Rossum, Tesio, Thomas Weise, tobiaslieber-cognitedata, Tomo Suzuki, Tudor Marian, tvalentyn, Tyson Hamilton, Udi Meiri, Valentyn Tymofieiev, Vasu Nori, xuelianhan, Yichi Zhang, Yifan Zou, yoshiki.obata, Yueyang Qiu, Zhuo Peng