部落格 & 發布
2018/08/10
Apache Beam 2.6.0
Pablo Estrada [@polecitoem] & Rafael Fernández
我們很高興推出 Beam 的新 2.6.0 版本。此版本包含多項修復和新功能,例如 SQL 和可移植性的新功能。
我們也花費了大量的時間來自動化發布並修復持續整合。如需更多資訊,請查看發布說明。
新功能/改進
gRPC/Protobuf 陰影處理
gRPC/protobuf
現在已在大多數 Apache Beam Java 模組中進行陰影處理。少數在 API 介面上公開gRPC/protobuf
的模組仍然維持直接依賴性。
Beam SQL
- 新增對
EXISTS
和LIKE
運算子的支援。 - 實作
SUM()
聚合。 - 修復
CASE
表達式的問題。 - 新增對日期比較的支援。
- 新增對
LIMIT
的無界限資料支援。
可移植性
- 現在可使用支援計時器和使用者狀態的共用程式庫,以進行執行器整合。
- 新增一個通用本機執行器,可在單一機器上使用可移植性和容器化的 SDK 框架。
- Flink 執行器現在可以使用 Job API 接受工作。
IOs
- 所有執行器現在都可使用有界限的
SplittableDoFn
(SDF) 支援(SDF 是新的 I/O 連接器 API)。 HBaseIO
是第一個支援有界限 SDF 的 I/O(使用readAll
)。
SDKs
- 改進 Python
AvroIO
的效能。 - Python
AvroIO
有一個use_fastavro
選項,可使用fastavro
而不是apache/avro
,以實現 3-6 倍的加速!
其他
- 更新各種依賴版本。
- 改進穩定性、效能和文件。
貢獻者列表
根據 git shortlog,以下 39 人為 2.6.0 版本做出了貢獻。感謝所有貢獻者!
Ahmet Altay, Alan Myrvold, Alexey Romanenko, Andrew Pilloud, Ankur Goenka, Boyuan Zhang, Charles Chen, cclauss, Daniel Oliveira, Elliott Brossard, Eric Beach, Etienne Chauchot, Eugene Kirpichov, Henning Rohde, Ismaël Mejía, Kai Jiang, Kasia, Kenneth Knowles, Luis Osa, Lukasz Cwik, Maria Garcia Herrero, Mark Liu, Matthias Feys, Pablo Estrada, Rafael Fernandez, Reuven Lax, Robert Bradshaw, Robert Burke, Robin Qiu, Ryan Williams, Scott Wegner, Rui Weng, Sergei Lebedev, Sindy Li, Thomas Weise, Udi Meiri, Valentyn Tymofieiev, XuMingmin 和 Yifan Zou。