部落格 & 發布
2019/08/22
Apache Beam 2.15.0
我們很高興推出 Beam 的新 2.15.0 版本。此版本包含改進和新功能。請參閱此版本的下載頁面。
有關 2.15.0 中變更的詳細資訊,請查看詳細發行說明。
重點
- Vendored Guava 已升級至 26.0 版。
- 支援 Python 的 FnApiRunner 上的多進程執行。(BEAM-3645)
I/O
新功能/改進
- 在 SQL 中支援 ParquetTable。(BEAM-7728)
- 將熱鍵偵測新增至 Dataflow Runner。(BEAM-7820)
- 在 JDBC sink 中支援結構描述。(BEAM-6675)
- 向 Dataflow 自動調整器報告 GCS 節流時間,以獲得更好的自動調整。(BEAM-7667)
- 在 Python SDK 中為
--update
用途支援 transform_name_mapping 選項。(BEAM-7761) - 相依性:將 Jackson databind 升級至 2.9.9.3 版 (BEAM-7880)
錯誤修復
- 各種錯誤修復和效能改進。
已知問題
- BEAM-7616 urlopen 呼叫可能會卡住。(自 2.14.0 版以來回歸)
- BEAM-8111 SchemaCoder 在 Dataflow 上失敗,阻止使用 SqlTransform 和具結構描述感知轉換。(自 2.14.0 版以來回歸)
- (BEAM-8368) 無法在 macOS 10.15 上安裝 Python SDK。
重大變更
--region
旗標將來會是 Dataflow 的必要旗標。新增警告以警告此未來的變更。(BEAM-7833)
貢獻者列表
根據 git shortlog,以下人員為 2.15.0 版本做出了貢獻。感謝所有貢獻者!
Ahmet Altay, Alexey Romanenko, Alex Goos, Alireza Samadian, Andrew Pilloud, Ankur Goenka, Anton Kedin, Aryan Naraghi, Bartok Jozsef, bmv126, B M VISHWAS, Boyuan Zhang, Brian Hulette, brucearctor, Cade Markegard, Cam Mach, Chad Dombrova, Chaim Turkel, Chamikara Jayalath, Charith Ellawala, Claire McGinty, Craig Chambers, Daniel Oliveira, David Cavazos, David Moravek, Dominic Mitchell, Dustin Rhodes, Etienne Chauchot, Filipe Regadas, Gleb Kanterov, Gunnar Schulze, Hannah Jiang, Heejong Lee, Henry Suryawirawan, Ismaël Mejía, Ivo Galic, Jan Lukavský, Jawad, Juta, Juta Staes, Kai Jiang, Kamil Wasilewski, Kasia Kucharczyk, Kenneth Jung, Kenneth Knowles, Kyle Weaver, Lily Li, Logan HAUSPIE, lostluck, Łukasz Gajowy, Luke Cwik, Mark Liu, Matt Helm, Maximilian Michels, Michael Luckey, Mikhail Gryzykhin, Neville Li, Nicholas Rucci, pabloem, Pablo Estrada, Paul King, Paul Suganthan, Raheel Khan, Rakesh Kumar, Reza Rokni, Robert Bradshaw, Robert Burke, rosetn, Rui Wang, Ryan Skraba, RyanSkraba, Sahith Nallapareddy, Sam Rohde, Sam Whittle, Steve Niemitz, Tanay Tummalapalli, Thomas Weise, Tianyang Hu, ttanay, tvalentyn, Udi Meiri, Valentyn Tymofieiev, Wout Scheepers, yanzhi, Yekut, Yichi Zhang, Yifan Zou, yoshiki.obata, Yueyang Qiu, Yunqing Zhou