部落格 & 發佈
2019/04/25
Apache Beam 2.12.0
我們很高興推出 Beam 的新 2.12.0 版本。此版本包含改進和新功能。請參閱此版本的下載頁面。
有關 2.12.0 版本變更的更多資訊,請查看詳細版本說明。
重點
I/O
- 為 Python SDK 新增 BigQuery 自訂接收器支援。
- 新增在 Java SDK 的 CassandraIO 中指定查詢的支援。
- 新增跨語言轉換的實驗性支援,請參閱BEAM-6730。
- 在 Flink Runner 中新增對使用 KafkaIO 進行恰好一次寫入的支援。
新功能 / 改進
- 在 Python SDK 中為可攜式執行器啟用捆綁最終化。
- 新增對 Java SDK harness 合併視窗的支援。
- 在 Flink 執行器上新增 Kafka Sink EOS 支援。
- 為 Python 串流 BigQuery 接收器新增了死信佇列。
- 新增啟用實驗性 Python 3.6 和 3.7 工作負載。Beam 2.12 支援在 Python 3.6、3.7 下啟動 Dataflow 管道,但 3.5 仍然是 Dataflow 執行器唯一推薦的小版本。除了已公佈的 2.11 限制之外,Beam 型別提示註解目前在 Python >= 3.6 上不受支援。
錯誤修正
- 各種錯誤修正和效能改進。
貢獻者列表
根據 git shortlog,以下人員為 2.12.0 版本做出了貢獻。感謝所有貢獻者!
Ahmed El.Hussaini, Ahmet Altay, Alan Myrvold, Alex Amato, Alexander Savchenko, Alexey Romanenko, Andrew Brampton, Andrew Pilloud, Ankit Jhalaria, Ankur Goenka, Anton Kedin, Boyuan Zhang, Brian Hulette, Chamikara Jayalath, Charles Chen, Colm O hEigeartaigh, Craig Chambers, Dan Duong, Daniel Mescheder, Daniel Oliveira, David Moravek, David Rieber, David Yan, Eric Roshan-Eisner, Etienne Chauchot, Gleb Kanterov, Heejong Lee, Ho Tien Vu, Ismaël Mejía, Jan Lukavský, Jean-Baptiste Onofré, Jeff Klukas, Juta, Kasia Kucharczyk, Kengo Seki, Kenneth Jung, Kenneth Knowles, kevin, Kyle Weaver, Kyle Winkelman, Łukasz Gajowy, Mark Liu, Mathieu Blanchard, Max Charas, Maximilian Michels, Melissa Pashniak, Michael Luckey, Michal Walenia, Mike Kaplinskiy, Mikhail Gryzykhin, Niel Markwick, Pablo Estrada, Radoslaw Stankiewicz, Reuven Lax, Robbe Sneyders, Robert Bradshaw, Robert Burke, Rui Wang, Ruoyun Huang, Ryan Williams, Slava Chernyak, Shahar Frank, Sunil Pedapudi, Thomas Weise, Tim Robertson, Tanay Tummalapalli, Udi Meiri, Valentyn Tymofieiev, Xinyu Liu, Yifan Zou, Yueyang Qiu