部落格 & 版本發布

2021/04/29

Apache Beam 2.29.0

Kenneth Knowles [@KennKnowles]

我們很高興推出 Beam 的新版本 2.29.0。此版本包含改進和新功能。請參閱此版本的下載頁面。

有關 2.29.0 版本變更的更多資訊，請查看詳細版本說明。

重點

  • Spark Classic 和 Portable 執行器正式支援 Spark 3 (BEAM-7093)。
  • 大多數執行器（Dataflow、Flink、Spark）正式支援 Java 11 (BEAM-2530)。
  • DataFrame API 現在支援 GroupBy.apply (BEAM-11628)。

I/O

  • 新增對 AWS SDK V2 (Java) 上 S3 檔案系統的支援 (BEAM-7637)
  • GCP BigQuery 接收器（檔案載入）對無邊界資料使用執行器決定的分片 (BEAM-11772)
  • KafkaIO 現在可以識別寫入記錄中的 partition 屬性 (BEAM-11806)
  • ParquetIO 上支援 Hadoop 組態 (BEAM-11913)

新功能/改進

重大變更

  • 對 GroupByKey 和 Stateful DoFn 強制執行確定性編碼。先前允許不確定的編碼，導致在某些情況下金鑰無法正確分組。( BEAM-11719) 若要還原舊行為，可以使用 beam.coders.registry.register_fallback_coder(beam.coders.coders.FakeDeterministicFastPrimitivesCoder()) 註冊 FakeDeterministicFastPrimitivesCoder，或使用 allow_non_deterministic_key_coders 管線選項。

棄用

  • 在下一個版本 (2.30.0) 中將移除對 Flink 1.8 和 1.9 的支援 (BEAM-11948)。

已知問題

貢獻者清單

根據 git shortlog，以下人員為 2.29.0 版本做出了貢獻。感謝所有貢獻者！

Ahmet Altay, Alan Myrvold, Alex Amato, Alexander Chermenin, Alexey Romanenko, Allen Pradeep Xavier, Amy Wu, Anant Damle, Andreas Bergmeier, Andrei Balici, Andrew Pilloud, Andy Xu, Ankur Goenka, Bashir Sadjad, Benjamin Gonzalez, Boyuan Zhang, Brian Hulette, Chamikara Jayalath, Chinmoy Mandayam, Chuck Yang, dandy10, Daniel Collins, Daniel Oliveira, David Cavazos, David Huntsperger, David Moravek, Dmytro Kozhevin, Emily Ye, Esun Kim, Evgeniy Belousov, Filip Popić, Fokko Driesprong, Gris Cuevas, Heejong Lee, Ihor Indyk, Ismaël Mejía, Jakub-Sadowski, Jan Lukavský, John Edmonds, Juan Sandoval, 谷口恵輔, Kenneth Jung, Kenneth Knowles, KevinGG, Kiley Sok, Kyle Weaver, MabelYC, Mackenzie Clark, Masato Nakamura, Milena Bukal, Miltos, Minbo Bae, Miraç Vuslat Başaran, mynameborat, Nahian-Al Hasan, Nam Bui, Niel Markwick, Niels Basjes, Ning Kang, Nir Gazit, Pablo Estrada, Ramazan Yapparov, Raphael Sanamyan, Reuven Lax, Rion Williams, Robert Bradshaw, Robert Burke, Rui Wang, Sam Rohde, Sam Whittle, Shehzaad Nakhoda, Shehzaad Nakhoda, Siyuan Chen, Sonam Ramchand, Steve Niemitz, sychen, Sylvain Veyrié, Tim Robertson, Tobias Kaymak, Tomasz Szerszeń, Tomasz Szerszeń, Tomo Suzuki, Tyson Hamilton, Udi Meiri, Valentyn Tymofieiev, Yichi Zhang, Yifan Mai, Yixing Zhang, Yoshiki Obata