我們很高興推出 Apache Beam 的新版本 2.27.0。此版本包含改進和新功能。請參閱此版本的下載頁面。如需了解有關 2.27.0 中變更的更多資訊，請查看詳細發行說明。

重點

• Java 11 容器現在與所有 Beam 版本一起發佈。
• 有一個新的轉換 ReadAllFromBigQuery，可以在 pipeline 執行時接收多個從 BigQuery 讀取資料的請求。請參閱PR 13170和BEAM-9650。

I/O

• ReadFromMongoDB 現在可以與 MongoDB Atlas (Python) 一起使用 (BEAM-11266)。
• ReadFromMongoDB/WriteToMongoDB 將在 display_data 中遮蓋密碼 (Python) (BEAM-11444)。
• 有一個新的轉換 ReadAllFromBigQuery，可以在 pipeline 執行時接收多個從 BigQuery 讀取資料的請求。請參閱PR 13170和BEAM-9650。

新功能/改進

• 依賴 Hadoop 的 Beam 模組現在已針對與 Hadoop 3 的相容性進行測試 (BEAM-8569)。(Hive/HCatalog 待定)
• 發佈 Java 11 SDK 容器映像現在作為 Apache Beam 發佈過程的一部分支援。( BEAM-8106)
• 將 Cloud Bigtable Provider 擴展新增至 Beam SQL (BEAM-11173, BEAM-11373)
• 為 thrift 資料新增了 schema provider (BEAM-11338)
• 將組合器打包 pipeline 優化新增至 Dataflow 執行器。( BEAM-10641)
• 新增了一個從 Apache Kafka 擷取資料到 Google Pub/Sub 的範例。( BEAM-11065)

重大變更

• HBaseIO hbase-shaded-client 依賴項現在應由使用者提供 (BEAM-9278)。
• amazon-web-services2 中的 --region 標誌已替換為 --awsRegion (BEAM-11331)。

貢獻者列表

根據 git shortlog，以下人員為 2.27.0 版本做出了貢獻。感謝所有貢獻者！

Ahmet Altay, Alan Myrvold, Alex Amato, Alexey Romanenko, Aliraza Nagamia, Allen Pradeep Xavier, Andrew Pilloud, andreyKaparulin, Ashwin Ramaswami, Boyuan Zhang, Brent Worden, Brian Hulette, Carlos Marin, Chamikara Jayalath, Costi Ciudatu, Damon Douglas, Daniel Collins, Daniel Oliveira, David Huntsperger, David Lu, David Moravek, David Wrede, dennis, Dennis Yung, dpcollins-google, Emily Ye, emkornfield, Esun Kim, Etienne Chauchot, Eugene Nikolaiev, Frank Zhao, Haizhou Zhao, Hector Acosta, Heejong Lee, Ilya, Iñigo San Jose Visiers, InigoSJ, Ismaël Mejía, janeliulwq, Jan Lukavský, Kamil Wasilewski, Kenneth Jung, Kenneth Knowles, Ke Wu, kileys, Kyle Weaver, lostluck, Matt Casters, Maximilian Michels, Michal Walenia, Mike Dewar, nehsyc, Nelson Osacky, Niels Basjes, Ning Kang, Pablo Estrada, palmere-google, Pawel Pasterz, Piotr Szuberski, purbanow, Reuven Lax, rHermes, Robert Bradshaw, Robert Burke, Rui Wang, Sam Rohde, Sam Whittle, Siyuan Chen, Tim Robertson, Tobiasz Kędzierski, tszerszen, Valentyn Tymofieiev, Tyson Hamilton, Udi Meiri, vachan-shetty, Xinyu Liu, Yichi Zhang, Yifan Mai, yoshiki.obata, Yueyang Qiu