部落格 & 發布
2020/12/11
Apache Beam 2.26.0
我們很高興推出 Apache Beam 的新版本 2.26.0。此版本包含改進和新功能。請參閱下載頁面以取得此版本。
有關 2.26.0 中變更的更多資訊,請查看詳細的發行說明。
重點
- Splittable DoFn 現在是執行基於 Java 的執行器(帶有邊界管道的 Spark)的 Read 轉換的預設設定,除了 2.25.0 版本中現有的執行器(Direct、Flink、Jet、Samza、Twister2)。Read 轉換的預期輸出沒有變化。使用者可以使用
--experiments=use_deprecated_read
來選擇退出。Apache Beam 社群正在尋求對此變更的回饋,因為社群計劃將此變更永久化,並且不再提供選擇退出的選項。如果您遇到需要選擇退出的問題,請發送電子郵件至user@beam.apache.org,並在主旨行中特別註明 BEAM-10670,以及您需要選擇退出的原因。(Java) (BEAM-10670)
I/O
- Java BigQuery 串流插入現在預設啟用逾時。傳遞
--HTTPWriteTimeout=0
以還原為舊的行為。 (BEAM-6103) - 新增對 Contextual Text IO (Java) 的支援,這是文字 IO 的一個版本,提供有關記錄的中繼資料 (BEAM-10124)。此 IO 的支援目前為實驗性。具體來說,對於目前和未來版本的 Apache Beam SDK 之間使用此 IO 的串流作業,**沒有更新相容性保證**。
新功能/改進
- 在 Beam SQL Kafka 表中新增對 avro 酬載格式的支援 (BEAM-10885)
- 在 Beam SQL Kafka 表中新增對 json 酬載格式的支援 (BEAM-10893)
- 在 Beam SQL Kafka 表中新增對 protobuf 酬載格式的支援 (BEAM-10892)
- 在 Beam SQL Pubsub 表中新增對 avro 酬載格式的支援 (BEAM-5504)
- 新增選項以停用 Flink Runner (Java) 中運算子之間不必要的複製 (BEAM-11146)
- 將 CombineFn.setup 和 CombineFn.teardown 新增至 Python SDK。這些方法可讓您在執行 CombineFn 的任何其他方法之前初始化 CombineFn 的狀態,並在之後清理該狀態。如果您使用 Dataflow,則需要透過傳遞
--experiments=use_runner_v2
來啟用 Dataflow Runner V2 才能使用此功能。 (BEAM-3736)
重大變更
- BigQuery 的 DATETIME 類型現在對應到 Beam 邏輯類型 org.apache.beam.sdk.schemas.logicaltypes.SqlTypes.DATETIME
- 資料框架操作現在需要 Pandas 1.x。
貢獻者列表
根據 git shortlog,以下人員為 2.26.0 版本做出了貢獻。感謝所有貢獻者!
Abhishek Yadav, AbhiY98, Ahmet Altay, Alan Myrvold, Alex Amato, Alexey Romanenko, Andrew Pilloud, Ankur Goenka, Boyuan Zhang, Brian Hulette, Chad Dombrova, Chamikara Jayalath, Curtis “Fjord” Hawthorne, Damon Douglas, dandy10, Daniel Oliveira, David Cavazos, dennis, Derrick Qin, dpcollins-google, Dylan Hercher, emily, Esun Kim, Gleb Kanterov, Heejong Lee, Ismaël Mejía, Jan Lukavský, Jean-Baptiste Onofré, Jing, Jozef Vilcek, Justin White, Kamil Wasilewski, Kenneth Knowles, kileys, Kyle Weaver, lostluck, Luke Cwik, Mark, Maximilian Michels, Milan Cermak, Mohammad Hossein Sekhavat, Nelson Osacky, Neville Li, Ning Kang, pabloem, Pablo Estrada, pawelpasterz, Pawel Pasterz, Piotr Szuberski, PoojaChandak, purbanow, rarokni, Ravi Magham, Reuben van Ammers, Reuven Lax, Reza Rokni, Robert Bradshaw, Robert Burke, Romain Manni-Bucau, Rui Wang, rworley-monster, Sam Rohde, Sam Whittle, shollyman, Simone Primarosa, Siyuan Chen, Steve Niemitz, Steven van Rossum, sychen, Teodor Spæren, Tim Clemons, Tim Robertson, Tobiasz Kędzierski, tszerszen, Tudor Marian, tvalentyn, Tyson Hamilton, Udi Meiri, Vasu Gupta, xasm83, Yichi Zhang, yichuan66, Yifan Mai, yoshiki.obata, Yueyang Qiu, yukihira1992