Beam 互動式總覽

在這裡，您可以找到一系列適用於 Apache Beam 的互動式筆記本，這些筆記本託管在 Colab 中。這些筆記本允許您以互動方式操作程式碼，並查看您的變更如何影響管線。您不需要安裝任何東西或以任何方式修改您的電腦即可使用這些筆記本。

您也可以使用 Java、Python 和 Go SDK 試用 Apache Beam 管線。

開始使用

學習基礎知識

在此筆記本中，我們將介紹 Apache Beam 的基本知識以及如何開始使用。我們將學習資料管線、PCollection、PTransform，以及一些基本轉換，例如 Map、FlatMap、Filter、Combine 和 GroupByKey。

在 Colab 中執行 在 Colab 中執行





讀取和寫入資料

在此筆記本中，我們將介紹一些關於如何從不同資料格式讀取和寫入資料的範例。我們將介紹內建的 ReadFromText 和 WriteToText 轉換。我們還將了解如何從 CSV 檔案讀取、從 SQLite 資料庫讀取、寫入固定大小的元素批次，以及寫入元素的視窗。

在 Colab 中執行 在 Colab 中執行





視窗化

在此筆記本中，我們將介紹如何根據時間間隔或在串流管線中彙總資料。我們將介紹 GlobalWindow、FixedWindows、SlidingWindows 和 Sessions。

在 Colab 中執行 在 Colab 中執行





DataFrames

Beam DataFrames 提供類似 pandas 的 DataFrame API 來宣告 Beam 管線。若要深入了解 Beam DataFrames，請查看 Beam DataFrames 總覽頁面。

在 Colab 中執行 在 Colab 中執行





轉換

請查看 Python 轉換目錄以取得可用轉換的完整清單。

逐元素轉換

Map

對集合中的每個元素應用簡單的一對一對應函數。

在 Colab 中執行 在 Colab 中執行





FlatMap

對集合中的每個元素應用簡單的一對多對應函數。許多元素會被扁平化到結果集合中。

在 Colab 中執行 在 Colab 中執行





Filter

給定一個謂詞，篩選掉所有不滿足該謂詞的元素。

在 Colab 中執行 在 Colab 中執行





Partition

將集合中的元素分離到多個輸出集合中。

在 Colab 中執行 在 Colab 中執行





ParDo

用於通用平行處理的轉換。建議盡可能使用 Map、FlatMap、Filter 或其他更具體的轉換。

在 Colab 中執行 在 Colab 中執行