Java 轉換目錄概觀

逐元素

轉換描述
篩選給定一個述詞,篩選出所有不滿足該述詞的元素。
FlatMapElements將傳回集合的函式套用到輸入中的每個元素,並輸出所有結果元素。
Keys從鍵值對的集合中提取鍵。
KvSwap交換鍵值對集合中每個元素的鍵和值。
MapElements將函式套用到輸入中的每個元素並輸出結果。
ParDo將使用者定義的 DoFn 套用到輸入集合中每個元素的最通用機制。
Partition根據某些分割函式,將每個輸入元素路由到特定的輸出集合。
Regex根據正規表示式篩選輸入字串元素。也可能根據匹配群組轉換它們。
Reify用於在各種 Beam 值的顯式和隱式形式之間轉換的轉換。
ToString將輸入集合中的每個元素轉換為字串。
WithKeys產生一個包含從輸入集合轉換為鍵值對的每個元素的集合,並透過將函式套用到輸入元素來選擇鍵。
WithTimestamps套用函式以確定輸出集合中每個元素的時間戳記,並更新與每個輸入相關聯的隱式時間戳記。請注意,只能安全地向前調整時間戳記。
Values從鍵值對的集合中提取值。

聚合

轉換描述
ApproximateQuantiles使用近似演算法,透過指定數量的分位數來估計每個聚合內部的資料分佈。
ApproximateUnique使用近似演算法來估計每個聚合內部的唯一元素數量。
CoGroupByKey類似於 GroupByKey,但將與每個鍵相關聯的值分組為給定大小的批次
Combine轉換為根據提供的 CombineFn 組合元素。
CombineWithContextCombine 的擴充版本,允許存取側輸入和其他內容。
Count計算每個聚合內部的元素數量。
Distinct產生一個包含來自輸入集合的相異元素的集合。
GroupByKey採用鍵控的元素集合,並產生一個集合,其中每個元素都包含一個鍵和與該鍵相關聯的所有值。
GroupIntoBatches將與鍵相關聯的值分批放入某些大小的 Iterable 批次中。每個批次都包含與特定鍵相關聯的元素。
HllCount使用 HyperLogLog++ 演算法估計相異元素的數量並建立可重新聚合的草圖。
Latest根據隱式時間戳記,選取每個聚合中的最新元素。
Max輸出每個聚合中的最大元素。
Mean計算每個聚合內的平均值。
Min輸出每個聚合中的最小元素。
Sample從每個聚合中隨機選取一些元素。
Sum計算每個聚合中元素的總和。
Top計算每個聚合中的最大元素。

其他

轉換描述
建立從記憶體中的清單建立集合。
Flatten給定多個輸入集合,產生一個包含所有輸入集合中所有元素的單一輸出集合。
PAssert一個轉換,用於斷言 PCollection 的內容,該內容用於在本機或使用執行器測試管線時。
View用於將集合轉換為檢視的操作,該檢視可用作 ParDo 的側輸入。
Window根據提供的 WindowFn,將集合的元素邏輯劃分或分組為有限的視窗。