Java 轉換目錄概觀
逐元素
轉換 | 描述 |
---|---|
篩選 | 給定一個述詞,篩選出所有不滿足該述詞的元素。 |
FlatMapElements | 將傳回集合的函式套用到輸入中的每個元素,並輸出所有結果元素。 |
Keys | 從鍵值對的集合中提取鍵。 |
KvSwap | 交換鍵值對集合中每個元素的鍵和值。 |
MapElements | 將函式套用到輸入中的每個元素並輸出結果。 |
ParDo | 將使用者定義的 DoFn 套用到輸入集合中每個元素的最通用機制。 |
Partition | 根據某些分割函式,將每個輸入元素路由到特定的輸出集合。 |
Regex | 根據正規表示式篩選輸入字串元素。也可能根據匹配群組轉換它們。 |
Reify | 用於在各種 Beam 值的顯式和隱式形式之間轉換的轉換。 |
ToString | 將輸入集合中的每個元素轉換為字串。 |
WithKeys | 產生一個包含從輸入集合轉換為鍵值對的每個元素的集合,並透過將函式套用到輸入元素來選擇鍵。 |
WithTimestamps | 套用函式以確定輸出集合中每個元素的時間戳記,並更新與每個輸入相關聯的隱式時間戳記。請注意,只能安全地向前調整時間戳記。 |
Values | 從鍵值對的集合中提取值。 |
聚合
轉換 | 描述 |
---|---|
ApproximateQuantiles | 使用近似演算法,透過指定數量的分位數來估計每個聚合內部的資料分佈。 |
ApproximateUnique | 使用近似演算法來估計每個聚合內部的唯一元素數量。 |
CoGroupByKey | 類似於 GroupByKey ,但將與每個鍵相關聯的值分組為給定大小的批次 |
Combine | 轉換為根據提供的 CombineFn 組合元素。 |
CombineWithContext | Combine 的擴充版本,允許存取側輸入和其他內容。 |
Count | 計算每個聚合內部的元素數量。 |
Distinct | 產生一個包含來自輸入集合的相異元素的集合。 |
GroupByKey | 採用鍵控的元素集合,並產生一個集合,其中每個元素都包含一個鍵和與該鍵相關聯的所有值。 |
GroupIntoBatches | 將與鍵相關聯的值分批放入某些大小的 Iterable 批次中。每個批次都包含與特定鍵相關聯的元素。 |
HllCount | 使用 HyperLogLog++ 演算法估計相異元素的數量並建立可重新聚合的草圖。 |
Latest | 根據隱式時間戳記,選取每個聚合中的最新元素。 |
Max | 輸出每個聚合中的最大元素。 |
Mean | 計算每個聚合內的平均值。 |
Min | 輸出每個聚合中的最小元素。 |
Sample | 從每個聚合中隨機選取一些元素。 |
Sum | 計算每個聚合中元素的總和。 |
Top | 計算每個聚合中的最大元素。 |
其他
轉換 | 描述 |
---|---|
建立 | 從記憶體中的清單建立集合。 |
Flatten | 給定多個輸入集合,產生一個包含所有輸入集合中所有元素的單一輸出集合。 |
PAssert | 一個轉換,用於斷言 PCollection 的內容,該內容用於在本機或使用執行器測試管線時。 |
View | 用於將集合轉換為檢視的操作,該檢視可用作 ParDo 的側輸入。 |
Window | 根據提供的 WindowFn ,將集合的元素邏輯劃分或分組為有限的視窗。 |
上次更新於 2024/10/31
您是否找到您要尋找的所有內容?
這一切是否實用且清晰?是否有任何您想變更的內容?請告訴我們!