開始使用 AI/ML 管道

Pydoc Pydoc




Javadoc Javadoc

作為機器學習從業人員，能夠以一種專門針對您的資源、需求和預算的方式有效利用大量資料，通常取決於您的生產力和成功。無論是啟動您的下一個 AI/ML 專案還是升級現有專案，請考慮將 Apache Beam 新增到您的專案中。

使用 Beam ML

我想要使用 Beam ML 來執行

預測和推論

Beam 提供了不同的方式來實作推論作為管道的一部分。您可以直接在管道中執行 ML 模型，並將其應用於大規模資料集，無論是批次處理還是串流管道。

RunInference

RunInfernce API 可用於 Beam Python SDK 2.40.0 及更新版本。您可以將 Apache Beam 與 RunInference API 搭配使用，以使用機器學習 (ML) 模型，透過批次和串流管道執行本機和遠端推論。從 Apache Beam 2.40.0 開始，支援 PyTorch 和 Scikit-learn 架構。Tensorflow 模型透過 tfx-bsl 支援。如需更多關於使用 RunInference 的詳細資訊，請參閱關於 Beam ML。

RunInference API 可透過 Apache Beam 的多語言管道架構用於 Beam Java SDK 2.41.0 及更新版本。如需關於 Java 包裝器轉換的資訊，請參閱RunInference.java。若要試用，請參閱Java Sklearn Mnist 分類範例。

您可以使用 RunInference API 建立多種轉換類型：API 從模型處理常式中取得多種設定參數類型，且參數類型決定模型實作。

任務範例
我想要使用 RunInference 轉換修改 Python 管道以使用 ML 模型
我想要將 RunInference 與 PyTorch 搭配使用將 RunInference 與 PyTorch 搭配使用
我想要將 RunInference 與 Sklearn 搭配使用將 RunInference 與 Sklearn 搭配使用
我想要使用預先訓練的模型 (PyTorch、Scikit-learn 或 TensorFlow)使用預先訓練的模型
我想要在生產環境中更新我的模型使用 WatchFilePattern 在 RunInference 中自動更新 ML 模型

預測和推論範例

任務範例
我想要建立具有多個模型的管道多模型管道
我想要使用 TensorRT 建立自訂模型處理常式將 TensorRT 與 RunInference 搭配使用
我想要使用 LLM 推論大型語言模型推論
我想要建立多語言推論管道從 Java SDK 使用 RunInference

資料處理

您可以透過設定轉換資料並輸出從資料計算的指標的資料管道，使用 Apache Beam 進行資料驗證和預處理。Beam 具有豐富的I/O 連接器集，用於擷取和寫入資料，這讓您可以將其與現有的檔案系統、資料庫或訊息佇列整合。

任務範例
我想要轉換我的資料以進行預處理使用 MLTransform 預處理資料
我想要探索我的資料資料探索工作流程和範例
我想要擴充我的資料使用擴充轉換擴充資料

工作流程協調

為了自動化和追蹤整個專案的 AI/ML 工作流程，您可以使用協調器，例如Kubeflow 管道 (KFP) 或TensorFlow Extended (TFX)。這些協調器會自動化您的不同建置區塊，並處理它們之間的轉換。

任務範例
我想要使用 ML-OPS 工作流程協調器工作流程協調
我想要將 Beam 與 TensorFlow Extended (TFX) 搭配使用Tensorflow Extended (TFX)
我想要將 Beam 與 Kubeflow 搭配使用Kubeflow 管道 (KFP)

當您將 Apache Beam 用作專案中的其中一個建置區塊時，這些協調器能夠啟動您的 Apache Beam 工作並追蹤管道的輸入和輸出。當您將 AI/ML 解決方案移至生產環境時，這些任務至關重要，因為它們讓您可以隨著時間處理模型和資料，並提高結果的品質和可重現性。

模型訓練

任務範例
我想要使用每個實體的訓練每個實體的訓練
我想要叢集文字線上叢集範例
我想要基準化模型效能ML 模型評估

使用案例

任務範例
我想要建立異常偵測管道異常偵測範例

參考