預測與推論

Beam 提供不同的方式來實作推論作為您管道的一部分。 您可以直接在管道中執行 ML 模型，並將其應用於大規模資料集，無論是批次處理管道還是串流管道。

使用 RunInference API

Pydoc Pydoc




Javadoc Javadoc

RunInference API 可用於 Beam Python SDK 2.40.0 和更新版本。您可以將 Apache Beam 與 RunInference API 搭配使用，利用機器學習 (ML) 模型對批次和串流管道執行本機和遠端推論。從 Apache Beam 2.40.0 開始，支援 PyTorch 和 Scikit-learn 框架。Tensorflow 模型透過 tfx-bsl 支援。有關搭配 Python 使用 RunInference 的更多詳細資訊，請參閱關於 Beam ML。

RunInference API 可透過 Apache Beam 的多語言管道框架用於 Beam Java SDK 2.41.0 和更新版本。有關 Java 包裝轉換的資訊，請參閱RunInference.java。若要試用，請參閱Java Sklearn Mnist 分類範例。

您可以使用 RunInference API 建立多種轉換類型：API 從模型處理器中取得多種設定參數類型，而參數類型會決定模型實作。

任務範例
我想要使用 RunInference 轉換修改 Python 管道以使用 ML 模型
我想要搭配 PyTorch 使用 RunInference搭配 PyTorch 使用 RunInference
我想要搭配 Sklearn 使用 RunInference搭配 Sklearn 使用 RunInference
我想要使用預先訓練的模型 (PyTorch、Scikit-learn 或 TensorFlow)使用預先訓練的模型

使用案例

任務範例
我想要建置具有多個模型的管道多模型管道
我想要使用 TensorRT 建置自訂模型處理器搭配 RunInference 使用 TensorRT
我想要使用 LLM 推論大型語言模型推論