I/O 連接器

Apache Beam I/O 連接器為最受歡迎的資料儲存系統提供讀取和寫入轉換，讓 Beam 使用者可以受益於原生優化的連線能力。透過可用的 I/O，Apache Beam 管線可以以統一且分散式的方式從外部儲存類型讀取和寫入資料。

以跨語言表示的 I/O 連接器是使用 Apache Beam 多語言管線框架提供的。

內建 I/O 連接器

此表提供可用內建 I/O 連接器的整合式概觀，一目了然。

連接器名稱	支援來源	支援接收器	Java	Python	Go	Typescript	支援批次	支援串流
FileIO	✔	✔	✔ 原生	✔ 原生	✔ 原生	無法使用	✔	✔
AvroIO	✔	✔	✔ 原生	✔ 原生	✔ 原生	✔ 透過跨語言	✔	✔
TextIO (指標)	✔	✔	✔ 原生	✔ 原生	✔ 原生	✔ 透過跨語言	✔	✔
TFRecordIO	✔	✔	✔ 原生	✔ 原生	無法使用	無法使用	✔	✘
XmlIO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✘
TikaIO	✔	✘	✔ 原生	無法使用	無法使用	無法使用	✔	✔
ParquetIO (指南)	✔	✔	✔ 原生	✔ 原生	✔ 原生	✔ 透過跨語言	✔	✘
ThriftIO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✘
HadoopFileSystem	✔	✔	✔ 原生	✔ 原生	無法使用	✔透過跨語言	✔	✘
GcsFileSystem (指標)	✔	✔	✔ 原生	✔ 原生	✔ 原生	✔透過跨語言	✔	✘
LocalFileSystem	✔	✔	✔ 原生	✔ 原生	✔ 原生	✔透過跨語言	✔	✘
S3FileSystem	✔	✔	✔ 原生	✔ 原生	無法使用	✔透過跨語言	✔	✘
記憶體內	✘	✔	✘	✘	✔ 原生	✘	✔	✘
KinesisIO	✔	✔	✔ 原生	✔ 透過跨語言	無法使用	無法使用	✔	✔
AmqpIO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔
KafkaIO	✔	✔	✔ 原生	✔ 透過跨語言	✔ 透過跨語言	✔ 透過跨語言	✔	✔
PubSubIO	✔	✔	✔ 原生	✔ 原生	✔ 原生	✔ 透過跨語言	✔	✔
JmsIO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔
MqttIO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔
RabbitMqIO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔
SqsIO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔
SnsIO	✘	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✘
CassandraIO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✘
HadoopFormatIO (指南)	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔
HBaseIO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✘
HCatalogIO (指南)	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔
KuduIO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✘
SolrIO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔
ElasticsearchIO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔
BigQueryIO (指南) (指標)	✔	✔	✔ 原生	✔ 原生	✔ 原生 ✔ 透過跨語言	✔ 透過跨語言	✔	✔
BigTableIO (指標)	✔	✔	✔ 原生	✔ 原生 (接收器) ✔ 透過跨語言	✔ 原生 (接收器) ✔ 透過跨語言	無法使用	✔	✔
DatastoreIO	✔	✔	✔ 原生	✔ 原生	✔ 原生	無法使用	✔	✔
SnowflakeIO (指南)	✔	✔	✔ 原生	✔ 透過跨語言	無法使用	無法使用	✔	✘
SpannerIO	✔	✔	✔ 原生	✔ 透過跨語言	✔ 原生	無法使用	✔	✔
JdbcIO	✔	✔	✔ 原生	✔ 透過跨語言	✔ 透過跨語言	無法使用	✔	✘
DebeziumIO	✔	✘	✔ 原生	✔ 透過跨語言	✔ 透過跨語言	無法使用	✔	✔
MongoDbIO	✔	✔	✔ 原生	✔ 原生	✔ 原生	無法使用	✔	✘
MongoDbGridFSIO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✘
RedisIO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✘
DynamoDBIO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔
ClickHouseIO	✘	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✘
DatabaseIO	✔	✔	✘	✘	✔ 原生	無法使用	✔	✘
GenerateSequence	✔	✘	✔ 原生	無法使用	無法使用	無法使用	✔	✔
SplunkIO	✘	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔
FhirIO	✔	✔	✔ 原生	無法使用	✔ 原生	無法使用	✔	✔
HL7v2IO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔
DicomIO	✔	✔	✔ 原生	✔ 原生	無法使用	無法使用	✔	✔
FlinkStreaming ImpulseSource	✔	✘	無法使用	✔ 原生	無法使用	無法使用	✔	✔
Firestore IO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✘
Neo4j	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✘
Pub/Sub Lite	✔	✔	✔ 原生	✔ 透過跨語言	無法使用	✔ 透過跨語言	✔	✔
InfluxDB	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔
SparkReceiverIO (指南)	✔	✘	✔ 原生	無法使用	無法使用	無法使用	✘	✔
CdapIO (指南)	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔
SingleStoreDB (指南)	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✘
GoogleAdsIO	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔
Web APIs (指南)	✔	✔	✔ 原生	✔ 原生	無法使用	無法使用	✔	✔
Iceberg (託管 I/O)	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔

Apache Beam 的其他 I/O 連接器

連接器名稱	支援來源	支援接收器	Java	Python	Go	Typescript	支援批次	支援串流
Solace	✔	✘	✔ 原生	無法使用	無法使用	無法使用	✔	✔
SAP Hana 至 Google BigQuery	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✘
MySQL	✔	✔	無法使用	✔ 原生	無法使用	無法使用	✔	✘
TrepWsIO	✔	✘	✔ 原生	無法使用	無法使用	無法使用	✔	✔
KineticaDB	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✘
Cognite Data Fusion	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✔
Pyodbc	✔	✔	無法使用	✔ 原生	無法使用	無法使用	✔	✘
Go Connect	✔	✔	✘	✘	✔ 原生	無法使用	✔	✔
Tinybird	✘	✔	無法使用	✔ 原生	無法使用	無法使用	✔	✔
Cloud SQL	✔	✘	無法使用	✔ 原生	無法使用	無法使用	✔	✘
Cloud Bigtable (基於 HBase)	✔	✔	✔ 原生	無法使用	無法使用	無法使用	✔	✘
Beam PyIO (Python IO 連接器的集合)	✔	✔	無法使用	✔ 原生	無法使用	無法使用	✔	✔

上次更新於 2024/10/31

您是否找到了所有您要尋找的內容？

這些內容是否都對您有幫助且清楚明瞭？您是否有任何想要變更的地方？請告訴我們！