Flink ClickHouse连接器技术文档

Flink ClickHouse连接器技术文档

flink-connector-clickhouse Flink SQL connector for ClickHouse. Support ClickHouseCatalog and read/write primary data, maps, arrays to clickhouse. 项目地址: https://gitcode.com/gh_mirrors/fl/flink-connector-clickhouse

欢迎来到Apache Flink与Yandex ClickHouse集成的官方指南。本文档旨在提供详尽的指导，帮助您顺利地安装并使用Flink ClickHouse连接器，实现数据的高效互操作。

安装指南

添加依赖

对于Maven项目，您需要在您的

pom.xml

文件中添加以下依赖：

<dependency>
    <groupId>com.dataartisans</groupId>
    <artifactId>flink-connector-clickhouse_2.11</artifactId>
    <version>{latest_version}</version> <!-- 替换为最新的版本号 -->
</dependency>

确保替换

{latest_version}

为实际的最新稳定版或者指定您需要的版本。

系统环境准备

确保您的系统已安装Apache Flink以及ClickHouse，并且它们之间的网络是通畅的。

使用说明

配置Flink Job

在Flink作业中配置ClickHouse连接器，示例如下：

TableEnvironment tableEnv = TableEnvironment.create(...);

// 创建源表
tableEnv.executeSql(
    "CREATE TABLE MyClickHouseSource ("
    + "  id INT,"
    + "  name STRING,"
    + ") WITH ("
    + "  'connector' = 'clickhouse',"
    + "  'url' = 'clickhouse://localhost:8123',"
    + "  'database-name' = 'my_database',"
    + "  'table-name' = 'my_table'"
    + ")"
);

// 创建接收数据的Sink
tableEnv.executeSql(
    "CREATE TABLE MyClickHouseSink ("
    + "  id INT,"
    + "  name STRING,"
    + ") WITH ("
    + "  'connector' = 'clickhouse',"
    + "  'url' = 'clickhouse://localhost:8123',"
    + "  'database-name' = 'my_output_db',"
    + "  'table-name' = 'output_table',"
    + "  'sink.batch-size' = '1000'"
    + ")"
);

API使用文档

此连接器支持动态属性配置，允许您通过SQL DDL来定义读写行为。例如，设置异步刷新间隔：

WITH (
    'sink.flush-interval' = '500ms'
)

数据类型映射

确保您的数据类型在Flink与ClickHouse之间正确映射，如上文表格所示。

项目API详细用法

对于更复杂的场景，比如自定义分区策略，可以通过附加选项进行配置：

CREATE TABLE ... WITH (
    ...
    'sink.partition-strategy' = 'hash',
    'sink.partition-key' = 'your_partition_key'
    ...
)

项目安装方式

直接通过上述 Maven 依赖添加至您的项目是推荐的安装方式。如果您需要从源码构建，可以克隆该项目的GitHub仓库：

git clone https://github.com/apache/flink-clickhouse-connector.git
cd flink-clickhouse-connector
mvn clean install

之后，您可以将本地构建的JAR文件包含到您的Flink项目中。

请注意，配置参数应根据实际情况调整，特别是URL、数据库名、表名等，以确保成功连接到您的ClickHouse实例。此外，随着版本更新，文档中的特性可能有所变化，请参考最新的GitHub项目页面获取最新信息。

flink-connector-clickhouse Flink SQL connector for ClickHouse. Support ClickHouseCatalog and read/write primary data, maps, arrays to clickhouse. 项目地址: https://gitcode.com/gh_mirrors/fl/flink-connector-clickhouse