修复 Kafka Connect 处理超大消息时任务失败的错误
约 2 分钟阅读
Connector 显示 RUNNING,任务却处于 FAILED 状态?Kafka Connect 撞上 1M 消息上限时,该改哪几个配置。
Connector 显示 RUNNING,任务却处于 FAILED 状态?Kafka Connect 撞上 1M 消息上限时,该改哪几个配置。
多个 Kafka topic 共用一份 Flink SQL 时数据竟会串表,加上 WHERE __kafka_topic 条件才解决。
Telegraf 解析 JSON 数据:固定结构用 tag_keys 与 json_string_fields,动态结构则交给 xpath 解析器。
让 Telegraf 从 OPC-UA 订阅点位变化,转成 JSON 送进 Kafka,再用正则把各异的字段名拍平为统一的 Value。
不到 20MB 的单个可执行文件,就能持续消费 Topic、导出数据并删除 consumer group。