Kafka connect（单消息转换）行过滤

我读到了 kafka 0.10.2.1 中引入的 Kafka 连接转换https://kafka.apache.org/documentation/#connect_transforms

我注意到所有转换都是基于列的转换。 我有一个需要基于值的过滤的用例。例如：

考虑以下一组人的数据集：

{"firstName": "FirstName1", "lastName": "LastName1", "age": 30}
{"firstName": "FirstName2", "lastName": "LastName2", "age": 30}
{"firstName": "FirstName3", "lastName": "LastName1", "age": 60}
{"firstName": "FirstName4", "lastName": "LastName2", "age": 60}

我希望我的工作人员过滤姓氏为 LastName2 的所有记录

是否可以使用 kafka-connect 或者我需要为此用例编写一个单独的程序。

Thanks

您没有理由不能使用单一消息转换来解决这个问题 - 但您需要编写一个自定义消息转换，因为您所描述的内容无法通过当前提供的转换来获得。

这是关于何时使用和不使用 SMT 的有用演讲：2017 年纽约卡夫卡峰会：单一消息转换并不是您正在寻找的转换（Ewen Cheslack-Postava，Confluence）

2020年4月编辑: 现在有一个过滤器表面贴装作为 Confluence 平台的一部分提供