iLogtail flusher pulsar 支持设计

[shalousun]

设计目标

• 支持将ilogtail采集的日志推送到pulsar。数据格式类似flusher kafka
• 支持动态topic推送。使用同kafka.
• 链接认证，pulsar本身支持的认证也比kafka少，本次只支持tls，其它等待后续。

配置

参数	类型	是否必选	说明
Type	String	是	插件类型
Url	String	是	Pulsar url
Topic	String	是	Pulsar Topic,支持动态topic, 例如: test_%{contents.appname}
Name	String	否	producer名称，默认ilogtail
Convert	Struct	否	ilogtail数据转换协议配置
Convert.Protocol	String	否	ilogtail数据转换协议，kafka flusher 可选值：custom_single,otlp_log_v1。默认值：custom_single
Convert.Encoding	String	否	ilogtail flusher数据转换编码，可选值：json、none、protobuf，默认值：json
Convert.TagFieldsRename	Map	否	对日志中tags中的json字段重命名
Convert.ProtocolFieldsRename	Map	否	ilogtail日志协议字段重命名，可当前可重命名的字段：contents,tags和time
EnableTLS	Boolean	否	是否启用TLS安全连接，对应采用TLS和Athenz两种认证模式都需要设置为true，默认值：false
TLSTrustCertsFilePath	String	否	TLS CA根证书文件路径，对应采用TLS和Athenz认证时需要指定
Authentication	Struct	否	Pulsar连接访问认证配置
Authentication.TLS.CertFile	String	否	TLS连接kafka证书文件路径
Authentication.TLS.KeyFile	String	否	TLS连接kafka私钥文件路径
Authentication.Token.Token	String	否	采用JWT 认证方式的token
Authentication.Athenz.ProviderDomain	String	否	Provider domain name
Authentication.Athenz.TenantDomain	String	否	租户域
Authentication.Athenz.TenantService	String	否	租户服务
Authentication.Athenz.PrivateKey	String	否	Tenant private key path
Authentication.Athenz.KeyID	String	否	Key id for the tenant private key
Authentication.Athenz.PrincipalHeader	String	否
Authentication.Athenz.ZtsURL	String	否	ZTS server的地址
Authentication.OAuth2.Enabled	Boolean	否	是否启用OAuth2认证
Authentication.OAuth2.IssuerURL	String	是	认证提供商的URL，OAuth2.Enabled开启时必填
Authentication.OAuth2.PrivateKey	String	是	JSON 凭据文件的 URL，OAuth2.Enabled开启时必填
Authentication.OAuth2.Audience	String	否	Pulsar 集群的 OAuth 2.0 “资源服务” 的标识符
Authentication.OAuth2.Scope	String	否	访问范围
CompressionType	String	否	压缩算法，NONE,LZ4,ZLIB,ZSTD，默认值NONE
BlockIfQueueFull	Boolean	否	队列满的时候是否阻塞，默认值:false
SendTimeout	Int	否	发送超时时间，默认30s
HashingScheme	Int	否	消息push分区的分发方式：0表示JavaStringHash,1表示Murmur3_32Hash
BatchingMaxPublishDelay	int	否	提交时延，默认值：1ms
BatchingMaxMessages	int	否	批量提交最大消息数，默认值：1000
MaxCacheProducers	int	否	动态topic情况下采用lru缓存的最大Producer数量 ，默认最大数量：8
PartitionKeys	String数组	否	指定消息分区分发的key。
ClientID	String	否	写入Pulsar的Client ID，默认取值：LogtailPlugin。