请教下当列级血缘和表级血缘在一张图中时是如何处理的？

[LiuWeidongK]

如果有些实体没有列级血缘，当存在一张大图中时，需要特殊处理这些没有列级血缘的实体，否则查询时会出现血缘断裂，这种特殊处理你这边时怎么做的呢

[maoxingda]

1. 能举个例子么
2. 再说一下你的预期或者建议

[LiuWeidongK]

非常感谢您的回复，我这边在建设大数据领域的字段血缘逻辑遇到些问题，看到你写的文章想了解下方案实现的细节

字段血缘的DAG，不能独立于表级血缘。 理想情况下，只维护一份统一的血缘图。至于实现，可以有两种：

1. 把DAG做到字段粒度，通过一些转换， 可以计算出表级血缘的DAG。用关系型数据库的概念来做类比，就像先做一张明细表，在明细表的基础上聚合可以得到汇总表。
2. 通过属性图的形式来建模， 可以参照JanusGraph的文档。表和字段分别是两种类型 的节点，同时另外还有两种类型的边， 其一是字段到表的所属关系，其二是字段与字段、表与表的血缘关系。

你这里的方案2能详细介绍下么，我举一个简单的例子

对于上图来说，Hive TB1 和 Hive TB2 之间的表血缘和字段血缘可以正常构建，但后续通过hive2kafka任务加工得到的kafka实体可能就没有字段级血缘，这种情况在分析一个字段的全部下游时可能就会断在这个没有字段血缘的实体上；
这边不太确定你这里的方案2是如何处理的，所以想请教一下。

[reata]

这个是使用和设计的问题，移至discussion板块。

我们说的两种方案，更多讨论的是内部的数据结构，在一张统一的图上。最终的实现采用的是属性图。属性图里既包含了字段血缘的边，也包含表血缘的边。针对没有字段血缘的DataSet，不会有字段血缘的边，但表级血缘是不受影响的，因为表的血缘不是由字段血缘推导出来的。假如把这个属性图整体可视化，就是你这张图的样子。

想要把这部分血缘补上，有点超越sqllineage的scope了，因为听起来数据同步不是用sql来做的，kafka的topic也没有用到强schema的约束。

假如换一个技术选型，比如数据同步的方案是FlinkSQL配合Kafka Schema Registry的话，那么其实Kafka是可以有字段血缘的，一切都还是sql解析。

[maoxingda]

你截图 hive2kafka & kafka2clickhouse 具体的处理是什么，是SQL么。如果是为什么会没有字段血缘？

[LiuWeidongK]

是一个配置化的数据同步任务，这里拿这两种任务类型举例，假设kafka实体不存在字段血缘

[maoxingda]

kafka实体的上，下游实体之间有没有字段血缘。

[LiuWeidongK]

有，kafka上游的hive有字段血缘，下游的clickhouse也有字段血缘，只有kafka没有

[maoxingda]

我说的是H2_C2, CK_C1之间有没有血缘

[LiuWeidongK]

这个是没有的

[maoxingda]

那我理解你的血缘就应该在kafka实体上游就停止了，这是符合预期的吧

[maoxingda]

字段血缘

[koftcl]

CK_C1 应该是 H2_C1 的子代， CK_C2 是 H2_C2 的子代

[maoxingda]

我理解在列级别血缘，你这个图没有你说的这个关系