Skip to main content

数据源

数据湖平台目前支持对接HDFS底层存储,通过Hive Metastore进行湖表元数据的管理。

HMS数据源维护

在【数据源中心】新增Hive Metastore数据源,支持开启Kerberos认证。

该数据源用于存储管理数据湖表的元数据。

image-20230213144850325

note

如果同时使用数栈开发平台,您可以在【控制台-多集群管理-存储组件-HDFS】中下载HMS配置文件和Kerberos认证文件

image-20230213145544802

SparkThrift数据源维护

在【数据源中心】新增SparkThrift数据源,支持开启Kerberos认证。

该数据源用于读/写/治理数据湖表。(出于稳定性考虑,后续会直接改为使用Spark进行读写)

image-20230213150334630