【数据中台】开源项目（3）-Linkis

本文介绍: Lin k i s 在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用Lin k i s 提供的REST/We bSocke t/JDBC 等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hi v e/Prest o/Flink 等底层引擎，同时实现统一变量、脚本、用户定义函数和资源文件等用户资源的跨上层应用互通，以及通过REST标准接口提供了数据源管理和数据源对应的元数据查询服务。作为计算中间件，Linki s 提供了强大的连通、复用、编排、扩展和治理管控能力。通过将应用层和引擎层解耦，简化了复杂的网络调

关于 Linki s

Linki s 在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用Li nki s 提供的REST/We bSocke t/JDBC 等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hiv e/Presto/Flink 等底层引擎，同时实现统一变量、脚本、用户定义函数和资源文件等用户资源的跨上层应用互通，以及通过REST标准接口提供了数据源管理和数据源对应的元数据查询服务。作为计算中间件，Linkis 提供了强大的连通、复用、编排、扩展和治理管控能力。通过将应用层和引擎层解耦，简化了复杂的网络调用关系，降低了整体复杂度，同时节约了整体开发和维护成本。

Linkis 自2019年开源发布以来，已累计积累了700多家试用企业和1000多位沙盒试验用户，涉及金融、电信、制造、互联网等多个行业。许多公司已经将Linkis 作为大数据平台底层计算存储引擎的统一入口，和计算请求/任务的治理管控利器。

开源地址:GitHub – apache/linkis: Apache Linkis builds a computation middleware layer to facilitate connection, governance and orchestration between the upper applications and the underlying data engines.

核心特点

丰富的底层计算存储引擎支持：Spark、Hiv e、Py th on、Sh ell、Flink、JDBC、Pipe line、Sqoop、OpenLooKeng、Pres to、Elast icSe arc h、Trino、Se aTunn el 等；
丰富的语言支持：Sp a rkSQL、HiveSQL、Py th on、Sh ell、Py spark、Scala、JSON 和 Ja va 等；
强大的计算治理能力：能够提供基于多级标签的任务路由、负载均衡、多租户、流量控制、资源控制等能力；
全栈计算存储引擎架构支持：能够接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量任务、交互式查询任务、实时流式任务和数据湖任务；
统一上下文服务：支持跨用户、系统、计算引擎去关联管理用户和系统的资源文件（JAR、ZIP、Prope r ti es 等），结果集、参数变量、函数、UDF等，一处设置，处处自动引用；
统一物料：提供了系统和用户级物料管理，可分享和流转，跨用户、跨系统共享物料；
统一数据源管理：提供了Hive、Elas t icSearc h、My sql、Kafka、Mon goDB 等类型数据源信息的增删查改、版本控制、连接测试和对应数据源的元数据信息查询能力；
错误码能力：提供了任务常见错误的错误码和解决方案，方便用户自助定位问题；

支持的引擎类型

引擎名		支持底层组件版本		Linkis 1.X 版本要求	是否默认包含在发布包中	说明
Sp a rk	Apac he 2.0.0~2.4.7, CDH &g t;= 5.4.0, （默认Apac he Sp a rk 2.4.3）	&g t;=1.0.0_rc1	是	Sp a rk EngineConn，支持SQL, Scala, Py spark 和R 代码。
Hive	Apac he &g t;= 1.0.0, CDH &g t;= 5.4.0, （默认Apac he Hive 2.3.3）	>=1.0.0_rc1	是	Hive EngineConn，支持HiveQL 代码。
Py thon	Python >= 2.6, （默认Python2*）	>=1.0.0_rc1	是	Python EngineConn，支持python 代码。
Sh ell	Bash >= 2.0	>=1.0.0_r c1	是	Sh ell EngineConn，支持Bash shell 代码。
JDBC	MySQL >= 5.0, Hive >=1.2.1, (默认Hive-jdbc 2.3.4)	>=1.0.0_r c1	否	JDBC EngineConn, 已支持Mysql,Or acle,KingBase,PostgreSQL,SqlServer,DB2,Greenplum,DM,Doris,Cli ckHouse,TiDB,Star ro c ks,GaussDB和OceanBase, 可快速扩展支持其他有JDBC Driver 包的引擎, 如SQLite
Flink	Flink >= 1.12.2, (默认Apac he Flink 1.12.2)	>=1.0.2	否	Flink EngineConn，支持FlinkSQL 代码，也支持以Flink Jar 形式启动一个新的Yarn 应用程序。
Pipe line	–	>=1.0.2	否	Pipe line EngineConn，支持文件的导入和导出。
openLooKeng	openLooKeng >= 1.5.0, (默认openLookEng 1.5.0)	>=1.1.1	否	openLooKeng EngineConn，支持用Sql查询数据虚拟化引擎openLooKeng。
Sqoop	Sqoop >= 1.4.6, (默认Apac he Sqoop 1.4.6)	>=1.1.2	否	Sqoop EngineConn，支持数据迁移工具 Sqoop 引擎。
Presto	Presto >= 0.180	>=1.2.0	否	Presto EngineConn，支持Presto SQL 代码。
ElasticSearch	ElasticSearch >=6.0	>=1.2.0	否	ElasticSearch EngineConn，支持SQL 和DSL 代码。
Trino	Trino >=371	>=1.3.1	否	Trino EngineConn，支持Trino SQL 代码
Seatunnel	Seatunnel >=2.1.2	>=1.3.1	否	Seatunnel EngineConn，支持Seatunnel SQL 代码