历史版本1 :[平台]SPARK数据连接 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 描述编辑

Spark是一种通用的大数据快速处理引擎。Spark使用Spark RDD、 Spark SQL、 Spark Streaming、 MLlib、 GraphX成功解决了大数据领域中离线批处理、交互式查询、实时流计算、机器学习与图计算等最重要的任务和问题。Spark除了一站式的特点之外，另外一个最重要的特点，就是基于内存进行计算，从而让 它的速度可以达到MapReduce、Hive的数倍甚至数十倍。

下面介绍的是在平台中新建数据连接。

2. 操作步骤

2.1 拷贝jar包到fr工程

数据库版本  驱动包  
  1.6；  hive-spark1.6.rar
 2.1；2.2；2.3； Hadoop Hive.zip

下载驱动包，并将该驱动包放置到%FR_HOME%\webapps\webroot\WEB-INF\lib下，重启报表服务器。

2.2 平台中新建数据连接

管理员登录决策平台，点击管理系统>数据连接，点击新建数据连接>更多数据连接，选择Spark，点击确定，如下图：

注：如果非管理员用户想要配置数据连接，需要管理员给其分配管理系统下数据连接节点的权限，具体操作请查看数据连接控制。
222

第一步：输入数据库的对应信息，可选择填入连接池属性信息（连接池属性介绍可点击[平台]数据连接），如下图：

驱动器  URL  
org.apache.hive.jdbc.HiveDriverjdbc:hive2://hostname:port/databasename
1）若不勾选kerberos认证，则输入数据库的对应信息，如下图：

222

2）若勾选kerberos认证，则需填入注册过kdc的客户端名称、keytab密钥路径和Kerberos认证对应URL（例如 jdbc:hive2://192.168.5.127:10000/default;principal=hive/quickstart.cloudera@QUICKSTART.CLOUDERA），具体操作请查看[平台]数据连接Kerberos认证
222

第二步：测试连接，若测试连接成功则表示成功连接上数据库，如下图：
222

然后点击右上角的【保存】，该数据连接即添加成功，如下图：
222