[平台]SPARK数据连接

编辑
  • 文档创建者:susie
  • 浏览次数:1662次
  • 编辑次数:3次
  • 最近更新:Kevin-s 于 2019-06-02
  • 1. 描述

    Spark是一种通用的大数据快速处理引擎。Spark 使用 Spark RDD、 Spark SQL、 Spark Streaming、 MLlib、 GraphX 成功解决了大数据领域中离线批处理、交互式查询、实时流计算、机器学习与图计算等最重要的任务和问题。Spark除了一站式的特点之外,另外一个最重要的特点,就是基于内存进行计算,从而让 它的速度可以达到 MapReduce、Hive 的数倍甚至数十倍。

    下面介绍的是在平台中新建数据连接,若需要在设计器中新建,点击 [设计器]JDBC连接数据库


    2. 操作步骤

    2.1 拷贝 JAR 包到 FR 工程

    数据库版本  驱动包  
      1.6;  hive-spark1.6.rar
     2.1;2.2;2.3; Hadoop Hive.zip

    下载驱动包并将该驱动包放置到%FR_HOME%\webapps\webroot\WEB-INF\lib下,重启报表服务器。


    2.2 平台中新建数据连接

    管理员登录决策平台,点击管理系统>数据连接,点击新建数据连接>更多数据连接,选择 Spark,点击确定,如下图:

    注:如果非管理员用户想要配置数据连接,需要管理员给其分配管理系统下数据连接节点的权限,具体操作请查看 数据连接控制

    第一步:输入数据库的对应信息,可选择填入连接池属性信息(连接池属性介绍可点击 [平台]数据连接),如下图:

    驱动器  URL  
    org.apache.hive.jdbc.HiveDriverjdbc:hive2://hostname:port/databasename

    1)若不勾选 Kerberos认证,则输入数据库的对应信息,如下图:


    2)若勾选 Kerberos认证,则需填入注册过 kdc 的客户端名称、keytab 密钥路径和 Kerberos 认证对应 URL(例如 jdbc:hive2://192.168.5.127:10000/default;principal=hive/quickstart.cloudera@QUICKSTART.CLOUDERA),具体操作请查看 [平台]数据连接Kerberos认证

    222

    第二步:测试连接,若测试连接成功则表示成功连接上数据库,如下图:

    然后点击右上角的【保存】,该数据连接即添加成功,如下图:



    附件列表


    主题: 数据连接
    标签: 暂无标签
    如果您认为本文档还有待完善,请编辑

    文档内容仅供参考,如果你需要获取更多帮助,付费/准付费客户请咨询帆软技术支持
    关于技术问题,您还可以前往帆软社区,点击顶部搜索框旁边的提问按钮
    若您还有其他非技术类问题,可以联系帆软传说哥(qq:1745114201

    此页面有帮助吗?只是浏览 [ 去社区提问 ]