Hadoop大数据技术-第八章


Sqoop

Sqoop简介

Sqoop是一个在关系型数据库与Hadoop数据存储和处理平台进行数据导入\导出的工具

Sqoop脚本最终会转换为mapreduce程序

Sqoop基本原理

有sqoop1和sqoop2;sqoop1更加稳定

Sqoop1使用Sqoop客户端直接提交任务,通过CLI控制台或API方式访问数据时,在命令或脚本中需要指定用户数据库名及密码

import原理从传统数据库获取元数据信息,把导入功能转换为只有Map的MapReduce作业,在map中有很多Map,每个Map读取一片数据,进而并行地复制到HDFS,HBSE或HIVE中的数据导入到关系型数据库

Export原理获取导出表的schema,meta信息,与hadoop中的字段匹配,多个Map作业并行运行,将HDFS,HBASE或HIVE中的数据导出到关系型数据库

ttSV7d.md.jpg

ttSeAA.md.jpg

Sqoop的安装与部署

Sqoop应用


本文标题:Hadoop大数据技术-第八章

文章作者:TTYONG

发布时间:2020年06月02日 - 12:06

最后更新:2022年05月04日 - 18:05

原始链接:http://tianyong.fun/hadoop%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E4%B8%8E%E5%BA%94%E7%94%A8-%E7%AC%AC%E5%85%AB%E7%AB%A0%20Sqoop.html

许可协议: 转载请保留原文链接及作者。

多少都是爱
0%