hadoop大数据技术-第二章

---

Hadoop环境配置

三种安装方式

单击模式

使用一个独立java进程

hadoop运行在一个主机上。没有分布式文件系统，直接对本地操作系统文件进行读写

默认安装模式

一般用于本地mapreduce程序调试

伪分布模式

运行在一台主机上；使用多个java进程

模仿完全分布式的各个节点；具有完全分布式的所有功能；常用于调试程序

完全分布式模式

安装

虚拟机安装

Unbuntu安装

配置

关闭防火墙

sudo ufw status
sudo ufw disable

SSH安装

SSH 是 Secure Shell 的缩写，它是一种建立在应用层基础上的安全协议。 SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。 利用 SSH 协议可以有效防止远程管理过程中的信息泄露。

安装SSH客户端软件

Ubuntu 操作系统默认安装有 SSH 客户端软件，通过以下命令查看是否已安装，如果返回包含“openssh-client”的字样，说明已经安装 SSH 客户端软件

sudo dpkg -l | grep ssh // 查看
sudo apt-get install openssh-client

安装SSH服务端软件

Ubuntu 操作系统默认没有安装 SSH 服务端软件

sudo apt-get install openssh-server
sudo /etc/init.d/ssh restart // 重启ssh服务

安装Xshell及Xftp/secureCRT

安装JDK

Hadoop 是基于 Java 语言开发的，运行 Hadoop 需要安装 JDK

本地系统下载jdk，通过secureCRT上传至Uubuntu

// 解压
tar -zxvf jdk-xxxxx.tar.gz  // 不同压缩格式，解压命名不同

// 建立软链接，便于后续使用
ln -s jdkxxxx jdk

配置jdk环境变量

vi ~/.bashrc
// 内容
export JAVA_HOME=~/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.
export PATH=${JAVA_HOME}/bin:$PATH

使配置生效并检验

source ~/.bashrc
java -version

---