准备启动 Hadoop 集群
添加hadoop用户并设置密码
[root@node1 ~]# useradd hadoop
[root@node1 ~]# passwd hadoop
解压软件包
[root@node1 ~]# tar -zxvf jdk-8u181-linux-x64.tar.gz -C /home/hadoop/
[root@node1 ~]# tar -zxvf hadoop-3.3.6.tar.gz -C /home/hadoop/
创建软链接
[root@node1 ~]# su - hadoop
[hadoop@node1 ~]$ ln -s hadoop-3.3.6/ hadoop
[hadoop@node1 ~]$ ln -s jdk1.8.0_181/ jdk
添加环境变量
[hadoop@node1 ~]$ vim .bash_profile
指定 Java 路径
[hadoop@node1 ~]$ cd /home/hadoop/hadoop/etc/hadoop
[hadoop@node1 hadoop]$ vim hadoop-env.sh
启动 Hadoop 的通用命令行客户端
[hadoop@node1 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@node1 hadoop]$ bin/hadoop
单机部署
[hadoop@node1 hadoop]$ mkdir input
[hadoop@node1 hadoop]$ cp etc/hadoop/*.xml input
[hadoop@node1 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar grep input output 'dfs[a-z.]+'
[hadoop@node1 hadoop]$ cat output/*
伪分布式部署
修改 Hadoop 配置文件
[hadoop@node1 hadoop]$ vim etc/hadoop/core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>[hadoop@node1 hadoop]$ vim etc/hadoop/hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>配置ssh免密
[hadoop@node1 hadoop]$ ssh-keygen
[hadoop@node1 hadoop]$ ssh-copy-id localhost
格式化文件系统
[hadoop@node1 hadoop]$ bin/hdfs namenode -format
启动 NameNode 守护进程和 DataNode 守护进程
[hadoop@node1 hadoop]$ sbin/start-dfs.sh
创建执行 MapReduce 作业所需的 HDFS 目录
[hadoop@node1 hadoop]$ bin/hdfs dfs -mkdir -p /user/hadoop
将输入文件复制到分布式文件系统中
[hadoop@node1 hadoop]$ bin/hdfs dfs -mkdir input
[hadoop@node1 hadoop]$ bin/hdfs dfs -put etc/hadoop/*.xml input
运行一些提供的示例
[hadoop@node1 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar grep input output 'dfs[a-z.]+'
检查输出文件：将分布式文件系统中的输出文件复制到本地文件系统并进行检查
[hadoop@node1 hadoop]$ bin/hdfs dfs -get output output
[hadoop@node1 hadoop]$ cat output/*
完成后，使用以下命令停止守护进程
[hadoop@node1 hadoop]$ sbin/stop-dfs.sh
完全分布式集群部署
新增两台虚拟机
所有主机配置解析
安装nfs使node2和node3能共享
[root@node1 ~]# yum install -y nfs-utils
[root@node1 ~]# vim /etc/exports
/home/hadoop *(rw,sync,anonuid=1000,anongid=1000)
[root@node1 ~]# systemctl enable --now nfs
修改配置
[hadoop@node1 ~]$ vim hadoop/etc/hadoop/core-site.xml
[hadoop@node1 ~]$ vim hadoop/etc/hadoop/hdfs-site.xml
[hadoop@node1 ~]$ vim hadoop/etc/hadoop/workers
node2和node3进行一样操作
[root@node2 ~]# yum install -y nfs-utils
[root@node2 ~]# showmount -e node1
[root@node2 ~]# mount 192.168.247.132:/home/hadoop/ /home/hadoop/
[root@node2 ~]# df
[root@node2 ~]# ll -d /home/hadoop/
重新格式化格式化文件系统
[hadoop@node1 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@node1 hadoop]$ bin/hdfs namenode -format
启动 NameNode 守护进程和 DataNode 守护进程
[hadoop@node1 hadoop]$ sbin/start-dfs.sh
创建执行 MapReduce 作业所需的 HDFS 目录
[hadoop@node1 hadoop]$ bin/hdfs dfs -mkdir /user
[hadoop@node1 hadoop]$ bin/hdfs dfs -mkdir /user/hadoop
将输入文件复制到分布式文件系统中
[hadoop@node1 hadoop]$ bin/hdfs dfs -mkdir input
[hadoop@node1 hadoop]$ bin/hdfs dfs -put etc/hadoop/*.xml input
