🎯 Windows 伪分布式 Hadoop 完整安装教程

本教程旨在为机房教学、课程实验以及个人学习提供一套 在 Windows 环境下快速、稳定部署 Hadoop 伪分布式节点 的完整方案。考虑到多数学校机房以 Windows 为主，本方案 无需安装 Linux 或虚拟机，直接使用 Windows 原生环境即可完成 HDFS、YARN、MapReduce 的全部功能演示。

📌 教程目标

• 在 Windows 10 / 11 上搭建可用于教学机房的 Hadoop 伪分布式环境
• 配置 HDFS + YARN + MapReduce
• 适合课程实验、作业演示、课堂教学

1️⃣ 下载所需文件

① Hadoop（3.3.1 稳定版）

Hadoop 官方提供 source/binary 包，可用于 Windows（需 winutils）。

🔗 官方 Apache 3.3.1 下载镜像页（选择最近的镜像下载）
👉 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1

官方 Hadoop releases 页面：
👉 https://hadoop.apache.org/releases.html

② winutils（Windows 运行 Hadoop 必需）

Hadoop 官方不提供 Windows 本地库，需要 winutils 来模拟 Linux 环境。

🔗 GitHub（Hadoop 2.x / 3.x 全版本 Windows 支持文件）
👉 https://github.com/steveloughran/winutils

③ 安装 JDK（8 或 11）

Hadoop 官方文档与 Kontext 教程均说明 Hadoop 3.3.1 支持 Java 8 与 Java 11。
Kontext 教程参考：
👉 安装 Hadoop 3.3.1 Windows 教程 [apache.org]

2️⃣ 安装前准备

① 安装 JDK 并配置环境变量

设置：

JAVA_HOME=C:\Program Files\Java\jdk1.8.0_xxx
PATH=%JAVA_HOME%\bin;%PATH%

确认：

java -version

② 解压 Hadoop 文件

解压到：

C:\hadoop

设置环境变量：

HADOOP_HOME=C:\hadoop
PATH=%HADOOP_HOME%\bin;%PATH%

③ 添加 winutils

从 GitHub 下载对应 Hadoop 版本的 winutils，将内容放到：

C:\hadoop\bin\

确保包含：

winutils.exe
hadoop.dll

3️⃣ 修改 Hadoop 配置文件（伪分布式核心步骤）

目录：

C:\hadoop\etc\hadoop\

① core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

② hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/C:/hadoop/data/namenode</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/C:/hadoop/data/datanode</value>
    </property>
</configuration>

③ mapred-site.xml

复制：

mapred-site.xml.template → mapred-site.xml

写入：

<configuration>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
</configuration>

④ yarn-site.xml

<configuration>
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>
</configuration>

4️⃣ 初始化 HDFS

hdfs namenode -format

出现：

Storage directory ... successfully formatted.

即成功。

5️⃣ 启动 Hadoop

start-dfs.cmd
start-yarn.cmd

6️⃣ Web UI 查看

7️⃣ 运行 MapReduce 示例验证

创建输入目录：

hdfs dfs -mkdir /input
hdfs dfs -put C:/hadoop/etc/hadoop/*.xml /input

运行示例：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output

查看结果：

hdfs dfs -cat /output/part-r-00000

出现词频统计即成功。

🎓 推荐机房统一配置