Để tiến hành cài đặt hadoop chúng ta cần tải hadoop-3.2.1.tar.gz về thông qua wget http://archive.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
hoặc
wget http://www-eu.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
Tiến hành giải nén hadoop-3.2.1.tar.gz tar xvzf hadoop-3.2.1.tar.gz
Đổi tên thư mục từ hadoop-3.2.1 thành hadoop mv hadoop-3.2.1 hadoop
Di chuyển thư mục hadoop sang /usr/local sudo mv hadoop /usr/local/
Trong trường hợp có lỗi (“hduser is not in the sudoers file. This incident will be reported”) không chuyển được chúng ta cần cho phép hduser có thể sudo bằng cách chạy lệnh sau dưới quyền của quản trị hệ thống (root user) sudo adduser hduser
Điền thông tin tài khoản
Điền bộ phận
Điền số điện thoại
Điền số điện thoại
Điền số điện thoại di động
Lựa chọn “y”
Phân quyền cho phép hduser với /usr/local/hadoop sudo chown -R hduser:azedu /usr/local/hadoop
Thiết lập các files cấu hình
Các tệp sau đây sẽ phải được sửa đổi để hoàn tất thiết lập Hadoop
- ~/.bashrc
- /usr/local/hadoop/etc/hadoop/hadoop-env.sh
- /usr/local/hadoop/etc/hadoop/core-site.xml
- /usr/local/hadoop/etc/hadoop/mapred-site.xml
- /usr/local/hadoop/etc/hadoop/hdfs-site.xml
~/.bashrc
Trước khi chỉnh sửa .bashrc, chúng ta cập nhật biến môi trường JAVA_HOME bằng cách kiểm tra thông qua lệnh sau update-alternatives –config java
/usr/lib/jvm/java-11-openjdk-amd64/bin/java là giá trị của JAVA_HOME sẽ được cập nhật trong .bashrc cùng với các biến môi trường khác thông qua câu lệnh nano ~/.bashrc
