Apache Hadoop — Ubuntu 18.04
O Apache Hadoop é uma framework desenvolvida em Java, para computação distribuída, usada para processamento de grandes quantidades de informação.
Para melhor entender o que vai ser feito neste tutorial, deve saber que o Hadoop está dividido em duas partes essenciais:
- Hadoop Distributed File System (HDFS)
Sistema de ficheiros distribuído que armazena dados em máquinas dentro do cluster.
- Hadoop MapReduce
Modelo de programação para processamento em larga escala.
A figura seguinte representa o modelo de programação MapReduce
Pré-requisitos:
- Ubuntu 18.04 (VirtualBox)
- Java
Para verificar se tem o java instalado na sua máquina, deve executar o seguinte comando:
user@ubuntu:~$ java -version
Caso não tenha o java instalado, basta executar os seguintes comandos:
user@ubuntu:~$ sudo apt-get install default-jre
user@ubuntu:~$ sudo apt-get install default-jdk
Passo 1) Configuração do utilizador Hadoop
O primeiro passo é criar um utilizador Hadoop no sistema para acesso ao HDFS e MapReduce.
Para evitar problemas de segurança, é recomendável configurar um novo grupo de utilizadores do Hadoop.
user@ubuntu:~$ sudo addgroup hadoop_1
Adicionar um utilizador Hadoop de nome hadoopusr
user@ubuntu:~$ sudo addusr -–ingroup hadoop_1 hadoopusr
user@ubuntu:~$ sudo adduser hadoopusr sudo
Passo 2) Instalação e configuração do SSH
Para instalar o OpenSSH Server, basta executar o seguinte comando:
user@ubuntu:~$ sudo apt-get install openssh-server
O Hadoop usa o SSH para aceder aos nós. Neste caso, como estamos a fazer uma configuração para um single-node, necessitamos de configurar o SSH para aceder ao localhost.
Vamos entrar com o utilizador hadoopusr
user@ubuntu:~$ su — hadoopusr
É necessário gerar uma chave publica SSH para o hadoopusr
hadoopusr@ubuntu:~$ ssh-keygen -t rsa -P “”
De seguida, vamos adicionar a chave gerada anteriormente para a lista de authorized_keys. Para isso, basta executar o seguinte comando:
hadoopusr@ubuntu:~$ cat $HOME/ .ssh/id_rsa.pub >> $HOME/ .ssh/authorized_keys
Para verificar a configuração do SSH, deve utilizar o seguinte comando:
hadoopusr@ubuntu:~$ ssh localhost
No fim, deve executar o comando exit para terminar a ligação.
Passo 3) Instalação e configuração do Hadoop
Vamos agora proceder ao download do Hadoop 2.9.1.
A ficheiro ficará no ambiente de trabalho. Para isso, basta executar o seguinte comando:
hadoopusr@ubuntu:~$ sudo wget -P /home/user/Desktop http://mirrors.sonic.net/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz
Mudamos o diretório para o Desktop para proceder à descompactação da pasta do Hadoop
hadoopusr@ubuntu:~$ cd /home/user/Desktop
hadoopusr@ubuntu:~$ sudo tar xvzf hadoop-2.9.1.tar.gz
Feita a descompactação, vamos mover a pasta para o diretório /usr/local/hadoop
hadoopusr@ubuntu:~$ sudo mv hadoop-2.9.1 /usr/local/hadoop
Vamos atribuir a propriedade da pasta ‘hadoop’ ao utilizador hadoopusr
hadoopusr@ubuntu:~$ sudo chown -R hadoopusr /usr/local
Procedamos agora à configuração de diversos ficheiros. A configuração do Apache Hadoop deverá começar pela definição das seguintes variáveis de ambiente que deverão estar no ficheiro ~/.bashrc.
hadoopusr@ubuntu:~$ sudo gedit ~/.bashrc
Depois de executar o comando anterior, deve copiar as seguintes configurações para o final do ficheiro:
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=""
export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar
Clique em ‘Save’ e depois, para que a configuração seguinte tenha efeito na sessão corrente, basta que use o comando:
hadoopusr@ubuntu:~$ source ~/.bashrc
Vamos agora editar o ficheiro hadoop-env.sh e definir a variável de ambiente JAVA_HOME.
hadoopusr@ubuntu:~$ cd /usr/local/hadoop/etc/hadoop/
hadoopusr@ubuntu:~$ sudo gedit hadoop-env.sh
Basta adicionar a seguinte linha ao ficheiro, colocando a que já lá está em comentário, utilizando um ‘#’ antes da frase.
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
Nota: Dependendo da versão do java que tem instalado na máquina, deve alterar o último nome do caminho (java-11-openjdk-amd64). Tipicamente, só necessita de alterar o número da versão do java.
O Apache Hadoop tem muitos ficheiros de configuração. Estes ficheiros permitem diversas configurações, de acordo com as necessidades de cada utilizador. Como vamos configurar um simples nó de um cluster, basta configurar os seguintes ficheiros:
- core-site.xml
hadoopusr@ubuntu:~$ sudo gedit core-site.xml
Acrescentar dentro da tag <configuration> a seguinte propriedade:
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
2. hdfs-site.xml
hadoopusr@ubuntu:~$ sudo gedit hdfs-site.xml
Acrescentar dentro da tag <configuration> as seguintes propriedades:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop_tmp/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop_tmp/hdfs/datanode</value>
</property>
3. yarn-site.xml
hadoopusr@ubuntu:~$ sudo gedit yarn-site.xml
Acrescentar dentro da tag <configuration> as seguintes propriedades:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
4. mapred-site.xml
Uma vez que o nome do ficheiro, por defeito, é mapred-site.xml.template, terá de renomear o ficheiro para mapred-site.xml, utilizando o seguinte comando:
hadoopusr@ubuntu:~$ sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
E só depois é que passa à edição
hadoopusr@ubuntu:~$ sudo gedit mapred-site.xml
Acrescentar dentro da tag <configuration> as seguintes propriedades:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
Vamos agora criar diretórios para o namenode e o datanode, para isso, basta executar os seguintes comandos:
hadoopusr@ubuntu:~$ sudo mkdir -p /usr/local/hadoop_space/hdfs/namenodehadoopusr@ubuntu:~$ sudo mkdir -p /usr/local/hadoop_space/hdfs/datanode
Feitas as configurações nos ficheiros anteriores, vamos formatar o namenode usando o seguinte comando, atribuindo primeiro a propriedade da pasta ‘hadoop_space’ ao utilizador hadoopusr.
hadoopusr@ubuntu:~$ sudo chown -R hadoopusr /usr/local/hadoop_space
hadoopusr@ubuntu:~$ cd
hadoopusr@ubuntu:~$ hdfs namenode -format
Por fim, vamos iniciar todos os serviços associados ao hadoop. Para tal, basta executar os seguintes comandos:
hadoopusr@ubuntu:~$ start-dfs.sh
hadoopusr@ubuntu:~$ start-yarn.sh
Para verificar se todos os serviços iniciaram corretamente, executar:
hadoopusr@ubuntu:~$ jps
Abrir o seguinte URL: http://localhost:8088
Se conseguiu chegar até aqui, pode vangloriar-se para todos os seus amigos de que conseguiu instalar o Apache Hadoop com sucesso!