博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop环境搭建1_JDK+SSH
阅读量:5229 次
发布时间:2019-06-14

本文共 2507 字,大约阅读时间需要 8 分钟。

1 前言:

Hadoop 最早是为了在Linux 平台上使用而开发的,但是Hadoop 在UNIX、Windows 和

Mac OS X 系统上也运行良好。不过,在Windows 上运行Hadoop 稍显复杂,首先必须安装
Cygwin 以模拟Linux 环境,然后才能安装Hadoop。

windows下:可以有1:虚拟机Vmware+linux系统,或者另外:hadoop4win的一个集成化的自动安装程序(貌似我还是没有安装成功)

由于我用的是环境是:Ubuntu。

2 jdk安装:

  当然,在linux下程序的安装貌似很简单,把下载好的对应程序解压的自己想要的目录中即可:

  1 ubuntu由于有个软件中心,可以在终端自动帮你下载:sudo apt-get install openjdk-6-jdk

     如果你不知道怎么版本,你可以在终端命令下输入:java,或javac,一般提示会有提示,按照提示自动安装即可

   这样安装的目录一般是自动指定的,如:/usr/lib/jvm/、、、、java-6-openjdk-amd64

    找到自己的安装目录: dpkg -l openjdk-6-jdk

     2  自己先下载:

    链接:下载---------------------。然后自己解压到自己的目录。

    3 跟我们在windows下安装一样,也需要配置环境变量: 

    我的java目录:/usr/lib/jvm/java-6-openjdk-amd64

    在终端:

      sudo gedit /etc/profile    (这个为用户环境变量配置文件)
      export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64
      export PATH=$JAVA_HOME/bin:$PATH
      export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  (3)验证Java是否安装成功
      输入 java -version ,javac,java 有相关信息输出即可表示成功

      如果对环境变量,linux下的简单操作不熟悉,请先吃个饭,   ,  。

1 这里先解释一下sudo 与apt 这两个命令,sudo 这个命令允许普通用户执行某些或全部需要root 权限命令,它提供了详尽的日志,可以记录下每个用户使用这个命令做了些什么操作;同时sudo 也提供了灵活的管理方式,可以限制用户使用命令。sudo 的配置文件为/etc/sudoers。2 apt 的全称为the Advanced Packaging Tool,是Debian 计划的一部分,是Ubuntu 的软件包管理软件,通过apt 安装软件无须考虑软件的依赖关系,可以直接安装所需要的软件,apt会自动下载有依赖关系的包,并按顺序安装,在Ubuntu 中安装有apt 的一个图形化界面程序synaptic(中文译名为“新立得”),大家如果有兴趣也可以使用这个程序来安装所需要的软件。

 

3 安装配置SSH

  (1)下载安装SSH:同样在命令行输入下面命令安装SSH

   sudo apt-get install ssh
  (2)配置无密码登录本机:在命令行输入下面两条命令
   $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  直接回车,完成后会在~/.ssh/生成两个文件:id_rsa和id_rsa.pub;这两个成对出现,类似钥匙和锁。
  再把id_rsa.pub追加到授权key里面(当前并没有authorized_keys文件)
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  启动后,可以通过如下命令查看服务是否正确启动:

  ps -e | grep ssh

  (3)验证SSH是否安装成功

   输入 ssh localhost 。如果显示本机登录成功就表明安装成功。

ssh localhost会有如下显示:The authenticity of host 'localhost (::1)' can't be established.RSA key fingerprint is 8b:c3:51:a5:2a:31:b7:74:06:9d:62:04:4f:84:f8:77.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added 'localhost' (RSA) to the list of known hosts.Linux master 2.6.31-14-generic #48-Ubuntu SMP Fri Oct 16 14:04:26 UTC 2009 i686To access official Ubuntu documentation, please visit:http://help.ubuntu.com/Last login: Mon Oct 18 17:12:40 2010 from masteradmin@Hadoop:~$这说明已经安装成功,第一次登录时会询问你是否继续链接,输入yes 即可进入。实际上,在Hadoop 的安装过程中,是否无密码登录是无关紧要的,但是如果不配置无密码登录,每次启动Hadoop,都需要输入密码以登录到每台机器的DataNode 上,考虑到一般的Hadoop 集群动辄数百台或上千台机器,因此一般来说都会配置SSH 的无密码登录。

 

4、关闭防火墙

$sudo ufw disable
注意:这步非常重要,如果不关闭,会出现找不到datanode的问题

 

转载于:https://www.cnblogs.com/foreverzd/p/4347582.html

你可能感兴趣的文章
c#连接excel2007未安装ISAM解决
查看>>
Mono 异步加载数据更新主线程
查看>>
初识lua
查看>>
我是插件狂人,jDuang,jValidator,jModal,jGallery
查看>>
张季跃 201771010139《面向对象程序设计(java)》第四周学习总结
查看>>
如何解除循环引用
查看>>
android中fragment的使用及与activity之间的通信
查看>>
字典【Tire 模板】
查看>>
jquery的contains方法
查看>>
python3--算法基础:二分查找/折半查找
查看>>
Perl IO:随机读写文件
查看>>
Perl IO:IO重定向
查看>>
转:基于用户投票的排名算法系列
查看>>
WSDL 详解
查看>>
[转]ASP数组全集,多维数组和一维数组
查看>>
C# winform DataGridView 常见属性
查看>>
逻辑运算和while循环.
查看>>
Nhiberate (一)
查看>>
c#后台计算2个日期之间的天数差
查看>>
安卓开发中遇到的小问题
查看>>