本站分享:AI、大数据、数据分析师培训认证考试,包括:Python培训Excel培训Matlab培训SPSS培训SAS培训R语言培训Hadoop培训Amos培训Stata培训Eviews培训

Windows下基于Eclipse的Hadoop开发环境完全配置(收藏)

hadoop培训 cdadata 2962℃

Windows下基于Eclipse的Hadoop开发环境完全配置(一) 收藏

关键词:hadoop eclipse 配置   eclipse配置hadoop2.6   windows配置hadoop  windows下配置hadoop
网上搜了一些中文的,总是只有一小部分,对于我们这些菜鸟来说,根本没发用,更可恶的是,搜到的内容都是一样的,哎,抄来抄去,估计都没试过到底能不能用就贴上去了。
后来找了一个英文的:http://ebiquity.umbc.edu/Tutorials/Hadoop/00%20-%20Intro.html 非常的全面,一步一步的教,我这翻译一下大致的步骤。
一,准备
Java 1.6
Eclipse Europa 3.3.2
hadoop-0.19.2
Java一定要1.6,Eclipse好像不能用3.4以上,hadoop用0.19.2,原文用0.19.1,现在没的下了。0.20.0不能用,我试过了,没法启动Job Tracker,不知道原因,可能是bug也不定。
二,安装Cygwin
先去下载一个安装文件 ,完后运行,这只是一个引导的程序,真正的程序要通过它下载才能安装,当要选择下载站点时,输入:http://www.cygwin.cn 然后就可以选择要安装的程序,默认的时候没有安装OpenSSH,所以要手动选择,在Net类别下,选上OpenSSH和OpenSSL两项。
之后,设置环境变量,把
     c:cygwinbin;c:cygwinusrbin
加入到系统环境变量的Path中。
三,配置SSH
1.打开一个cygwin,输入
     ssh-host-config
当询问if privilege separation should be used 时输入 no .
当询问if sshd should be installed as a service 时输入yes .
当询问about the value of CYGWIN environment variable enter 时输入 ntsec .
2.打开 控制面板-》管理-》服务 启动名为 CYGWIN sshd 的那项。
3.打开cygwin,输入
      ssh-keygen
当询问要filenames 和 pass phrases 的时候都自己点回车,接受默认的值.命令结束后输入 cd ~/.ssh转到.ssh目录,输入 ls -l应该包含两个文件:id_rsa.pub 和 id_rsa
4.在第三步的窗口(当前目录在.ssh)中输入
      cat id_rsa.pub >> authorized_keys
完成后输入
      ssh localhost
检查ssh是否配置成功,当提示whether you really want to connect时,输入yes。 这样以后再输入ssh localhost的时候都不会再有提示了。

转载请注明:数据分析 » Windows下基于Eclipse的Hadoop开发环境完全配置(收藏)

喜欢 (1)or分享 (0)