Hadoop

wangkeustc hadoop以及相关组件介绍以及个人理解前言  本人是由java后端转型大数据方向,目前也有近一年半时间了,不过我平时的开发平台是阿里云的Maxcompute,通过这么长时间的开发,对数据仓库也有了一定的理解,ETL这些经验还算比较丰富。但是由于Maxcompute是
18次阅读

安装和配置hadoop集群步骤

 hadoop集群的安装步骤和配置hadoop是由java语言编写的,首先我们肯定要在电脑中安装jdk,配置好jdk的环境,接下来就是安装hadoop集群的步骤了,在安装之前需要创建hadoop用户组和用户,另外我此时使用的是一主(master)三从(slave1、slave2、slave
131次阅读

hadoop fs 命令

hadoop fs 命令1,Hadoop fs –fs [local | <file system URI>]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HAD
67次阅读

解决hadoop 集群启动常见错误办法

 hadoop 集群常见错误解决办法hadoop 集群常见错误解决办法: (一)启动Hadoop集群时易出现的错误: 1.   错误现象:Java.NET.NoRouteToHostException: No route to host.&
73次阅读

hadoop 集群常见错误解决办法

 hadoop 集群常见错误解决办法hadoop 集群常见错误解决办法: (一)启动Hadoop集群时易出现的错误: 1.   错误现象:Java.NET.NoRouteToHostException: No route to host.&
55次阅读

hadoop datanode 和 tasktracker起不来

本篇文章主要介绍了"hadoop datanode 和 tasktracker起不来。",主要涉及到hadoop datanode 和 tasktracker起不来。方面的内容,对于hadoop datanode 和 tasktracker起不来。感兴趣的同学可以参考一下。  用
60次阅读

3.环境搭建-Hadoop(CDH)集群搭建

目录 目录实验环境安装 Hadoop配置文件在另外两台虚拟机上搭建hadoop启动hdfs集群启动yarn集群 本文主要是在上节CentOS集群基础上搭建Hadoop集群。实验环境Hadoop版本:CDH 5.3.6*本实验项目所需软件均可在百度网盘链接:http://pan.b
72次阅读

spark and hadoop installation mode

http://spark.apache.org/docs/latest/running-on-yarn.htmlhttp://spark.apache.org/docs/latest/spark-standalone.htmlhttp://spark.apache.org/docs/latest/r
68次阅读

关于CentOS 6下Hadoop占用系统态CPU高的处理办法【转】

一次不经意发现Hadoop的系统态CPU使用率很高,然后百度一下居然是个已知问题。    RHEL6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升:http://www.Linux-kvm.org/wiki/images/9/9e/2010-forum-thp.p
88次阅读

Eclipse远程连接Hadoop

Windows下面调试程序比在Linux下面调试方便一些,于是用Windows下的Eclipse远程连接Hadoop。1. 下载相应版本的hadoop-eclipse-plugin插件,复制到eclipse的plugins目录下面,再次启动Eclipse。2. 解压hadoop的.tar.
56次阅读