存档

文章标签 ‘hadoop’

这篇文章会详细介绍如何搭建运行在ubuntu上的hadoop分布式系统,包括部署前需要准备的必要条件以及安装过程中的详细步骤,最后会结合一个简单的例子介绍如何运行Hadoop。 了解Hadoop Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底......

5,758 views | 没有评论
十二 26th, 2013 | Filed under 分布式系统与计算, 技术尝新, 海量数据

目前正在看Hadoop RPC框架的源码,在深入了解这些之前,有一些基础知识需要回顾下。 1. java反射机制及动态代理 2. java网络编程 3. java NIO 先总结下第一个,java反射机制及动态代理的相关知识点: java反射机制 在看与java反射机制相关的代码前,试着看看下面这几个问......

6,594 views | 没有评论
八 11th, 2013 | Filed under 思考讨论, 海量数据, 语言编程

当在MAC上搭建好开发环境之后,第一件事肯定是找一个hello world程序练习下。而hadoop世界的hello word程序就是下面的这个Word Count程序。   1. 新建项目 步骤:File–>New–>Other–>Map/Reduce Project 项目名可以随便取,如MapReduceSample。然后新建类WordCount.java......

745,573 views | 没有评论
七 13th, 2013 | Filed under 分布式系统与计算, 海量数据

       最近,在Mac上折腾了下,想搭建一个hadoop的测试环境,用于写一些Map/Reduce的sample,下面就先将搭建环境的过程记录下来。 1. hadoop 单机搭建 1.1 确认java环境已经安装      在terminal里再次键入”java -version”,出现如下信息:   &n......

26,711 views | 没有评论
七 13th, 2013 | Filed under 分布式系统与计算, 海量数据

Hadoop云计算实战读书笔记:第4章,p102~p117 HDFS: Hadoop Distributed File System,一个分布式文件系统。 1. HDFS操作 1.1 文件操作     a. 格式化Hadoop: 启动前,需要格式化NameNode.                    $ bin/had......

9,524 views | 没有评论
三 20th, 2013 | Filed under 读书笔记

Hadoop云计算实战读书笔记:第3章,p87~p99 1. 简介:         Avatar机制是FaceBook提供的一个应用在Hadoop上的补丁程序,是作为NameNode解决故障的方案。         打过补丁后,Hadoop目录$HADOOP_HOME/src/contrib下面会出现一个highava......

3,707 views | 没有评论
三 18th, 2013 | Filed under 读书笔记

Hadoop云计算实战读书笔记:第3章,p74~p80 linux下安装hadoop 1. 安装java 2. SSH安装  sudo apt-get install ssh sudo apt-get install rsync 3. 解压hadoop安装包  解压下载的hadoop包, tar -zxvf  hadoop-0.20.2.tar.gz 4. 修改conf/hadoop-env.sh文件 vi conf/hadoop-env.sh 添加: export JAVA_HOME=/usr/java/jd......

6,533 views | 没有评论
三 16th, 2013 | Filed under 读书笔记
标签: ,

Hadoop云计算实战读书笔记:第11章,p367~p378 zookeeper是一个为分布式应用所设计的开源协调服务,为用户提供同步,配置管理,分组和命令等服务。zk使用java实现,但是支持java和c两种编程语言 zk的核心是原子广播,这个机制保证了各个server之间的同步。实现这个机制......

4,335 views | 没有评论
三 1st, 2013 | Filed under 技术尝新, 架构设计, 读书笔记

分布式搜索系统,解决数据库没法满足的需求 最近参与的一个项目,有个很变态的需求。业务方需要从商品库中根据不同的属性进行筛选出指定的商品出来,而商品的属性大家都知道是非常多的,而且本身商品库中的数据量就不小(具体数据我就不说了). 抽象下这个......

3,036 views | 2 条评论
一 30th, 2013 | Filed under 分布式系统与计算, 架构设计

本文将对Hadoop七年(2004-2011)的发展历程进行梳理。读完本文后,将不难看出,Hadoop的发展基本上经历了这样一个过程:从一个开源的Apache基金会项目,随着越来越多的用户的加入,不断地使用、贡献和完善,形成一个强大的生态系统,从2009年开始,随着云计算和......

7,905 views | 没有评论
九 12th, 2011 | Filed under 技术尝新

无觅相关文章插件,快速提升流量