存档

‘分布式系统与计算’ 分类的存档

有这么一个场景,多套测试的zookeeper集群之间数据拷贝,按之前的理解,如果可以的话,直接拷贝zk的data文件可以解决问题。 但是最近碰到这么一个事情,只是无意中删除了一个集群某一个路径下的数据,由于data数据并不可读,不能有选择的copy。所以,在这场景下......

5,117 views | 没有评论
八 20th, 2014 | Filed under 分布式系统与计算
标签:

上周发布的一个系统,出现了一个很诡异的现象。抽象一下描述,问题大概就是这样的: 需求:      一次http请求,通过url的params来读取服务器上的一个日志,并将日志内容返回给用户。 问题表现:存在一定的机率,一次请求返回的内容,与期望的内容不一致。也......

7,116 views | 没有评论
一 24th, 2014 | Filed under 分布式系统与计算, 测试技术

这篇文章会详细介绍如何搭建运行在ubuntu上的hadoop分布式系统,包括部署前需要准备的必要条件以及安装过程中的详细步骤,最后会结合一个简单的例子介绍如何运行Hadoop。 了解Hadoop Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底......

5,758 views | 没有评论
十二 26th, 2013 | Filed under 分布式系统与计算, 技术尝新, 海量数据

当在MAC上搭建好开发环境之后,第一件事肯定是找一个hello world程序练习下。而hadoop世界的hello word程序就是下面的这个Word Count程序。   1. 新建项目 步骤:File–>New–>Other–>Map/Reduce Project 项目名可以随便取,如MapReduceSample。然后新建类WordCount.java......

745,573 views | 没有评论
七 13th, 2013 | Filed under 分布式系统与计算, 海量数据

       最近,在Mac上折腾了下,想搭建一个hadoop的测试环境,用于写一些Map/Reduce的sample,下面就先将搭建环境的过程记录下来。 1. hadoop 单机搭建 1.1 确认java环境已经安装      在terminal里再次键入”java -version”,出现如下信息:   &n......

26,711 views | 没有评论
七 13th, 2013 | Filed under 分布式系统与计算, 海量数据

1.简介 tair 是淘宝自己开发的一个分布式 key/value 存储引擎. tair 分为持久化和非持久化两种使用方式. 1.非持久化的 tair 可以看成是一个分布式缓存。 2.持久化的 tair 将数据存放于磁盘中。为了解决磁盘损坏导致数据丢失, tair 可以配置数据的备份数目, tair 自动将一份......

4,256 views | 没有评论
三 28th, 2013 | Filed under 分布式系统与计算, 技术尝新, 海量数据

ZooKeeper服务命令:      在准备好相应的配置之后,可以直接通过zkServer.sh 这个脚本进行服务的相关操作 1. 启动ZK服务:       sh bin/zkServer.sh start 2. 查看ZK服务状态: sh bin/zkServer.sh status 3. 停止ZK服务:       sh bin/zkSe......

476,611 views | 没有评论
二 1st, 2013 | Filed under 分布式系统与计算

ZooKeeper的部署方式主要有三种,单机模式、伪集群模式、集群模式。其实剩下的两种模式都是集群模式的特殊情况。这里我采取部署伪集群模式来说明,了解伪集群模式的部署方式,基本也就知道单机模式和集群模式该如何部署了! 1.下载ZK的部署包 我这里选用cloude......

21,050 views | 3 条评论
一 30th, 2013 | Filed under 分布式系统与计算

分布式搜索系统,解决数据库没法满足的需求 最近参与的一个项目,有个很变态的需求。业务方需要从商品库中根据不同的属性进行筛选出指定的商品出来,而商品的属性大家都知道是非常多的,而且本身商品库中的数据量就不小(具体数据我就不说了). 抽象下这个......

3,036 views | 2 条评论
一 30th, 2013 | Filed under 分布式系统与计算, 架构设计

无觅相关文章插件,快速提升流量