在Ubuntu上运行Hadoop(单节点集群)

2013-12-26 by | 5,789 views | 没有评论

这篇文章会详细介绍如何搭建运行在ubuntu上的hadoop分布式系统,包括部署前需要准备的必要条件以及安装过程中的详细步骤,最后会结合一个简单的例子介绍如何运行Hadoop。 了解Hadoop Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底...... [阅读更多]

ulimit设置句柄数

2013-12-23 by | 4,800 views | 没有评论

这几天在做一个性能测试,写了一个模拟发送http的程序。模拟100并发的情况下,随机发http get的请求。放到服务器上运行一段时间抛出Too many open files的异常。 异常信息简单的信息如下:  I/O exception (java.net.SocketException) caught when processing request: Too many open files 大致...... [阅读更多]

分类: 工作笔记, 测试技术         标签:

git基础学习

2013-12-2 by | 8,150 views | 没有评论

git是什么 Git是一个分布式版本控制软件,原来是linux内核开发者林纳斯·托瓦兹(Linus Torvalds)为了更好地管理linux内核开发而创立的。自诞生于 2005 年以来,Git 日臻成熟完善,在高度易用的同时,仍然保留着初期设定的目标。 速度,分布式,强大的分支。 提到git,...... [阅读更多]

分类: 工具推荐, 技术尝新, 测试技术         标签: ,

mac工作软件推荐-iterm + zsh + tmux

2013-11-29 by | 21,797 views | 没有评论

mac上的Terminal + bash + screen组合现在已经非常好用了,但是还是经不起iterm+zsh+tmux的冲击。在同事的强烈推荐下,趁着升级mac系统的机会,顺便也切换到iterm+zsh+tmux的环境下了。 我为什么要要iterm2  切换过来也是脑袋一热的冲动,我也调查过一些资料,看了...... [阅读更多]

分类: 工具推荐         标签: , ,

关于子查询和连接的趣味小题目

2013-11-6 by | 6,636 views | 9 条评论

今天有位同学出来一个趣味小题。 A:select titlefrom simplifiedwhere id in (select id                  from analysis                  where word = ‘something’);B:select b.titlefrom  analysis ajoin simplified bon (a.id=b.id)where...... [阅读更多]

分类: 工作笔记, 思考讨论, 海量数据         标签: ,

解决Linux关闭终端(关闭SSH等)后运行的程序自动停止

2013-11-4 by | 7,825 views | 2 条评论

问题描述: 之前在服务器上起一个python的服务,放到后台运行。 python pyserver.py &.  当我关闭这个SSH之后,该服务不可用,再次登入到服务器,已经没有这个python进程啦。 问题定位: 通过上面问题的表象,可以发现是跟SSH关闭有关。为什么ssh关闭,会导致正在运...... [阅读更多]

分类: 工作笔记         标签: , ,

python服务化接口的新尝试

2013-9-9 by | 4,112 views | 没有评论

       是不是有这么一个场景,对外提供一堆数据或者是要返回给用户一个结果。但是不想把内部的一些数据和逻辑暴露给对方。。。简单点来说,就是想以服务的方式对外提供一个接口。对于这种有很多处理方式,RPC,搭建一个web服务啥的。。。。但...... [阅读更多]

分类: 技术尝新, 语言编程         标签: , ,

Testing on the Toilet Test Behavior, Not Implementation

2013-9-1 by | 322,682 views | 没有评论

        一直关注google testing,有些文章写得的确不错,但是由于每次翻墙去看真心麻烦,所以以后会把一些比较好的内容转到blog上收藏,也方便以后查阅。

...... [阅读更多]
分类: 技术尝新, 测试技术         标签:

Mysql服务器安装后续操作

2013-8-13 by | 2,864 views | 没有评论

Untitled Blog Post Name 在服务器上安装好mysql之后,一般都需要做下面几件事情: 1. 启动mysql server 2. 设置root用户和添加一些访问用户 3. 设置用户权限 4. 配置非本地连接访问 5. 备份数据或者迁移数据 6. 一些注意事项(不断更新) 1. 启动mysql server 通常情况下,我们使用的...... [阅读更多]

分类: 工作笔记, 海量数据         标签:

java反射机制及动态代理

2013-8-11 by | 6,613 views | 没有评论

目前正在看Hadoop RPC框架的源码,在深入了解这些之前,有一些基础知识需要回顾下。 1. java反射机制及动态代理 2. java网络编程 3. java NIO 先总结下第一个,java反射机制及动态代理的相关知识点: java反射机制 在看与java反射机制相关的代码前,试着看看下面这几个问...... [阅读更多]

分类: 思考讨论, 海量数据, 语言编程         标签: , ,

如何绑定多域名

2013-7-22 by | 1,199,500 views | 1 条评论

Untitled Blog Post Name       使用linode差不多也有2个多月,一直都是用来搭一个blog和VPN翻墙,感觉有点浪费。所以最近就把之前的一个toptesting.net的域名翻出来,打算再弄一个bbs。(toptesting.net这个域名是在新网上注册的,以前没怎么使用)      ...... [阅读更多]

分类: 技术尝新         标签: ,

第一个Map/Reduce程序

2013-7-13 by | 745,594 views | 没有评论

当在MAC上搭建好开发环境之后,第一件事肯定是找一个hello world程序练习下。而hadoop世界的hello word程序就是下面的这个Word Count程序。   1. 新建项目 步骤:File–>New–>Other–>Map/Reduce Project 项目名可以随便取,如MapReduceSample。然后新建类WordCount.java...... [阅读更多]

分类: 分布式系统与计算, 海量数据         标签: , ,

Map/Reduce开发环境

2013-7-13 by | 26,739 views | 没有评论

       最近,在Mac上折腾了下,想搭建一个hadoop的测试环境,用于写一些Map/Reduce的sample,下面就先将搭建环境的过程记录下来。 1. hadoop 单机搭建 1.1 确认java环境已经安装      在terminal里再次键入”java -version”,出现如下信息:   &n...... [阅读更多]

分类: 分布式系统与计算, 海量数据         标签: , ,

Python核心编程笔记(6~10)

2013-7-10 by | 4,725 views | 1 条评论

序列: 字符串, 列表和元组(chapter6) 1 对所有序列类型都适用的操作符(优先级从高到低, 不适用于复合类型的对象比较) 1.1 成员关系操作符: int, not in1.2 连接操作符: +1.3 重复操作符: *… sequence * int1.4 切片操作符: (利用子序列方式结合三种操作方式, 可以非常灵活的控制...... [阅读更多]

分类: 语言编程, 读书笔记         标签:

Python核心编程笔记(1~5)

2013-7-2 by | 12,367 views | 没有评论

基本配置及基础语法(1, 2章) 1 Python.exe 的解释器options: 1.1 –d   提供调试输出 1.2 –O   生成优化的字节码(生成.pyo文件) 1.3 –S   不导入site模块以在启动时查找python路径 1.4 –v   冗余输出(导入语句详细追踪) 1.5 –m mod 将一个模块以脚本形式运行 1.6 –Q opt 除法选项(...... [阅读更多]

分类: 读书笔记         标签: ,

编写可阅读代码的艺术 (10~15)

2013-6-13 by | 2,517 views | 没有评论

第三部分 重新组织代码   10. 抽取不相关的子问题 工程学就是把大问题拆分成小问题,再把这些问题的解决方案放在一起。本章的建议,积极的发现和抽取出不相关的子逻辑。 10.1 纯工具代码 有一组核心功能,大多数程序都会用。如操作字符串,文件读写类 10.2 ...... [阅读更多]

分类: 读书笔记         标签:

编写可阅读代码的艺术(7~9)

2013-6-13 by | 2,845 views | 没有评论

第二部分 简化循环和逻辑 7. 把控制流变得易读    核心思想: 把条件,循环及其他对控制流的改变做得越自然越好,运行一种方法让读者不用停下来就能重读你的代码 7.1 条件语句中参数的顺序    比较的左侧,被询问的表达式,它的值更倾向于不...... [阅读更多]

分类: 读书笔记         标签:

编写可阅读代码的艺术(4~6)

2013-6-7 by | 2,610 views | 没有评论

4. 审美 核心思想: 如何使用好的留白,对齐和顺序来让你的代码变得更容易 4.1 重新安排换行保持一致和紧凑   4.2 用方法来整理不规则的东西   4.3 在需要时使用对其列 整齐的列可以很方便阅读   4.4 将声明用块组装起来 最好按逻辑分组,比如说功能块分...... [阅读更多]

分类: 读书笔记         标签:

编写可阅读代码的艺术-(1~3)

2013-5-26 by | 5,493,844 views | 没有评论

读书笔记 P1~P36 1. 代码应易于理解 1.1 可读性的基本标准:      代码的写法应该使别人理解它需要的时间最少 1.2 代码短并不是易理解的标准,2者基本没有关系:如下面2段功能一致的代码     assert(!(bucket = FindBucket(key)) || !bucket -> IsOccupied())    ...... [阅读更多]

分类: 读书笔记         标签:

ubuntu软件分享之sublime text的问题解决

2013-5-6 by | 3,665 views | 没有评论

之前在windows平台,我一直都推荐使用sublime,这回切换到ubuntu之后,虽然有vim和gedit,但是我也不想放弃这个好的编辑器,所以我还是将sublime text装上了。使用的过程,也碰到几个问题,记录一下解决方案: 1.将sublime添加到启动器 新增一个desktop文件: sudo vim /usr/share...... [阅读更多]

分类: 工具推荐         标签: ,

无觅相关文章插件,快速提升流量