存档

‘海量数据’ 分类的存档

这篇文章会详细介绍如何搭建运行在ubuntu上的hadoop分布式系统,包括部署前需要准备的必要条件以及安装过程中的详细步骤,最后会结合一个简单的例子介绍如何运行Hadoop。 了解Hadoop Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底......

5,731 views | 没有评论
十二 26th, 2013 | Filed under 分布式系统与计算, 技术尝新, 海量数据

今天有位同学出来一个趣味小题。 A:select titlefrom simplifiedwhere id in (select id                  from analysis                  where word = ‘something’);B:select b.titlefrom  analysis ajoin simplified bon (a.id=b.id)where......

6,577 views | 9 条评论
十一 6th, 2013 | Filed under 工作笔记, 思考讨论, 海量数据
标签: ,

Untitled Blog Post Name 在服务器上安装好mysql之后,一般都需要做下面几件事情: 1. 启动mysql server 2. 设置root用户和添加一些访问用户 3. 设置用户权限 4. 配置非本地连接访问 5. 备份数据或者迁移数据 6. 一些注意事项(不断更新) 1. 启动mysql server 通常情况下,我们使用的......

2,828 views | 没有评论
八 13th, 2013 | Filed under 工作笔记, 海量数据
标签:

目前正在看Hadoop RPC框架的源码,在深入了解这些之前,有一些基础知识需要回顾下。 1. java反射机制及动态代理 2. java网络编程 3. java NIO 先总结下第一个,java反射机制及动态代理的相关知识点: java反射机制 在看与java反射机制相关的代码前,试着看看下面这几个问......

6,573 views | 没有评论
八 11th, 2013 | Filed under 思考讨论, 海量数据, 语言编程

当在MAC上搭建好开发环境之后,第一件事肯定是找一个hello world程序练习下。而hadoop世界的hello word程序就是下面的这个Word Count程序。   1. 新建项目 步骤:File–>New–>Other–>Map/Reduce Project 项目名可以随便取,如MapReduceSample。然后新建类WordCount.java......

745,547 views | 没有评论
七 13th, 2013 | Filed under 分布式系统与计算, 海量数据

       最近,在Mac上折腾了下,想搭建一个hadoop的测试环境,用于写一些Map/Reduce的sample,下面就先将搭建环境的过程记录下来。 1. hadoop 单机搭建 1.1 确认java环境已经安装      在terminal里再次键入”java -version”,出现如下信息:   &n......

26,684 views | 没有评论
七 13th, 2013 | Filed under 分布式系统与计算, 海量数据

1.简介 tair 是淘宝自己开发的一个分布式 key/value 存储引擎. tair 分为持久化和非持久化两种使用方式. 1.非持久化的 tair 可以看成是一个分布式缓存。 2.持久化的 tair 将数据存放于磁盘中。为了解决磁盘损坏导致数据丢失, tair 可以配置数据的备份数目, tair 自动将一份......

4,237 views | 没有评论
三 28th, 2013 | Filed under 分布式系统与计算, 技术尝新, 海量数据

今天小朋友在写接口测试的时候,碰到一个sql查询的问题,代码块类似于下面 String sql = select * from s_user t where t.userName like ‘%c%’" ; PreparedStatement state = conn.prepareStatement(sql); ResultSet resultSet = state.executeQuery(); // 执行查询,返回结果接集合 经过google发现,这......

4,694 views | 没有评论
一 8th, 2013 | Filed under 工作笔记, 海量数据
标签: , ,

       今天,在准备测试环境的时间,需要将之前的老库下的数据迁移到新的服务器上。由于之前没怎么接触Mysql,拿到这个需求的时候,我第一反应是应该有类似与Sql server里面的数据库导入导出的一个功能。但是我在Mysql Workbeach下没有找到类......

6,642 views | 1 条评论
十 16th, 2012 | Filed under 工作笔记, 思考讨论, 海量数据
标签: ,

       数据仓库保留了大量的历史数据,对时间维度上的数据分析工作提供了重要的手段。而保留历史数据的最常见的方法就是使用历史拉链表,历史拉链表仅当数据发送变更时,才相应的发生变更,这样就能有效保留历史数据的变动信息,又......

7,537 views | 没有评论
二 28th, 2012 | Filed under 技术尝新, 海量数据
标签: ,

无觅相关文章插件,快速提升流量