houzhaowei
- 浏览: 492793 次
- 性别:
- 来自: 北京
-
最新评论
-
springdata_spring：
可以参考最新的文档：如何在eclipse jee中检出项目并转 ...
maven archetype:generate 的进一步理解 -
springaop_springmvc：
apache lucene开源框架demo使用实例教程源代码下 ...
lucene 使用教程<转> -
springmvc-freemarker：
可以参考最新的文档：如何在eclipse jee中检出项目并转 ...
maven 简单实用教程 -
nich002：
zealot 写道顶，推荐maven开发过程系列 大家不要点这 ...
maven 简单实用教程 -
刘宇斌：
您好 有个问题想请教您一下 您这个是通过jdbc连接的，如何 ...
云计算实战 （海量日志管理）hive -- hive + hiveclient (hive 客户端)
文章列表
Eclipse没有提示解决办法 window->Preferences->Java->Editor->Content Assist->Advanced 上面的选项卡Select the proposal kinds contained in the 'default' content assist list: 中把 Other Java Proposals 选项打上勾就可以了
环境：linux
一段执行时间很长的程序（用python做hive客户端执行mapreduce） 在linux后台执行，把结果输出到某文件：
python xxx.py > log.log&
遇到的问题，程序没报错，文件里却什么都没有，没有输入进去。为什么呢？
于是我首先尝试用：
nohup python xxx.py > log.log &
预料之中 还是不行。
于是我做实验：
写了个test.py:
import sys,time
from threading import Thr ...
/**
* ip校验
* @param s
* @return 格式是否正确
*/
public Boolean isIpAddress(String s){
String regex = "(((2[0-4]\\d)|(25[0-5]))|(1\\d{2})|([1-9]\\d)|(\\d))[.](((2[0-4]\\d)|(25[0-5]))|(1\\d{2})|([1-9]\\d)|(\\d))[.](((2[0-4]\\d)|(25[0-5]))|(1\\d{2})|([1-9]\\d)|( ...
【导言】在全球范围内，网站用户行为分析仍然是一门新兴发展的科学，其方法和实践是在近几年才系统理论化的。在实际应用中，网站用户行为分析博得了很多的好奇，但好奇背后，人们也为她注入了各种想象：网站用户行为分析能带来哪些商业价值？哪些用户行为是值得关注的？网站用户行为分析是如何辅助产品运营和营销分析的？她能给我们何种启示？
本文结合研究院用户行为实验室在现网运营的门户网站中的实践经验，提炼一些主题应用与大家分享和探讨网站用户行为分析的魅力！
一、网站用户行为分析的价值
网站是一个立体的系统，从不同的角度看过去，得到的是不同的结果，每个点击背后都蕴藏着行为。网站用户行为分析便可通过网络数据 ...
五个节点的hadoop服务器集群搭建完成后，得想办法提高开发效率，mapreduce 我不是高手，写起来有点麻烦，公司业务不等人，还是决定上hive。
话说想玩好hadoop 还得学精mapreduce ，或许我把这个任务往后放放。
废话不多说，接下来介绍下hive 的安装和实际应用。
hive 安装：
本人hadoop 用的就是cloudera 的release 当然hive 也不例外。
所以安装很简单：
Debian 上安装：
$ sudo apt-get install hadoop-h ...
前面文章讲了如何在linux 上创建基于kvm 的虚拟化系统。
安装虚拟机的意义就是充分利用资源，做云计算集群。
既然做集群，就涉及到虚拟机的copy（kvm 的安装那篇文章最后提到过），若把虚拟机的img 创建几百G，在一个集群中copy 可有的受了。 而且直接把虚拟机创建这么大也不建议。于是想到，先创建个较小的虚拟机img 然后再在虚拟系统挂载主机存储。 这样既避免巨大文件copy 的尴尬，又更有利于存储的扩展。
虚拟系统容量扩展的实现：
首先创建一个新的img镜像，我们用qemu-img，创建200G 的空间：
qemu-img ...
运行hadoop程序时，有时候会报以下错误： org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 这个错误应该还满常见的吧（至少我运行的时候是这样的） 那我们来分析下这个错误，从字面上来理解： Name node is in safe mode 说明Hadoop的NameNode处在安全模式下。 那什么是Hadoop的安全模式呢？ 在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也 ...
环境：
CentOS5.5 桌面环境：CentOS5.5（可以为Ubuntu桌面）
2安装 KVM
CentOS 5.2 KVM主机：
运行
system-config-securitylevel
并且开启SELinux（如果你的SELinux被禁用，virt-install将不会正常工作）。
中国科技大学：http://centos.ustc.edu.cn/centos/ （推荐，比较快）1.以root用户进入CentOS系统。[root@xuxy ~]# cd /etc/yum.repos.d2.备份repo[root@xuxy yum.repos.d]# mv CentOS-Base.repo CentOS-Base.repo.bak3.建立新的CentOS-Base.repo文件：（以CentOS 5.2为例）[root@xuxy yum.repos.d]#vi CentOS-Base.repo内容如下（以中国科技大学的yum源为例）：# CentOS-Base.rep ...
是centos5，想使用wget下载一个文件出现了如下问题："Resolving www.xxxx-xxxx.com... failed: Temporary failure in name resolution."从字面上理解意思是，在解析这个URL的时候发生了失败；首先我从另外一个windows的IE里访问了那个URL，发现是可到达的猜测可能是该机器的网络配置有问题，检查了eth0的配置，无误ping了一个外部的ip地址，正常，但ping一个外部的url，发现the host is unknow，可以断定是DNS的设置有问题。网上搜索也说这个错误的原因99%是/etc/r ...
Scribe can be configured with:
the file specified in the -c command line option
the file at DEFAULT_CONF_FILE_LOCATION in env_default.h
Global Configuration Variables
port: assigned to variable “port”
which port the scribe server will listen on
default 0, passed at command line with ...
电脑型号： dell D620 带有touchpad （触摸板） 和 trackpoint （键盘中间的绿点--可操作鼠标指针） 的。
出现的问题： 鼠标指针一开机就会自己躲到屏幕一角，怎么召唤也不出来。换鼠标、拔掉鼠标都不管用
曾经尝试： 杀毒，重装系统，重装驱动，等。。。 均徒劳。
后来推断： 可能是哪个TrackPoint 要么就是touchpad 硬件坏了所导致。
于是： 进入bios ， 将其禁用（选择“只用外接鼠标，完全禁用touchpad ”的那项--英文应该是这个意思）。 问题解决。
上一篇文章已经安装完scribe，下面我们用java端，通过log4j 把日志写入scribe 日志系统。
一、生成scribe客户端
生成 java客户端api
A. 修改配置文件scribe.thrift cd /usr/local/scribeInstall/scribe/if vi scribe.thrift 修改scribe.thrift文件: 把 include "fb303/if/fb303.thrift" 改成 include "[thrift解压路径]/thrif ...
scribe 介绍:
scribe 是facebook 开源的分布式日志系统 。 可以用java 借助log4j 向分布式scribe 写入日志。
安装环境： centos5.2
所需软件：
安装过程：
一、输入gcc –v 检查gcc版本是否>3.3.5
是，则继续下一步。否，则安装gcc 。
二、安装ruby 和python
python 用默认安装路径。Ruby 推荐使用默认路径
安装过程均为./configure make make install
三、安装lievent
解压安装即可
...
[WARNING] Missing POM for org.apache.mahout.hadoop:hadoop-core:jar:0.20.2
[WARNING] An error occurred during dependency resolution.
Failed to retrieve org.apache.mahout.hadoop:hadoop-core-0.20.2
Caused by: Failure to find org.apache.mahout.hadoop:hadoop-core:jar:0.20.2 in http://localhost:8 ...