scribe 介绍:
scribe 是facebook 开源的分布式日志系统 。 可以用java 借助log4j 向分布式scribe 写入日志。
安装环境: centos5.2
所需软件:
安装过程:
一、输入gcc –v 检查gcc版本是否>3.3.5
是,则继续下一步。否,则安装gcc 。
二、安装ruby 和python
python 用默认安装路径。Ruby 推荐使用默认路径
安装过程均为./configure make make install
三、安装lievent
解压安装即可
安装过程为./configure make make install
四、安装 boost
解压安装即可(不可改路径)
http://hi.baidu.com/maydaygmail/blog/item/9e38993bf4a176dc7c1e716c.html
五、安装 php 和libxml2
先安装libxml2 (php依赖它) 在安装php(默认安装路径)
安装过程均为./configure make make install
六、安装facebook 服务-- thrift 和 fb303
首先解压并进入thrift 目录
./bootstrap.sh
./configure –with-boost=/usr/local/include/boost/ -- with-php-config=/phppath /bin/php-config
make
make install
thrift 安装完毕。
在当前目录 cd 到contrib/fb303/ :
./bootstrap.sh
./configure –with-boost=/usr/local/include/boost/
make
make install
fb303安装完毕。
七、安装scribe
./bootstrap
./configure –with-boost=/usr/local/include/boost/
make
make install
安装完毕。
配置环境变量 :
BOOST_ROOT=/usr/local/include/boost/
LD_LIBRARY_PATH=/usr/local/include/boost/lib::/usr/lob:/usr/local/lib
测试:
/usr/local/bin/scribed [scribe 解压目录]/examples/example1.conf
回车会出现:
[Sun Oct 31 23:37:38 2010] "STATUS: STARTING"
[Sun Oct 31 23:37:38 2010] "STATUS: configuring"
[Sun Oct 31 23:37:38 2010] "got configuration data from file </home/setups/scribe/scribe/examples/example1.conf>"
[Sun Oct 31 23:37:38 2010] "CATEGORY : default"
[Sun Oct 31 23:37:38 2010] "Creating default store"
[Sun Oct 31 23:37:38 2010] "configured <1> stores"
[Sun Oct 31 23:37:38 2010] "STATUS: "
[Sun Oct 31 23:37:38 2010] "STATUS: ALIVE"
[Sun Oct 31 23:37:38 2010] "Starting scribe server on port 1463"
Thrift: Sun Oct 31 23:37:38 2010 libevent 2.0.7-rc method epoll
okay scribe 服务已启动。 (这个不只是测试,也是启动scribe 服务的方式。)
补充:
关于scribe 的安装 在下载目录下有个有个readme 写的很详细(可能没我写的实用^^)
scribe的启动和集群测试,均在examples 目录下的redme 上 写得相当详细。
如果大家在集群上有疑问,可交流^^
分享到:
相关推荐
一个月研究时间试验后总结的文档用户系统日志数据分析 比较实用
模块二 Hadoop生态系统介绍和演示 Hadoop HDFS 和 MapReduce Hadoop数据库之HBase Hadoop数据仓库之Hive Hadoop数据处理脚本Pig Hadoop数据接口Sqoop和Flume,Scribe DataX Hadoop工作流引擎 Oozie 运用Hadoop...
基于scribe和Hadoop的海量数据分析系统的设计与应用,刘彤,辛阳,随着互联网、移动互联网和物联网的发展,各种终端、信息收集器的数量和种类不断增加,每个人、世间万事万物每时每刻产生的大量数
Zipkin 使用 Apache Cassandra 做为数据存储系统,使用 Apache ZooKeeper – the Hadoop configuration management software – for coordination, and Facebook's Scribe data aggregation system as the logging ...
目前使用最广泛的、用于系统日志采集的海量数据采集工具有 Hadoop 的 Chukwa、ApacheFlumeAFacebook 的 Scribe 和 LinkedIn 的 Kafka 等。 以上工具均采用分布式架构,能满足每秒数百 MB 的日志数据采集和传输需求。
⼤数据技术体系 ⽂件存储:Hadoop HDFS、Tachyon、KFS 离线计算:Hadoop MapReduce、Spark 流式、实时计算:Storm、Spark Streaming、S4、Heron K-V、NOSQL数据库:HBase、Redis、MongoDB 资源管理:YARN、Mesos ⽇...
互联⽹企业的海量数据采集⼯具,有Facebook开源的Scribe、LinkedIn开源的 Kafka、淘宝开源的Timetunnel、Hadoop的Chukwa等,均可以满⾜每秒数百MB的⽇志数据采集和传输需求,并将这些数据上载到Hadoop 中央系统上。...
绝大部分的互联网企业都拥有自己专属的海量数据采集 工具,一般是用于对系统日志进行采集,例如Hadoop的Chukwa、Fecebook专用的Scribe 以及Cloudera的Flume等等,这些工具都是采取分布式类型的架构,可以满足很大的...
和Flume类似的另⼀个框架是Scribe(FaceBook开源的⽇志收集系统,它为⽇志的分布式收集、统⼀处理提供⼀个 可扩展的、⾼容错的简单⽅案) Kafka:通常来说Flume采集数据的速度和下游处理的速度通常不同步,因此实时...
数据处理:Hadoop、Spark、Storm、Flink、Pig、Tez、Impala、Presto、Kylin、Drill、Phoniex、Beam、Apex 数据存储:HBase、HDFS、Cassandra、Kudu、Alluxio、Parquet 数据仓库:Hive、HAWQ 分布式协调:Zookeeper ...
⼤数据中数据采集的⼏种⽅式 ⼀、采集⼤数据的⽅法 1.1通过系统⽇志采集⼤数据 ⽤于系统⽇志采集的⼯具,⽬前使⽤最⼴泛的有:Hadoop 的Chukwa、ApacheFlumeAFacebook的Scribe和LinkedIn的Kafka等。这 ⾥主要学习...