`
houzhaowei
  • 浏览: 492471 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论
文章列表
How to Think Like a Data Scientist A lot of the answers here focus on the learning the skills and techniques of a data scientist. To complement those, I wrote this post to talk about how non data scientists can start thinking like data scientists.This answer also includes seven challenges that hel ...
宿主机层面: 需要分别从两块网卡建立两个网桥:eth0->br0, eth1->br1 从libvirt层面:需要配置两个网桥 <interface type='bridge'><mac address='54:52:00:**:**:**'/><source bridge='br0'/><target dev='vnet7'/><model type='virtio'/></interface><interface type='bridge'><mac address='54:52: ...
  1、虚拟机资源配置(cpu、内存、磁盘空间、等的分配) 2、虚拟机访问、监控(ip地址,用户名密码,自动加入到监控系统) 3、虚拟机安全 针对这三个大的方面 , 做出了以下解决方案:     首先需要一个镜像池(可以是远程机器,也可以是共享文件系统),用来存放标准的系统镜像(已安装好了的),当然镜像中已经包含了一些公用性的配置。 还有一个标准的libvirt样本配置文件。     然后每一个宿主物理机上放有已写好的创建脚本(本人用python 写的脚本)
应用场景:我公司做文档转换的机器应付不过来日益增长的上传量了。条件:做转换的机器都是用kvm虚拟化出来的。--- 做法:幸好以前准备好两个img文件 : 一个为转换机器的系统img文件 ,一个为转换分区所挂载的img文件。把这 ...

查看linux 线程

3中方法: 1. cat /proc/${pid}/status 2. pstree -p ${pid} 3. top -p ${pid} 再按H     或者直接输入 top -bH -d 3 -p ${pid} 查看进程工作 strace -p ${pid} 开启iptables日志 iptables -t raw -I PREROUTING 1 -p tcp --syn -m statistic --mode nth --every 5000 -j LOG --log-prefix "IPTABLES DETECTING SYN: " tail / ...
Hashtables提供了一个很有用的方法可以使应用程序的性能达到最佳。     Hashtables(哈希表)在计算机领域中已不是一个新概念了。它们是用来加快计算机的处理速度的,用当今的标准来处理,速度非常慢,而它们可以让你在查 ...
      一、 这是一篇MySQL性能优化的教程,来着某公司的DBA,原是为了培训公司员工用,现在转载出来供大家一起学习提高。 背景及目标 ● 用于员工培训和分享。 ● 针对用户群为已经使用过mysql环境,并有一定开发经验 ...
在Linux中,有很多方法可以做到这一点。国外网站LinuxHaxor总结了五条命令,你可以看看自己知道几条。大多数程序员,可能经常使用其中的2到3条,对这5条命令都很熟悉的人应该是不多的。 nd find是最常见和最强大的查找命令,你可以用它找到任何你想找的文件。 find的使用格式如下:   $ find <指定目录> <指定条件> <指定动作>   - <指定目录>: 所要搜索的目录及其所有子目录。默认为当前目录。   - <指定条件>: 所要搜索的文件的特征。   - <指定动作>: 对搜索结果 ...
原文:http://www.larsgeorge.com/2010/01/hbase-architecture-101-write-ahead-log.html 什么是预写日志WAL? 之前的文章我们简单介绍了HBase的存储结构。其中提到了预写日志。这里,我们要介绍它的实现细节,所有的描述都基于HBase 0.20.3. WAL最 ...
我的废话1:   任何一项新技术并非救命稻草,一抹一擦立马药到病除的百宝箱,并非使用Spring或者NOSQL的产品就神乎其神+五光十色,如果那样基本是扯淡。同类 型产品中不管那种技术最终要达到的目的是一样的,通过新的技 ...
sns系统,微博系统都应用到了feed(每条微博或者sns里的新鲜事等我们称作feed)系统,不管是twitter.com或者国内的新浪微博,人人网等,在各种技术社区,技术大会上都在分享自己的feed架构,也就是推拉模式(timyang上次也分享了新浪微薄的模式)。下面我们就微博的feed推拉(push,pull)模式做一下探讨,并提出新的时间分区拉模式。 众所周知,在微博中,当你发表一篇微博,那么所有关注你的followers(粉丝)都会在一定的时间内收到你的微薄,这有点像群发一封邮件,所有的抄送者都会在一定的时间内收到。到这里,你可能觉得没有什么难度。我们看下下面的截图: 图一: ...
官方doc https://wiki.cloudera.com/display/DOC/HBase+Installation   首先升级yum: 在 /etc/yum.repos.d/ 下创建cloudera-cdh3.repo 然后把   [cloudera-cdh3] name=Cloudera's Distribution for Hadoop, Version 3 mirrorlist=http://archive.cloudera.com/redhat/cdh/3/mirrors gpgkey = ht ...
zookeeper 的一个节点启动时候报错: 2011-02-10 15:16:24,128 - INFO [QuorumPeer:/0:0:0:0:0:0:0:0:2188:FastLeaderElection@683] - Notification time out: 60000 2011-02-10 15:16:24,128 - INFO [QuorumPeer:/0:0:0:0:0:0:0:0:2188:FastLeaderElection@689] - Notification: 2, 0, 1, 2, LOOKING, LOOKING, 2 2011-02-10 15 ...
dfs.name.dir (namenode的路径) 可以配置多个路径(也就是说可以多磁盘)但这些目录中的文件都是一样的 (可以防止某磁盘挂掉,做备份) dfs.data.dir (datanode的路径) 也可配置多个。但数据时不一样的也就是利用多块磁盘来存储数 ...
 fs.default.name To run HDFS, you need to designate (指派)one machine as a namenode. In this case, theproperty fs.default.name is a HDFS filesystem URI, whose host is the namenode’shostname or IP address, and port is the port that the namenode will listen on for RPCs. If no port is specified, the ...
Global site tag (gtag.js) - Google Analytics