Open source of memory
houzhaowei · 共 108 篇文章
How to Think Like a Data Scientist
How to Think Like a Data Scientist A lot of the answers here focus on the learning the skills and techniques of a data scientist. To complement those, I wrote this post to talk about how non data scientists can start thinking like data scientists. This answer also includes seven challenges that hel…
2014-06-21 21:48 · 评论(0)
kvm虚拟化之路 --虚拟机双网卡(外网and内网)
宿主机层面: 需要分别从两块网卡建立两个网桥:eth0->br0, eth1->br1 从libvirt层面:需要配置两个网桥 <interface type='bridge'> <mac address='54:52:00:**:**:**'/> <source bridge='br0'/> <target dev='vnet7'/> <model type='virtio'/> </interface> <interface type='bridge'> <mac address='54:52:00:**:**:**'/> <source bridge='br1'/> <target d…
基于KVM的虚拟化之路 -- 虚拟机自动创建
1、虚拟机资源配置(cpu、内存、磁盘空间、等的分配) 2、虚拟机访问、监控(ip地址,用户名密码,自动加入到监控系统) 3、虚拟机安全 针对这三个大的方面 , 做出了以下解决方案: 首先需要一个镜像池(可以是远程机器,也可以是共享文件系统),用来存放标准的系统镜像(已安装好了的),当然镜像中已经包含了一些公用性的配置。 还有一个标准的libvirt样本配置文件。 然后每一个宿主物理机上放有已写好的创建脚本(本人用python 写的脚本) 创建的时候只需在中心控制节点远程执行 创建脚本即可创建相应规格的虚拟机并加到监控系统里面。 针对第一点:libvirt 本身支持从现成镜像配合xml配置文…
kvm 移植
应用场景:我公司做文档转换的机器应付不过来日益增长的上传量了。 条件:做转换的机器都是用kvm虚拟化出来的。 --- 做法: 幸好以前准备好两个img文件 : 一个为转换机器的系统img文件 ,一个为转换分区所挂载的img文件。 把这两个文件都scp 到新的宿主机(切记,这里最好把挂载的img文件也复制过来。如果创建新的img文件的话,则在虚拟系统格式化这个磁盘需要很长时间。而且如果两个文件都复制的话,也不用再在虚拟机里手动挂载,这块盘会自动挂在上。) 然后执行: virt-install qemu:///system --name [虚拟机名] --ram 4096 --cpuset=1,…
2011-09-20 15:58 · linux · 评论(0)
查看linux 线程
3中方法: cat /proc/${pid}/status pstree -p ${pid} top -p ${pid} 再按H 或者直接输入 top -bH -d 3 -p ${pid} 查看进程工作 strace -p ${pid} 开启iptables日志 iptables -t raw -I PREROUTING 1 -p tcp --syn -m statistic --mode nth --every 5000 -j LOG --log-prefix "IPTABLES DETECTING SYN: " tail /var/log/message 关闭iptables日志 ipt…
2011-08-18 20:38 · linux · 评论(0)
HashTable 详解
Hashtables提供了一个很有用的方法可以使应用程序的性能达到最佳。 Hashtables(哈希表)在计算机领域中已不是一个新概念了。它们是用来加快计算机的处理速度的,用当今的标准来处理,速度非常慢,而它们可以让你在查询许多数据条目时,很快地找到一个特殊的条目。尽管现代的机器速度已快了几千倍,但是为了得到应用程序的最佳性能,hashtables仍然是个很有用的方法。 设想一下,你有一个包含约一千条记录的数据文件,比如一个小企业的客户记录,还有一个程序,它把记录读到内存中进行处理。每个记录包含一个唯一的五位数的客户ID号、客户名字、地址、帐户结余等等。假设记录不是按客户ID号顺序分类的,所…
2011-07-23 15:06 · 评论(0)
MySQL性能优化教程
一、 这是一篇MySQL性能优化的教程,来着某公司的DBA,原是为了培训公司员工用,现在转载出来供大家一起学习提高。 背景及目标 ● 用于员工培训和分享。 ● 针对用户群为已经使用过mysql环境,并有一定开发经验的工程师 ● 针对高并发,海量数据的互联网环境。 ● 本文语言为口语,非学术标准用语。 ● 以实战和解决具体问题为主要目标,非应试,非常规教育。友情提醒,在校生学习本教程可能对成绩提高有害无益。 ● 非技术挑战,非高端架构师培训,请高手自动忽略。 Mysql 执行优化 认识数据索引 1.为什么使用数据索引能提高效率 ■ 数据索引的存储是有序的 ■ 在有序的情况下,通过索引查询一个数…
2011-05-08 15:27 · mysql · 评论(0)
Linux的五个查找命令:find,locate,whereis,which,type
在Linux中,有很多方法可以做到这一点。国外网站 LinuxHaxor 总结了五条命令,你可以看看自己知道几条。大多数程序员,可能经常使用其中的2到3条,对这5条命令都很熟悉的人应该是不多的。 nd find是最常见和最强大的查找命令,你可以用它找到任何你想找的文件。 find的使用格式如下: $ find <指定目录> <指定条件> <指定动作> - <指定目录>: 所要搜索的目录及其所有子目录。默认为当前目录。 - <指定条件>: 所要搜索的文件的特征。 - <指定动作>: 对搜索结果进行特定的处理。 如果什么参数也不加,find默认搜索当前目录及其子目录,并且不过滤任何结果(也就是返…
2011-03-10 19:50 · linux · 评论(0)
HBase 架构101 –预写日志系统 (WAL)
原文: http://www.larsgeorge.com/2010/01/hbase-architecture-101-write-ahead-log.html 什么是预写日志WAL? 之前的文章我们简单介绍了HBase的存储结构。其中提到了预写日志。这里,我们要介绍它的实现细节,所有的描述都基于HBase 0.20.3. WAL最重要的作用是灾难恢复。和MySQL 的BIN log类似,它记录所有的数据改动。一旦服务器崩溃,通过重放log,我们可以恢复崩溃之前的数据。这也意味如果写入WAL失败,整个操作将认为失败。 我们先看看HBase是如何做到的。首先,客户端初始化一个可能对数据改动的…
2011-02-21 11:22 · 云计算 · 评论(0)
hbase 简介
我的废话1: 任何一项新技术并非救命稻草,一抹一擦立马药到病除的百宝箱,并非使用Spring或者NOSQL的产品就神乎其神+五光十色,如果那样基本是扯淡。同类 型产品中不管那种技术最终要达到的目的是一样的,通过新的技术手段你往往可能避讳了当前你所需要面对的问题,但过后新的问题又来了。也许回过头来看看还不 如在原来的基础上多动动脑筋 想想办法 做些改良可以得到更高的回报。 传统数据库是以数据块来存储数据,简单来说,你的表字段越多,占用的数据空间就越多,那么查询有可能就要跨数据块,将会导致查询的速度变慢。在大型系统中一张表上百个字段,并且表中的数据上亿条这是完全是有可能的。因此会带来数据库查询的…
2011-02-16 17:59 · nosql · 评论(0)
微博feed系统的push和pull模式和时间分区拉模式架构探
sns系统,微博系统都应用到了feed(每条微博或者sns里的新鲜事等我们称作feed)系统,不管是 twitter.com 或者国内的新浪微博,人人网等,在各种技术社区,技术大会上都在分享自己的feed架构,也就是推拉模式( timyang 上次也分享了新浪微薄的模式)。下面我们就微博的feed推拉(push,pull)模式做一下探讨,并提出新的时间分区拉模式。 众所周知,在微博中,当你发表一篇微博,那么所有关注你的followers(粉丝)都会在一定的时间内收到你的微薄,这有点像群发一封邮件,所有的抄送者都会在一定的时间内收到。到这里,你可能觉得没有什么难度。我们看下下面的截图: 图一:…
2011-02-15 13:58 · java ee 技术 · 评论(1)
cloudera 的hbase集群搭建简录 (centos5)
官方doc https://wiki.cloudera.com/display/DOC/HBase+Installation 首先升级yum: 在 /etc/yum.repos.d/ 下创建 cloudera-cdh3.repo 然后把 [cloudera-cdh3] name=Cloudera's Distribution for Hadoop, Version 3 mirrorlist=http://archive.cloudera.com/redhat/cdh/3/mirrors gpgkey = http://archive.cloudera.com/redhat/cdh/RPM-G…
2011-02-10 18:51 · 云计算 · 评论(0)
zookeeper Have smaller server identifier
zookeeper 的一个节点启动时候报错: 2011-02-10 15:16:24,128 - INFO [QuorumPeer:/0:0:0:0:0:0:0:0:2188:FastLeaderElection@683] - Notification time out: 60000 2011-02-10 15:16:24,128 - INFO [QuorumPeer:/0:0:0:0:0:0:0:0:2188:FastLeaderElection@689] - Notification: 2, 0, 1, 2, LOOKING, LOOKING, 2 2011-02-10 15:16:24…
2011-02-10 15:33 · 云计算 · 评论(0)
hdfs 的容灾
dfs.name.dir (namenode的路径) 可以配置多个路径(也就是说可以多磁盘)但这些目录中的文件都是一样的 (可以防止某磁盘挂掉,做备份) dfs.data.dir (datanode的路径) 也可配置多个。但数据时不一样的也就是利用多块磁盘来存储数据。至于datanode 的容灾措施, hdfs 会默认把datanode数据copy三份 一个放在本地机架的节点,一个放在同一机架的另一节点,另一个放在其他机架上。 当namenode长时间接收不到(默认1h)datanode的心跳 就认为其挂掉 就会自动从备份数据中取数据块。 (1)在Namenode和Datanode之间维持心…
2011-01-20 10:18 · 云计算 · 评论(0)
hdfs 配置(namenode ,datanode 如何使用多硬盘)
fs.default.name To run HDFS, you need to designate (指派)one machine as a namenode. In this case, the property fs.default.name is a HDFS filesystem URI, whose host is the namenode’s hostname or IP address, and port is the port that the namenode will listen on for RPCs. If no port is specified, the de…
2011-01-20 09:47 · 云计算 · 评论(0)