注册 登录  
 加关注
查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

阿飘的博客

十里平湖霜满天 寸寸青丝愁华年

 
 
 

日志

 
 

Memcache分组和同步机制的实现  

2011-12-24 22:34:15|  分类: Linux |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
【Memcache同步类的实现思想】

首先我们明确了解就是Memcache是一个简单、快速、高效的分布式基于内存的缓存工具,一般用于网站等数据库数据缓存、高速交换信息的缓存,比如 Session数据等等。Memcache最主要的特点就是两个:一是它是基于内存的高效Hash类缓存方式,二是使用了LUR算法来进行数据有效期控 制,这两点就能够很好的满足我们的普通网站的应用。(关于Memcache的使用和协议请参考我的另一篇文章:《Memcache的使用和协议分析详解》 http://blog.csdn.net/heiyeshuwu/archive/2006/11/13/1380838.aspx)

Memcache本身也存在一些不足,不能说是不足,至少是为了满足它高效的存取,所以没有去实现的功能,包括:一是本身没有内置分布式功能,无法实现使用多台Memcache服务器来存储不同的数据,最大程度的使用相同的资源;二是无法同步数据,容易造成单点故障。

那么其实都可以通过我们的Memcache的客户端程序来解决的,首先我们PHP的PECL中的Memcache扩展能够有效的解决Memcache的分布式问题,主要的接口就是 addServer() 函数,具体关于addServer()函数的实现可以参考该扩展源代码。那么现在就存在第二个问题,就是说无法同步数据,可以理解为MySQL中 Master/Slave的机制,就是说如果我们有多台的Memcache服务器,使用addServer函数的话,每个服务器存储的数据都是唯一的,那 么任何一台服务器宕机的话,那么这台服务器上的存储数据将丢失无法访问,这样肯定是无法充分发挥我们Memcache威力的,那么我们就需要一个方式来解 决这个问题,这个就是本文主要要探讨解决的问题:关于在多台Memcache服务器中分组和同步数据的问题。

针对这个问题我构建了一个PHP写的Class,大致的思想就是把多台Memcache服务器分成两组,每组的服务器数量可能是一样的(如果总数是复数的 话),数量不一样也没关系,写数据的时候往两组服务器都写,数据是一样的,那么A组服务器的数据和B组服务器的数据是一样的,如果A组服务器中某一台机器 宕机了,则能够从B组服务器中提取出数据来,这样能够有效的避免单点故障,特别是在高性能要求的网站当中。当然,相应的操作也是有开销的,主要的开销在于网络连 接,就是说连接到A组服务器中发现没有数据,则去访问B组服务器。另外还有就是在访问数据过程中,都是从A组开始的,那么并发量很高的情况下,A组服务器 的压力比较大,那么我还实现了对A组和B组服务器随机访问的机制,如果在随机的组中没有发现数据则访问另外一个组,这样A组和B组的压力就是1/2了,能 够有效的面对高负载的情况。

同样的,这个类是可以扩展的,比如你可以修改成为能够满足两组以上的服务器,但是这样逻辑会更复杂,我基于简便期间,目前就考虑了两组服务器的情况,毕竟一般公司来说,没有很多机器去做Memcache的缓存,所以两组已经能够满足大部分要求了。

PS:如果有兴趣的话,可以完全自己重新实现Memcache的addServer扩展,比如增加addGroup之类的方法,能够更有效的解决同步和分组的问题。同样的,如果想节省资源的使用,可以把Memcached当作线程的方式来运行。

最后提出两个使用Memcache的小技巧,第一个是如果是一个有效分布式存储的数据,key的取名是很有学问的,这个可以按照项目需要去做,但是key 值不要太长,不会冲突就行。第二个就是每个保存在memcache中的数据不要超过1MB。第三个就是开启一个Memcache进程设置内存不要太多也不 要太少,按照自己合适设置就行,尽量最大程度提高对硬件的使用,同样可以采取在一台服务器上开启多个memcached来分担一个memcached并发 链接的压力。更多技巧在实际使用长慢慢去总结发现,会发现其实memcahe虽然简单,但是很好用。

本文总的就是发现一些简单的东西,可以通过自主扩展的方式来发现更多有趣实用的功能,我想,这就是开源产品的魅力所在吧。欢迎提出批评或者是更好的实现方式。
  评论这张
 
阅读(1236)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018