No
sql在2010年风生水起,大大小小的Web
站点在追求高
性能高可靠性方面,不由自主都选择了No
sql技术作为优先考虑的方面。今年伊始,InfoQ
中文站有幸邀请到凤凰网的孙立先生,为大家
分享他之于No
sql方面的经验和体会。 非常荣幸能受邀在InfoQ开辟这样一个关于No
sql的专栏,InfoQ是我非常尊重的一家技术媒体,同时我也希望借助InfoQ,在国内推动No
sql的发展,希望跟我一样有兴趣的朋友加入进来。这次的No
sql专栏系列将先整体介绍No
sql,然后介绍如何把No
sql运用到自己的项目中合适的场景中,还会适当地分析一些成功案例,希望有成功使用No
sql经验的朋友给我提供一些线索和信息。 No
sql概念 随着web2.0的
快速发展,非关系型、分布式数据存储得到了
快速的发展,它们不保证关系数据的ACID特性。No
sql概念在2009年被提了出来。No
sql最常见的解释是“non-relational”,“Not Only
sql”也被很多人接受。(“No
sql”一词最早于1998年被用于一个轻量级的关系
数据库的名字。) No
sql被我们用得最多的当数key-value存储,当然还有其他的文档型的、列存储、图型
数据库、xml
数据库等。在No
sql概念提出之前,这些
数据库就被用于各种系统当中,但是却很少用于web互联网应用。比如cdb、qdbm、bdb
数据库。 传统关系
数据库的瓶颈 传统的关系
数据库具有不错的
性能,高稳定型,久经历史考验,而且使用简单,
功能强大,同时也积累了大量的成功案例。在互联网领域,
MysqL成为了绝对靠前的王者,毫不夸张的说,
MysqL为互联网的发展做出了卓越的贡献。 在90年代,一个网站的访问量一般都不大,用单个
数据库完全可以轻松应付。在那个时候,更多的都是静态网页,动态交互类型的网站不多。 到了最近10年,网站开始
快速发展。火爆的论坛、
博客、sns、微博逐渐引领web领域的潮流。在初期,论坛的流量其实也不大,如果你接触网络比较早,你可能还记得那个时候还有文本型存储的论坛程序,可以想象一般的论坛的流量有多大。 Memcached+
MysqL 后来,随着访问量的上升,几乎大部分使用
MysqL架构的网站在
数据库上都开始出现了
性能问题,web程序不再仅仅专注在
功能上,同时也在追求
性能。程序员们开始大量的使用缓存技术来缓解
数据库的压力,优化
数据库的结构和索引。开始比较流行的是通过
文件缓存来缓解
数据库压力,但是当访问量继续增大的时候,多台web机器通过
文件缓存不能共享,大量的小
文件缓存也带了了比较高的IO压力。在这个时候,Memcached就自然的成为一个非常时尚的技术产品。 Memcached作为一个独立的分布式的缓存服务器,为多个web服务器提供了一个共享的高
性能缓存服务,在Memcached服务器上,又发展了根据hash算法来进行多台Memcached缓存服务的扩展,然后又出现了一致性hash来
解决增加或减少缓存服务器导致重新hash带来的大量缓存失效的弊端。当时,如果你去面试,你说你有Memcached经验,肯定会加分的。
MysqL主从读写分离 由于
数据库的写入压力
增加,Memcached只能缓解
数据库的读取压力。读写集中在一个
数据库上让
数据库不堪重负,大部分网站开始使用主从复制技术来达到读写分离,以提高读写
性能和读库的可扩展性。
MysqL的master-slave模式成为这个时候的网站标配了。 分表分库 随着web2.0的继续高速发展,在Memcached的高速缓存,
MysqL的主从复制,读写分离的基础之上,这时
MysqL主库的写压力开始出现瓶颈,而数据量的持续猛增,由于MyISAM使用表锁,在高并发下会出现严重的锁问题,大量的高并发
MysqL应用开始使用InnoDB引擎代替MyISAM。同时,开始流行使用分表分库来缓解写压力和数据增长的扩展问题。这个时候,分表分库成了一个热门技术,是面试的热门问题也是业界讨论的热门技术问题。也就在这个时候,
MysqL推出了还不太稳定的表分区,这也给技术实力一般的公司带来了希望。虽然
MysqL推出了
MysqL Cluster集群,但是由于在互联网几乎没有成功案例,
性能也不能满足互联网的要求,只是在高可靠性上提供了非常大的保证。
MysqL的扩展性瓶颈 在互联网,大部分的
MysqL都应该是IO密集型的,事实上,如果你的
MysqL是个
cpu密集型的话,那么很可能你的
MysqL设计得有
性能问题,需要优化了。大数据量高并发环境下的
MysqL应用开发越来越复杂,也越来越具有技术挑战性。分表分库的规则把握都是需要经验的。虽然有像淘宝这样技术实力强大的公司开发了透明的中间件层来
屏蔽开发者的复杂性,但是避免不了整个架构的复杂性。分库分表的子库到一定阶段又面临扩展问题。还有就是需求的变更,可能又需要一种新的分库方式。
MysqL数据库也经常存储一些大文本字段,导致
数据库表非常的大,在做
数据库恢复的时候就导致非常的慢,不容易
快速恢复
数据库。比如1000万4KB大小的文本就接近40GB的大小,如果能把这些数据从
MysqL省去,
MysqL将变得非常的小。 关系
数据库很强大,但是它并不能很好的应付所有的应用场景。
MysqL的扩展性差(需要复杂的技术来实现),大数据下IO压力大,表结构更改困难,正是当前使用
MysqL的开发人员面临的问题。 NO
sql的优势 易扩展 No
sql数据库种类繁多,但是一个共同的特点都是去掉关系
数据库的关系型特性。数据之间无关系,这样就非常容易扩展。也无形之间,在架构的层面上带来了可扩展的能力。 大数据量,高
性能 No
sql数据库都具有非常高的读写
性能,尤其在大数据量下,同样表现优秀。这得益于它的无关系性,
数据库的结构简单。一般
MysqL使用Query Cache,每次表的更新Cache就失效,是一种大粒度的Cache,在针对web2.0的交互频繁的应用,Cache
性能不高。而No
sql的Cache是记录级的,是一种细粒度的Cache,所以No
sql在这个层面上来说就要
性能高很多了。 灵活的数据模型 No
sql无需事先为要存储的数据建立字段,随时可以存储
自定义的数据格式。而在关系
数据库里,增删字段是一件非常麻烦的事情。如果是非常大数据量的表,
增加字段简直就是一个噩梦。这点在大数据量的web2.0时代尤其明显。 高可用 No
sql在不太影响
性能的情况,就可以方便的实现高可用的架构。比如Cassandra,HBase模型,通过复制模型也能实现高可用。 总结 No
sql数据库的出现,弥补了关系数据(比如
MysqL)在某些方面的不足,在某些方面能极大的节省开发成本和维护成本。
MysqL和No
sql都有各自的特点和使用的应用场景,两者的紧密结合将会给web2.0的
数据库发展带来新的思路。让关系
数据库关注在关系上,No
sql关注在存储上。
原文链接:/nosql/204108.html