Listening to the Words

mysql高可扩展高可用知识

知识点

  • 分区表的原理
  • 分库表的原理
  • mysql的复制原理及负载均衡

分区分表的原理

对于用户而言,分区表是一个独立的逻辑表,但是底层mysql将其分成了多个物理子表.每哥分区表都会使用一个独立的表文件

工作原理

创建表时,使用partition by 子句定义每个分区存放的数据,执行查询时,优化器会根据定义过滤那些不需要的数据分区,这样查询只需要所需数据坐在的分区即可.

使用场景
– 表非常大,无法全部存在内存,或者只在表的最后有热点数据,其他数据都是历史数据
– 分区表的数据更容易维护,可以对独立的分区进行独立的操作
– 分区表的数据可以分布在不同的机器上,从而高效使用资源

限制

  • 一个表最多只能有1024个分区
  • 5.1 版本中,分期表表达式必须是整数,5.5可以使用列分区
  • 分区表中如果包含主键索引和唯一索引,他们必须包含进来
  • 分区表中无法使用外键约束
  • 需要对现有表的结构进行修改
  • 所有分区都必须使用相同的存储引擎
  • 某系存储引擎不支持分区

分库分表的原理

工作原理

通过一些HASH算法或者工具实现将一些数据表垂直或者水平进行物理切分

使用场景

  • 单表记录条数达到百万或者千万级别时
  • 解决表锁的问题

分表方式

水平分割
表很大,分割后可以降低在查询时需要读的数据和索引的页数,同时也降低了索引的层数,提高查询速度

使用场景
– 表中的数据本身就有独立性,例如表中分别记录各个地区的数据或者不同时期的数据,特别是有些数据常用,有些数据不常用.
– 需要把数据存放在多个介质上

水平切分的缺点

  • 给应用增加复杂度,通常查询时需要多个表名,查询所有数据都需UNION操作

    垂直分表
    把主键和一些列放在一个表,然后把主键和另外的列放在另一个表中

使用场景

  • 如果一个表中某些列常用,而另外一些列不常用
  • 可以使数据行变小,一个数据页能存储更多数据,查询时减少I/O次数

垂直切分的缺点
– 管理冗余列,查询所有数据都需要JOIN操作

分表缺点

有些分表的策略基于应用层的逻辑算法,一旦逻辑算法改变,整个分表逻辑都会改变,扩展性较差

对于应用层来说,逻辑算法无疑增加开发成本

复制原理及负载均衡

mysql主从复制解决的问题

数据分布: 随意停止或者开始复制,并在不同地理位置分布数据备份
负载均衡: 降低单个服务器的压力
高可用和故障切换:帮助应用程序避免单点失败
升级测试:可以使用更高版本的mysql作为从库

点赞