https://www.facebook.com/groups/616369245163622/permalink/1291308604336346/
這篇文章別人分享給我的,內容大致正確。
只是,不想讓大家知其然而不知其所以然,所以上浮一下:
只是,不想讓大家知其然而不知其所以然,所以上浮一下:
>表存储引擎必须使用InnoDB
在今天2018下,除非你的資料庫100%read only只作數據分析用途,在99.99情況下你都不應該還去使用上古的myisam。
而tokudb是有patent的,而且其數據結構怎看都會發生hotspot的。(又是跑份一流,實務九流)
>表字符集默认使用utf8,必要时候使用utf8mb4
utf8和utf8mb4是mysql的智障早年留下來的問題……
之前cpu / harddisk資源不足時,mysql覺得4-bytes utf8字符非常少用嘛,便白目地讓mysql中「utf8」只支持到3-byte字符,要完整的utf8便要utf8mb4。
大堆新手看見utf8便選下去,然後人名啊地方字啊一堆常用的4-byte unicode便錯誤掉……
所以,2018今天,請直接用utf8mb4,別用utf8
>禁止使用存储过程,视图,触发器,Event
我在公司時,已經說了:
除非要做audit log,或是傳說中的database schema refactoring
否則嚴禁trigger和view
除非要做audit log,或是傳說中的database schema refactoring
否則嚴禁trigger和view
stored procedure看情況,在高流量時有時是不能避免的。
(這一部份要說明原因太長,會另開文章說明)
(這一部份要說明原因太長,會另開文章說明)
>表必须有主键,推荐使用UNSIGNED整数为主键
如果有一個table沒有Primary Key(PK),而建立這table的不是junior developer,個人建議是給warning letter或是直接開除的,因為這是非常嚴重的過失。(笑)
另外,在mysql / mariadb的世界,所謂的secondary index(即是一般人口中所說的index)其實是一棵B-tree,其leaf-node是存了indexed column --> PK的mapping。
所以你的PK所用的bytes越多,你的secondary index也會越大體積。
(postgresql / oracle的走向是完全另一派的,所以pg / oracle是不建議用auto-increment,而應該用natural key的)
(postgresql / oracle的走向是完全另一派的,所以pg / oracle是不建議用auto-increment,而應該用natural key的)
>禁止使用外键,如果要保证完整性,应由应用程式实现
個人看法是:
Foreign Key(FK)對效能影響輕微。
除非你是打算做social media(例子:facebook)這種對數據一致性非常低,但是流量非常大的系統。否則,2018年的角度來看,不值得為了那一點點的效能而不建FK。
Foreign Key(FK)對效能影響輕微。
除非你是打算做social media(例子:facebook)這種對數據一致性非常低,但是流量非常大的系統。否則,2018年的角度來看,不值得為了那一點點的效能而不建FK。
另外,如果沒有FK,數據一致性便100%落在app. layer上。一旦app. layer有bug而你又沒建FK,讓你的數據弄髒了,你隨時要花上以星期計的工作天來對比資料的。
在超高流量的系統,全都是走nosql的,沒有transaction也沒有FK,但是還是一句:「先求有,再求好,先把產品快速地推上市場賣錢,有了流量再來想怎面對大流量吧。」
(註:facebook和uber的主資料庫是mysql也好,但是他們用法是把mysql當成nosql的data node來用,這場景下的mysql不算是RDBMS)
(註:facebook和uber的主資料庫是mysql也好,但是他們用法是把mysql當成nosql的data node來用,這場景下的mysql不算是RDBMS)
>使用varchar(20)存储手机号,不要使用整数
這是涉及了另一個概念:
在RDBMS中,1NF要求column中的值都應該是atomic(不可分拆)的。
(註:array / json這堆全是違反了1NF耶~)
在RDBMS中,1NF要求column中的值都應該是atomic(不可分拆)的。
(註:array / json這堆全是違反了1NF耶~)
區碼這些應該是另外存到country_code這一個column的。
>互联网高并发业务,太多索引会影响写性能
oracle說過:每增加一個secondary index,你的throughout便降30%(我忘了是降到30%還是降30%了XD)
一個好的OLTP系統,大部份操作都應該以PK來拿資料的。
一個好的OLTP系統,大部份操作都應該以PK來拿資料的。
>非必要不要进行JOIN查询,如果要进行JOIN查询,被JOIN的字段必须类型相同,并建立索引
join本身不慢,笨蛋用什麼都會慢。
另外一句:我會說mysql / mariadb很爛,是因為其query optimizer能力非常弱,對比oracle和postgresql的持續飛躍性成長。mysql / mariadb到了今天還是沒法有效地做到subquery unnesting,所以在mysql / mariadb請非常小心地用subquery。
另外一句:我會說mysql / mariadb很爛,是因為其query optimizer能力非常弱,對比oracle和postgresql的持續飛躍性成長。mysql / mariadb到了今天還是沒法有效地做到subquery unnesting,所以在mysql / mariadb請非常小心地用subquery。
>同一个字段上的OR必须改写问IN,IN的值必须少于50个
這是關乎query optimizer問題,還是一句:mysql的query parser和optimizer,對比postgresql和oracle的,其能力是幼稚園級別的。
如果你的in內有超過50個值,請先把這些值開一個temp table,用insert丟進去,然後再做joining。
https://mp.weixin.qq.com/s/YfCORbcCX1hymXBCrZbAZg
一、基础规范
- 表存储引擎必须使用InnoDB
- 表字符集默认使用utf8,必要时候使用utf8mb4
解读:
(1)通用,无乱码风险,汉字3字节,英文1字节
(2)utf8mb4是utf8的超集,有存储4字节例如表情符号时,使用它
- 禁止使用存储过程,视图,触发器,Event
解读:
(1)对数据库性能影响较大,互联网业务,能让站点层和服务层干的事情,不要交到数据库层
(2)调试,排错,迁移都比较困难,扩展性较差
- 禁止在数据库中存储大文件,例如照片,可以将大文件存储在对象存储系统,数据库中存储路径
- 禁止在线上环境做数据库压力测试
- 测试,开发,线上数据库环境必须隔离
二、命名规范
- 库名,表名,列名必须用小写,采用下划线分隔
解读:abc,Abc,ABC都是给自己埋坑
- 库名,表名,列名必须见名知义,长度不要超过32字符
解读:tmp,wushan谁TM知道这些库是干嘛的
- 库备份必须以bak为前缀,以日期为后缀
- 从库必须以-s为后缀
- 备库必须以-ss为后缀
三、表设计规范
- 单实例表个数必须控制在2000个以内
- 单表分表个数必须控制在1024个以内
- 表必须有主键,推荐使用UNSIGNED整数为主键
潜在坑:删除无主键的表,如果是row模式的主从架构,从库会挂住
- 禁止使用外键,如果要保证完整性,应由应用程式实现
解读:外键使得表之间相互耦合,影响update/delete等SQL性能,有可能造成死锁,高并发情况下容易成为数据库瓶颈
- 建议将大字段,访问频度低的字段拆分到单独的表中存储,分离冷热数据
解读:具体参加《如何实施数据库垂直拆分》
四、列设计规范
- 根据业务区分使用tinyint/int/bigint,分别会占用1/4/8字节
- 根据业务区分使用char/varchar
解读:
(1)字段长度固定,或者长度近似的业务场景,适合使用char,能够减少碎片,查询性能高
(2)字段长度相差较大,或者更新较少的业务场景,适合使用varchar,能够减少空间
- 根据业务区分使用datetime/timestamp
解读:前者占用5个字节,后者占用4个字节,存储年使用YEAR,存储日期使用DATE,存储时间使用datetime
- 必须把字段定义为NOT NULL并设默认值
解读:
(1)NULL的列使用索引,索引统计,值都更加复杂,MySQL更难优化
(2)NULL需要更多的存储空间
(3)NULL只能采用IS NULL或者IS NOT NULL,而在=/!=/in/not in时有大坑
- 使用INT UNSIGNED存储IPv4,不要用char(15)
- 使用varchar(20)存储手机号,不要使用整数
解读:
(1)牵扯到国家代号,可能出现+/-/()等字符,例如+86
(2)手机号不会用来做数学运算
(3)varchar可以模糊查询,例如like ‘138%’
- 使用TINYINT来代替ENUM
解读:ENUM增加新值要进行DDL操作
五、索引规范
- 唯一索引使用uniq_[字段名]来命名
- 非唯一索引使用idx_[字段名]来命名
- 单张表索引数量建议控制在5个以内
解读:
(1)互联网高并发业务,太多索引会影响写性能
(2)生成执行计划时,如果索引太多,会降低性能,并可能导致MySQL选择不到最优索引
(3)异常复杂的查询需求,可以选择ES等更为适合的方式存储
- 组合索引字段数不建议超过5个
解读:如果5个字段还不能极大缩小row范围,八成是设计有问题
- 不建议在频繁更新的字段上建立索引
- 非必要不要进行JOIN查询,如果要进行JOIN查询,被JOIN的字段必须类型相同,并建立索引
解读:踩过因为JOIN字段类型不一致,而导致全表扫描的坑么?
- 理解组合索引最左前缀原则,避免重复建设索引,如果建立了(a,b,c),相当于建立了(a), (a,b), (a,b,c)
六、SQL规范
- 禁止使用select *,只获取必要字段
解读:
(1)select *会增加cpu/io/内存/带宽的消耗
(2)指定字段能有效利用索引覆盖
(3)指定字段查询,在表结构变更时,能保证对应用程序无影响
- insert必须指定字段,禁止使用insert into T values()
解读:指定字段插入,在表结构变更时,能保证对应用程序无影响
- 隐式类型转换会使索引失效,导致全表扫描
- 禁止在where条件列使用函数或者表达式
解读:导致不能命中索引,全表扫描
- 禁止负向查询以及%开头的模糊查询
解读:导致不能命中索引,全表扫描
- 禁止大表JOIN和子查询
- 同一个字段上的OR必须改写问IN,IN的值必须少于50个
- 应用程序必须捕获SQL异常
解读:方便定位线上问题
说明:本军规适用于并发量大,数据量大的典型互联网业务,可直接带走参考,不谢。
军规练习:为什么下列SQL不能命中phone索引?
select uid from user where phone=13811223344