提到过shared_buffers是可以配置的,也给出了配置方法,但是配置多大才合理。网上资料众说纷纭,有的说总RAM的10%~15%,有的说是30~45%,有的很具体,说8G内存情况下512M是合理的。本文通过shared buffer相关的统计量和状态信息,希望可以加深对shared buffer的理解,同时给出大家一点启发,如果设定shared buffer的大小。
Postgresql提供了pg_buffercache来帮助我们获取shared buffer的状态,这个扩展展示了每一个shared buffer的信息。
首先是安装,首先要编译contrib/pg_buffercache目录下的内容,我比较懒,将整个contrib都编译了。然后通过执行:
createextension pg_buffercache;
利用这个pg_buffercache,可以得到很多的有用的统计信息:比如按照dirty和usagecount进行分类,统计下shared buffers中相关信息
selectusagecount,count(*)frompg_buffercache
groupbyisdirtyorder;
usagecount||isdirty
------------+-------+---------
0|119|f
1|84|f
2|91|f
3| 11|f
4| 131|f
5|360|f
0| 41|t
1| 86|t
2| 44|t
3| 22|t
4|16|t
5|19|t
(12rows)
如果你的shared buffer大多数的usagecount是0或者1,你就可以尝试减少你的shared buffer,具体减少到多少,可以分析缓存换粗命中率。
OK终于到了缓存命中率。shared buffer本质也是缓存,既然是缓存,分析缓存性能的指标不外乎就是命中率。何为命中率呢?
如果你访问relation的某个8K block,你调用BufferAlloc,发现你要找的block正好在shared buffers中(hash查找中找到了对应的block),这叫命中,英文叫做hit,如果你要找的block不在shared buffer中,这叫缺失 ,英文为miss(注意,对于Postgresql,miss虽然会发生read,可是不一定发生磁盘读写,因为还有OS的cache,也许落在了OS的cache中,从而不需要触发磁盘IO)。衡量缓存设计的优劣的标准不外乎就是high hit,and low miss。如何查看当前数据库的命中情况呢?
Postgresql提供了一些统计视图pg_stat_database,里面有好多统计信息,今天对我们关系的就是blks_read和blks_hit,顾名思义,blks_reads表示没命中,miss,需要read的那些alloc,而blks_hit表示命中的那些Alloc。
命中率 = hit/(hit+miss)
select blks_read
blks_hit::numeric/(blks_read+blks_hitasratio
from pg_stat_database
where datname='manu_db';
这个基本表达了当前数据库miss 和hit情况,计算了命中率,但是这个包括了Postgresql系统表的一些信息,并且统计信息略显粗略,我们可以更具体的查看: 这就需要用到了pg_statio_user_tables,这个也是系统提供统计信息的一个view,废话不多说:
SELECT(sum(heap_blks_hit+(heap_blks_readASTABLE_CNTround*100asTABLE_RATIO(idx_blks_hit(idx_blks_readASINDEX_CNTasINDEX_RATIO(toast_blks_hit(toast_blks_readASTOAST_CNTasTOAST_RATIO(tidx_blks_hit(tidx_blks_readASTOASIDX_CNTasTOASTIDX_RATIO
FROMpg_statio_user_tables;
当然了,某些清空下,用户表中并没有idx或者toast,上述语句可能会报错division by zero。去除相应的统计即可。输出的含义很明显了,就是分别统计table,inx等各个部分的命中率。
有些时候,我们不仅关心总的命中率,还关心各个relation各自的命中率情况,我们依然用pg_statio_user_tables,只不过,我们不再累加了,如下面的例子:
SELECTrelnameheap_blks_hit+heap_blks_read)
FROM pg_statio_user_tables
WHERE heap_blks_read>0
ORDERBY2DESC;
当然了,如果需要index的统计,只需要将上面sql中的heap替换idx即可。 最后,很多资料说这个缓存命中率不可低于99%,如果低于了99%,表明,cache效率太低了,需要增大shared buffer。总之了,当你的shared buffer命中率太低,比如60%,基本就需要检查下你配置的shared buffers是否太小了,导致你cache利用率如此之低。 原文链接:https://www.f2er.com/postgresql/194715.html