PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询五:规划成plantree

前端之家收集整理的这篇文章主要介绍了PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询五:规划成plantree前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

话说查询selectcname,comp from test1,test2 where test1.id=test2.id;” 发送到服务器端,走查询分支exec_simple_query,先调用start_xact_command初始化了事务管理相关对象和资源,接着调用pg_parse_query,通过Lex和Yacc对传入sql语句进行词法语法解析,生成解析树。下来调用GetTransactionSnapshot方法做内存快照,然后调用pg_analyze_and_rewrite方法,进行语义分析把parsetree转换成querytree,然后对该querytree进行重写。接着调用pg_plan_queries方法,根据querytree查询规划,生成查询计划树plantree。

1

下面是对querytree进行优化并生成plantree的调用序列图。



Postgres服务进程简查之查询规划调用序列图

上图红色方框中显示pg_plan_queries方法querytree查询规划,生成查询计划树plantree的方法调用过程,大致上处理步骤是提升子连接和子查询生成最优查询路径、生成执行计划。

subquery_planner方法里都有方法pull_up_sublinks提升子连接,调用方法pull_up_subqueries提升子查询,目的是尽量合并父查询和子查询中的WHERE子句里的条件,尽量在做最耗费时间的表连接操作之前,先用约束条件把涉及到的元组数目缩到最小。接着处理表达式等,都是和前面同样的目的。

还有其中的方法inline_set_returning_functions内联返回函数方法preprocess_rowmarks预处理行标记方法expand_inherited_tables扩展集成表、方法preprocess_expression预处理表达式、方法reduce_outer_joins尽量减少外连接。

接着调用方法grouping_planner做规划处理,规划处理主要是生成路径,路径就是告诉执行器如何取到要操作的元组,这些元组可以来自一个表,也可以来自多个表,对于多个表,是按两两逐个连接完成,即转化成多个两表连接查询。举个例子,如一个查询涉及三个表ABC的连接,处理时可以先AB连接生成结果D,再DC连接得到目标结果集。这样连接的顺序就有多种,就产生了多个路径。方法query_planner生成了这些路径。然后评估代价,找出最优路径,把和最优路径对应的执行计划树plantree返回。Pg里面的代价估算采用基于成本的代价估算,本节后面会简单讨论一下这个估算方法

这个过程涉及连接算法(Hash JoinNested LoopMerge Join)、扫描算法(Seq ScanIndex ScanBitmap Scan)、分组算法(HashAggregateGroupAggregate)、排序算法等算法的选择。

这部分内容涉及到结构和处理及代码量比上节只多不少,在这就不列举了,有兴趣的根据方法调用流程图看源码吧,下面给出处理完的结果plantree结构图。



例子里查询语句对应的plantree结构图

把这个例子再重复一下:

create table test1 (ID numeric(10),cnamevarchar(30));

create table test2 (ID numeric(10),compvarchar(30));

select cname,test2 wheretest1.id=test2.id;

上面的图《例子里查询语句对应的plantree结构图》就是sql语句“select cname,test2 where test1.id=test2.id”在pg里产生的plantree

pg输出的querytree如下:

2011-11-23 06:57:39 HKT LOG: plan:

2011-11-23 06:57:39 HKT DETAIL: {PLANNEDSTMT

:commandType 1

:hasReturning false

:hasModifyingCTE false

:canSetTag true

:transientPlan false

:planTree

{HASHJOIN

:startup_cost 24.63

:total_cost 116.69

:plan_rows 2113

:plan_width 156

:targetlist (

{TARGETENTRY

:expr

{VAR

:varno 65001

:varattno 2

:vartype 1043

:vartypmod 34

:varcollid 100

:varlevelsup 0

:varnoold 1

:varoattno 2

:location 7

}

:resno 1

:resname cname

:ressortgroupref 0

:resorigtbl 16394

:resorigcol 2

:resjunk false

}

{TARGETENTRY

:expr

{VAR

:varno 65000

:varattno 1

:vartype 1043

:vartypmod 34

:varcollid 100

:varlevelsup 0

:varnoold 2

:varoattno 2

:location 13

}

:resno 2

:resname comp

:ressortgroupref 0

:resorigtbl 16397

:resorigcol 2

:resjunk false

}

)

:qual <>

:lefttree

{SEQSCAN

:startup_cost 0.00

:total_cost 16.50

:plan_rows 650

:plan_width 94

:targetlist (

{TARGETENTRY

:expr

{VAR

:varno 1

:varattno 1

:vartype 1700

:vartypmod 655364

:varcollid 0

:varlevelsup 0

:varnoold 1

:varoattno 1

:location -1

}

:resno 1

:resname <>

:ressortgroupref 0

:resorigtbl 0

:resorigcol 0

:resjunk false

}

{TARGETENTRY

:expr

{VAR

:varno 1

:varattno 2

:vartype 1043

:vartypmod 34

:varcollid 100

:varlevelsup 0

:varnoold 1

:varoattno 2

:location -1

}

:resno 2

:resname <>

:ressortgroupref 0

:resorigtbl 0

:resorigcol 0

:resjunk false

}

)

:qual <>

:lefttree <>

:righttree <>

:initPlan <>

:extParam (b)

:allParam (b)

:scanrelid 1

}

:righttree

{HASH

:startup_cost 16.50

:total_cost 16.50

:plan_rows 650

:plan_width 94

:targetlist (

{TARGETENTRY

:expr

{VAR

:varno 65001

:varattno 1

:vartype 1043

:vartypmod 34

:varcollid 100

:varlevelsup 0

:varnoold 2

:varoattno 2

:location -1

}

:resno 1

:resname <>

:ressortgroupref 0

:resorigtbl 0

:resorigcol 0

:resjunk false

}

{TARGETENTRY

:expr

{VAR

:varno 65001

:varattno 2

:vartype 1700

:vartypmod 655364

:varcollid 0

:varlevelsup 0

:varnoold 2

:varoattno 1

:location -1

}

:resno 2

:resname <>

:ressortgroupref 0

:resorigtbl 0

:resorigcol 0

:resjunk false

}

)

:qual <>

:lefttree

{SEQSCAN

:startup_cost 0.00

:total_cost 16.50

:plan_rows 650

:plan_width 94

:targetlist (

{TARGETENTRY

:expr

{VAR

:varno 2

:varattno 2

:vartype 1043

:vartypmod 34

:varcollid 100

:varlevelsup 0

:varnoold 2

:varoattno 2

:location 13

}

:resno 1

:resname <>

:ressortgroupref 0

:resorigtbl 0

:resorigcol 0

:resjunk false

}

{TARGETENTRY

:expr

{VAR

:varno 2

:varattno 1

:vartype 1700

:vartypmod 655364

:varcollid 0

:varlevelsup 0

:varnoold 2

:varoattno 1

:location 50

}

:resno 2

:resname <>

:ressortgroupref 0

:resorigtbl 0

:resorigcol 0

:resjunk false

}

)

:qual <>

:lefttree <>

:righttree <>

:initPlan <>

:extParam (b)

:allParam (b)

:scanrelid 2

}

:righttree <>

:initPlan <>

:extParam (b)

:allParam (b)

:skewTable 16394

:skewColumn 1

:skewInherit false

:skewColType 1700

:skewColTypmod 655364

}

:initPlan <>

:extParam (b)

:allParam (b)

:jointype 0

:joinqual <>

:hashclauses (

{OPEXPR

:opno 1752

:opfuncid 1718

:opresulttype 16

:opretset false

:opcollid 0

:inputcollid 0

:args (

{VAR

:varno 65001

:varattno 1

:vartype 1700

:vartypmod 655364

:varcollid 0

:varlevelsup 0

:varnoold 1

:varoattno 1

:location 41

}

{VAR

:varno 65000

:varattno 2

:vartype 1700

:vartypmod 655364

:varcollid 0

:varlevelsup 0

:varnoold 2

:varoattno 1

:location 50

}

)

:location -1

}

)

}

:rtable (

{RTE

:alias <>

:eref

{ALIAS

:aliasname test1

:colnames ("id""cname")

}

:rtekind 0

:relid 16394

:relkind r

:inh false

:inFromCl true

:requiredPerms 2

:checkAsUser 0

:selectedCols (b 9 10)

:modifiedCols (b)

}

{RTE

:alias <>

:eref

{ALIAS

:aliasname test2

:colnames ("id""comp")

}

:rtekind 0

:relid 16397

:relkind r

:inh false

:inFromCl true

:requiredPerms 2

:checkAsUser 0

:selectedCols (b 9 10)

:modifiedCols (b)

}

)

:resultRelations <>

:utilityStmt <>

:intoClause <>

:subplans <>

:rewindPlanIDs (b)

:rowMarks <>

:relationOids (o 16394 16397)

:invalItems <>

:nParamExec 0

}

2

规划器为每个sql的不同执行计划进行基于成本的代价估算,查询的总代价包括读取数据的IO代价加上各种操作的代价之和,IO代价包括顺序读取数据或索引页(seq_scan_cost)和随机读取数据页(random_scan_cost)的代价,操作代价包括处理表元组(cpu_tuple_cost)、处理比较操作(cpu_operator_cost)和处理索引元组(cpu_index_tuple_cost),因此,如果在一个表上做全表顺序扫描并执行过滤,其代价是:

Cost = seq_scan_cost*relpages + cpu_tuple_cost*reltuples +cpu_operator_cost*reltuples

其中relpagesreltuples是系统表pg_class里的字段,seq_scan_costcpu_tuple_costcpu_operator_cost是影响成本计算的参数,这些参数包括cpu_index_tuple_cost (0.005)cpu_operator_cost (0.0025)cpu_tuple_cost (0.01)random_page_cost (4.0)seq_page_cost (1.0),参数后面括号里的是默认值,这些参数值可以根据情况改变。传统上,它们以抓取顺序页的成本作为基准单位,也就是将seq_page_cost 设为 1.0 ,同时其它参数是对照它来设置的

就到这儿吧。


------------ 转载请注明出处,来自博客: blog.csdn.net/beiigang beigang.iteye.com

原文链接:https://www.f2er.com/postgresql/196371.html

猜你在找的Postgre SQL相关文章