特性调优,CPU开销分析

一. 概述

  上次在介绍性能调优中讲到了I/O的支付查看及爱抚,本次介绍CPU的支出及护卫,
在调优方面是可以从五个维度去发现问题如I/O,CPU, 
内存,锁等,不管从哪个维度去化解,都能达标调优的效能,因为sql
server系统作为一个全部性,它都是严密相连的,例如:解决了sql语句中I/O开销较多的问题,这对应的CPU开销也会削减,反之解决了CPU开销最多的,那对应I/O开销也会回落。解决I/O开销后CPU耗时也回落,是因为CPU下的Worker线程需要扫描I/O页数就少了,出现的资源锁的堵截也裁减了,具体可参看cpu的原理。

  下面sql语句的dmv:sys.dm_exec_query_stats和sys.dm_exec_sql_text
已经在上篇”sql server 性能调优 I/O开销分析“中有讲到。

--查询编译以来 cpu耗时总量最多的前50条(Total_woker_time)
SELECT TOP 50
    total_worker_time/1000 AS [总消耗CPU 时间(ms)],
    execution_count [运行次数],
    qs.total_worker_time/qs.execution_count/1000 AS [平均消耗CPU 时间(ms)],
    last_execution_time AS [最后一次执行时间],
    max_worker_time /1000 AS [最大执行时间(ms)],
    SUBSTRING(qt.text,qs.statement_start_offset/2+1, 
        (CASE WHEN qs.statement_end_offset = -1 
        THEN DATALENGTH(qt.text) 
        ELSE qs.statement_end_offset END -qs.statement_start_offset)/2 + 1) 
    AS [使用CPU的语法], qt.text [完整语法],
    qt.dbid, dbname=db_name(qt.dbid),
    qt.objectid,object_name(qt.objectid,qt.dbid) ObjectName
FROM sys.dm_exec_query_stats qs WITH(nolock)
CROSS apply sys.dm_exec_sql_text(qs.sql_handle) AS qt
WHERE execution_count>1
ORDER BY  total_worker_time DESC

查询如下图所示,显示CPU耗时总量最多的前50条

997755.com澳门葡京 1

在名次第38条,拿出耗时的sql脚本来分析,发现未走索引。如下图

997755.com澳门葡京 2

SELECT [PO_NO],[Qty] FROM [ORD_PurchaseLine] WITH(NOLOCK) WHERE ([PO_NO] IN (' ')) 

997755.com澳门葡京 3

一.概述

  IO 内存是sql
server最要紧的资源,数据从磁盘加载到内存,再从内存中缓存,输出到应用端,在sql
server
内存初探中有介绍。在知道了sqlserver内存原理后,就能更好的解析I/O开销,从而进步数据库的总体性能。
在生育条件下数据库的sqlserver服务启动后一个星期,就足以因而dmv来分析优化。在I/O分析这块可以从物理I/O和内存I/O二方面来分析,
重点分析应在内存I/O上,可能从多个维度来分析,比如从sql
server服务启动以来
历史I/O开销总量分析,自实施计划编译以来举办次数总量分析,平均I/0次数分析等。

  sys.dm_exec_query_stats:重回缓存的查询计划,缓存计划中的每个查询语句在该视图中对应一行。当sql
server工作负荷过重时,该dmv也有可以总结不正确。倘使sql
server服务重启缓存的数额将会清掉。这个dmv包括了太多的音讯像内存扫描数,内存空间数,cpu耗时等,具体查看msdn文档。

  sys.dm_exec_sql_text:重回的 SQL
文本批处理,它是由指定sql_handle,其中的text列是查询的文书。

1.1 依照物理读的页面数排序 前50名

SELECT TOP 50
 qs.total_physical_reads,qs.execution_count,
 qs.total_physical_reads/qs.execution_count AS [avg I/O],
 qs. creation_time,
 qs.max_elapsed_time,
 qs.min_elapsed_time,
 SUBSTRING(qt.text,qs.statement_start_offset/2,
 (CASE WHEN qs.statement_end_offset=-1
 THEN LEN(CONVERT(NVARCHAR(max),qt.text))*2
 ELSE qs.statement_end_offset END -qs.statement_start_offset)/2) AS query_text,
 qt.dbid,dbname=DB_NAME(qt.dbid),
 qt.objectid,
 qs.sql_handle,
 qs.plan_handle
 from sys.dm_exec_query_stats qs
 CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) AS qt
 ORDER BY qs.total_physical_reads DESC

  如下图所示:

  total_physical_reads:计划自编译后在举行期间所实施的物理读取总次数。

  execution_count :计划自上次编译以来所执行的次数。

997755.com澳门葡京,  [avg I/O]:    平均读取的物理次数(页数)。

  creation_time:编译计划的时间。 

        query_text:执行计划对应的sql脚本

       前面来概括所在的数据库ID:dbid,数据库名称:dbname

997755.com澳门葡京 4

 1.2 依据逻辑读的页面数排序 前50名

SELECT TOP 50
 qs.total_logical_reads,
 qs.execution_count,
  qs.max_elapsed_time,
 qs.min_elapsed_time,
 qs.total_logical_reads/qs.execution_count AS [AVG IO],
 SUBSTRING(qt.text,qs.statement_start_offset/2,
 (CASE WHEN qs.statement_end_offset=-1 
 THEN LEN(CONVERT(NVARCHAR(max),qt.text)) *2
  ELSE qs.statement_end_offset END -qs.statement_start_offset)/2) 
  AS query_text,
 qt.dbid,
 dbname=DB_NAME(qt.dbid),
 qt.objectid,
 qs.sql_handle,
  creation_time,
 qs.plan_handle
 from sys.dm_exec_query_stats qs
 CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) AS qt
 ORDER BY qs.total_logical_reads DESC

正如图所示:

997755.com澳门葡京 5

  通过地点的逻辑内存截图来大概分析下:

  从内存扫描总量上看最多的是8311268次页扫描,自进行编译后运行t-sql脚本358次,这里的耗时是皮秒为单位包括最大耗时和纤维耗时,平均I/O是23215次(页),该语句文本是一个update
修改,该表数据量大没有完全走索引(权衡后不对该语句做索引覆盖),但推行次数少,且每一趟执行时间是非工作时间,即使扫描开销大,但从未影响白天客户使用。

  从实施次数是有一个43188次, 内存扫描总量排行39位。该语句固然只有815条,但推行次数过多,如里服务器有压力足以优化,一般是该语句没有走索引。把公文拿出去如下

SELECT  Count(*)  AS TotalCount FROM [MEM_FlagshipApply]
 WITH(NOLOCK) Where (((([Status] = 2) AND ([IsDeleted] = 1)) AND ([MemType] = 0)) AND ([MEMID] <> 6))

下边两图一个是分析该语句的执行计划,sqlserver指示缺乏索引,另一个是i/o总括扫描了80次。

997755.com澳门葡京 6

997755.com澳门葡京 7

 新建索引后在来看看

 CREATE NONCLUSTERED INDEX ix_1
ON [dbo].[MEM_FlagshipApply] ([Status],[IsDeleted],[MemType],[MEMID])

  997755.com澳门葡京 8

   
  997755.com澳门葡京 9

 

 一.  概述

  这一次介绍实例级别资源等待LCK类型锁的等候时间,关于LCK锁的介绍可参考
“sql server
锁与工作拨云见日”。下边仍然采纳sys.dm_os_wait_stats
来查看,并找出耗时最高的LOK锁。

select wait_type,
waiting_tasks_count,
wait_time_ms ,
max_wait_time_ms,
signal_wait_time_ms
from sys.dm_os_wait_stats
where wait_type like 'LCK%' 
order by  wait_time_ms desc

 查出如下图所示:

997755.com澳门葡京 10

   1.  解析介绍

   重点介绍多少个耗时最高的锁含义:

    LCK_M_IX:
正在等候获取意向排它锁。在增删改查中都会有涉嫌到意向排它锁。
  LCK_M_U: 正在等候获取更新锁。 在修改删除都会有关系到更新锁。
  LCK_M_S:正在等候获取共享锁。
紧要是询问,修改删除也都会有关联到共享锁。
  LCK_M_X:正在等候获取排它锁。在增删改中都会有涉及到排它锁。
  LCK_M_SCH_S:正在等候获取架构共享锁。防止其他用户修改如表结构。
  LCK_M_SCH_M:正在等待获取架构修改锁 如添加列或删除列
这个时候利用的架构修改锁。

      上面表格是总计分析

锁类型 锁等待次数 锁等待总时间(秒) 平均每次等待时间(毫秒) 最大等待时间
LCK_M_IX 26456 5846.871 221 47623
LCK_M_U 34725 425.081 12 6311
LCK_M_S 613 239.899 391 4938
LCK_M_X 4832 77.878 16 4684
LCK_M_SCH_S 397 77.832 196 6074
LCK_M_SCH_M 113 35.783 316 2268

  注意: wait_time_ms
时间里,该时间表包括了signal_wait_time_ms信号等待时间,也就是说wait_time_ms不仅囊括了申请锁需要的等候时间,还包括了线程Runnable
的信号等待。通过那个结论也能查获max_wait_time_ms
最大等待时间不仅仅只是锁申请需要的等候时间。

 

2. 重现锁等待时间

--  重置
DBCC SQLPERF ('sys.dm_os_wait_stats', CLEAR);  

 997755.com澳门葡京 11

--  会话1 更新SID=92525000, 未提交
begin tran 
update [dbo].[PUB_StockTestbak] set model='mmtest' where sid=92525000

-- 会话2 查询该ID, 由于会话1更新未提交 占用x锁,这里查询将阻塞
select * from [PUB_StockTestbak] where sid=92525000

   手动废除会话2的询问,占用时间是61秒,如下图:

997755.com澳门葡京 12

  再来总括资源等待LCK,如下图 :

997755.com澳门葡京 13

  总括:可以观察资源等待LCK的总括音讯仍然那么些不易的。所以找出性能消耗最高的锁类型,去优化是很有必不可少。相比有指向的解决阻塞问题。

3. 导致等待的光景和原因

现象:

  (1)  用户并发越问越多,性能更是差。应用程序运行很慢。

  (2)  客户端平日接到错误 error 1222 已领先了锁请求超时时段。

  (3)  客户端日常接到错误 error 1205 死锁。

  (4)  某些特定的sql 不能及时赶回应用端。

原因:

  (1) 用户并发访问越多,阻塞就会越来越多。

  (2) 没有客观采用索引,锁申请的多寡多。

特性调优,CPU开销分析。  (3) 共享锁没有采用nolock, 查询带来阻塞。 好处是必免脏读。

  (4) 处理的多寡过大。比如:两回改进上千条,且并发多。

  (5) 没有拔取分外的事务隔离级别,复杂的事务处理等。

4.  优化锁的等候时间

   在优化锁等待优化方面,有成千上万切入点 像前几篇中有介绍
CPU和I/O的耗时排查和拍卖方案。 大家也得以友善写sql来监听锁等待的sql
语句。可以领会哪个库,哪个表,哪条语句发生了堵截等待,是什么人过不去了它,阻塞的光阴。

  从下面的平均每趟等待时间(飞秒),最大等待时间
作为参考可以设置一个阀值。 通过sys.sysprocesses 提供的信息来计算,
关于sys.sysprocesses使用可参照”sql server 性能调优
从用户会话状态分析”。
通过该视图
监听一段时间内的堵塞音讯。可以设置每10秒跑四遍监听语句,把阻塞与被堵塞存储下来。

   思想如下:

-- 例如 找出被阻塞会话ID 如时间上是2秒 以及谁阻塞了它的会话ID
SELECT spid,blocked #monitorlock FROM sys.sysprocesses 
where blocked>0 and    waittime>2000 

-- 通过while或游标来一行行获取临时表的 会话ID,阻塞ID,通过exec动态执行来获取sql语句文本 进行存储
exec('DBCC INPUTBUFFER('+@spid+')') 

exec('DBCC INPUTBUFFER('+@blocked+')') 

 

内存占用不太高,只占用了30个G

二. 维护注意点

  1. 
在生产数据库下,CPU耗时查询,并不限定只排查总耗时前50条,能够是前100~200条。具体看sql脚本没有没优化的内需,并不是各种表的查询都必须走索引。如:有的表不走索引时并不会觉得很耗时平均I/0次数少,表中已建的目录已有两个,增删改也多次,还有索引占用空间,这时急需权衡。 

-- 快速查看索引数量
sp_help [RFQ_PurDemandDetail]

  997755.com澳门葡京 14

 2. 毫无在劳作时间保安大表索引

   
当我们排查到有些大表缺失索引,数据在100w以上,倘若在干活时间来维护索引,不管是开创索引依然重建索引都会招致表的封堵,
这里表的响应会变慢或者直接卡死,前端应用程序直接呼吁超时。这里需要留意的。来看下新建一个索引的脚本会发现
开启了行锁与页锁(ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON)。

CREATE NONCLUSTERED INDEX [ix_createtime] ON [dbo].[PUB_Search_Log] 
(
    [CreateTime] ASC
)WITH (PAD_INDEX  = OFF, STATISTICS_NORECOMPUTE  = OFF, SORT_IN_TEMPDB = OFF,
 IGNORE_DUP_KEY = OFF, DROP_EXISTING = OFF, ONLINE = OFF, ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON) ON [PRIMARY]
GO

CPU占用100%

997755.com澳门葡京 15

997755.com澳门葡京 16


排查方向

 

一般排查都是用上面的脚本,一般会用到两个视图sys.sysprocesses ,dm_exec_sessions ,dm_exec_requests

1 USE master
2 GO
3 --如果要指定数据库就把注释去掉
4 SELECT * FROM sys.[sysprocesses] WHERE [spid]>50 --AND DB_NAME([dbid])='gposdb'
5 SELECT COUNT(*) FROM [sys].[dm_exec_sessions] WHERE [session_id]>50

看一下脚下的数据库用户连接有稍许

接下来利用下边语句看一下各项目标是否正规,是否有梗塞,这么些讲话采取了前10个最耗CPU时间的对话

SELECT TOP 10
[session_id],
[request_id],
[start_time] AS ‘最先时间’,
[status] AS ‘状态’,
[command] AS ‘命令’,
dest.[text] AS ‘sql语句’,
DB_NAME([database_id]) AS ‘数据库名’,
[blocking_session_id] AS ‘正在围堵其他会话的会话ID’,
[wait_type] AS ‘等待资源类型’,
[wait_time] AS ‘等待时间’,
[wait_resource] AS ‘等待的资源’,
[reads] AS ‘物理读次数’,
[writes] AS ‘写次数’,
[logical_reads] AS ‘逻辑读次数’,
[row_count] AS ‘重临结果行数’
FROM sys.[dm_exec_requests] AS der
CROSS APPLY
sys.[dm_exec_sql_text](der.[sql_handle]) AS dest
WHERE [session_id]>50 AND
DB_NAME(der.[database_id])=’HKBXDB’
ORDER BY [cpu_time] DESC

 

即使想看现实的SQL语句可以举办下边的SQL语句,记得在SSMS里拔取以文本格式呈现结果

–在SSMS里采取以文本格式突显结果
SELECT TOP 10
dest.[text] AS ‘sql语句’
FROM sys.[dm_exec_requests] AS der
CROSS APPLY
sys.[dm_exec_sql_text](der.[sql_handle]) AS dest
WHERE [session_id]>50
ORDER BY [cpu_time] DESC

997755.com澳门葡京 17

依傍了一部分耗CPU时间的动作

997755.com澳门葡京 18

997755.com澳门葡京 19

997755.com澳门葡京 20

 

还有查看CPU数和user
scheduler数和最大工作线程数,检查worker是否用完也足以排查CPU占用情形

1 --查看CPU数和user scheduler数目
2 SELECT cpu_count,scheduler_count FROM sys.dm_os_sys_info
3 --查看最大工作线程数
4 SELECT max_workers_count FROM sys.dm_os_sys_info

查阅机器上的享有schedulers包括user 和system
因此下面语句能够看出worker是否用完,当达到最大线程数的时候将要检查blocking了

相对而言下边这么些表
各类CPU和SQLSERVER版本组合活动配置的最大工作线程数
CPU数                 32位处理器                        64位电脑
<=4                     256                                   512
  8                        288                                   576
 16                       352                                   704
 32                       480                                   960

997755.com澳门葡京 21

1 SELECT
2 scheduler_address,
3 scheduler_id,
4 cpu_id,
5 status,
6 current_tasks_count,
7 current_workers_count,active_workers_count
8 FROM sys.dm_os_schedulers

997755.com澳门葡京 22

 

倘若SQLSERVER存在要等待的资源,那么执行下边语句就会显示出会话中有微微个worker在守候

结合[sys].[dm_os_wait_stats]视图,尽管当前SQLSERVER里面没有任何等待资源,那么下面的SQL语句不会显得其它结果

SELECT TOP 10
[session_id],
[request_id],
[start_time] AS ‘先导时间’,
[status] AS ‘状态’,
[command] AS ‘命令’,
dest.[text] AS ‘sql语句’,
DB_NAME([database_id]) AS ‘数据库名’,
[blocking_session_id] AS ‘正在围堵其他会话的会话ID’,
der.[wait_type] AS ‘等待资源类型’,
[wait_time] AS ‘等待时间’,
[wait_resource] AS ‘等待的资源’,
[dows].[waiting_tasks_count] AS ‘当前正值进展等待的职责数’,
[reads] AS ‘物理读次数’,
[writes] AS ‘写次数’,
[logical_reads] AS ‘逻辑读次数’,
[row_count] AS ‘重回结果行数’
FROM sys.[dm_exec_requests] AS der
INNER JOIN [sys].[dm_os_wait_stats] AS dows
ON der.[wait_type]=[dows].[wait_type]
CROSS APPLY
sys.[dm_exec_sql_text](der.[sql_handle]) AS dest
WHERE [session_id]>50
ORDER BY [cpu_time] DESC

例如自己眼前履行了查询SalesOrderDetail_test表100次,由于表数据非凡多,所以SSMS需要把SQLSERVER执行的结果逐步的取走,

造成了ASYNC_NETWORK_IO等待

1 USE [AdventureWorks]
2 GO
3 SELECT * FROM dbo.[SalesOrderDetail_test]
4 GO 100

997755.com澳门葡京 23

 


问题源头

透过排查和这几天的考察气象,确定是一些表缺失索指引致,现在在这个表上扩张了目录,问题迎刃而解

997755.com澳门葡京 24

1 select * from t_AccessControl        --权限控制表权限控制
2 select * from t_GroupAccess            --用户组权限表用户组权限
3 select * from t_GroupAccessType        --用户组权限类表用户组权限类
4 select * from t_ObjectAccess        --对象权限表对象权限
5 select * from t_ObjectAccessType    --对象权限类型表对象权限类型
6 select * from t_ObjectType            --对象类型表对象类型

997755.com澳门葡京 25

查询CPU占用高的口舌

SELECT TOP 10
total_worker_time/execution_count AS avg_cpu_cost, plan_handle,
execution_count,
(SELECT SUBSTRING(text, statement_start_offset/2 + 1,
(CASE WHEN statement_end_offset = -1
THEN LEN(CONVERT(nvarchar(max), text)) * 2
ELSE statement_end_offset
END – statement_start_offset)/2)
FROM sys.dm_exec_sql_text(sql_handle)) AS query_text
FROM sys.dm_exec_query_stats
ORDER BY [avg_cpu_cost] DESC

997755.com澳门葡京 26

查询缺失索引

997755.com澳门葡京 27

1 SELECT 
2     DatabaseName = DB_NAME(database_id)
3     ,[Number Indexes Missing] = count(*) 
4 FROM sys.dm_db_missing_index_details
5 GROUP BY DB_NAME(database_id)
6 ORDER BY 2 DESC;

997755.com澳门葡京 28

997755.com澳门葡京 29

 1 SELECT  TOP 10 
 2         [Total Cost]  = ROUND(avg_total_user_cost * avg_user_impact * (user_seeks + user_scans),0) 
 3         , avg_user_impact
 4         , TableName = statement
 5         , [EqualityUsage] = equality_columns 
 6         , [InequalityUsage] = inequality_columns
 7         , [Include Cloumns] = included_columns
 8 FROM        sys.dm_db_missing_index_groups g 
 9 INNER JOIN    sys.dm_db_missing_index_group_stats s 
10        ON s.group_handle = g.index_group_handle 
11 INNER JOIN    sys.dm_db_missing_index_details d 
12        ON d.index_handle = g.index_handle
13 ORDER BY [Total Cost] DESC;

997755.com澳门葡京 30

997755.com澳门葡京 31

997755.com澳门葡京 32

定位问题后,新建非聚集索引

997755.com澳门葡京 33

1 CREATE NONCLUSTERED INDEX IX_t_AccessControl_F4 ON dbo.t_AccessControl
2 (
3     FObjectType
4 )include([FUserID], [FAccessType], [FAccessMask]) WITH( STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
5 GO
6 
7 drop index IX_t_AccessControl_F4 on t_AccessControl

997755.com澳门葡京 34

 CPU占用苏醒正常

997755.com澳门葡京 35

跟踪模板和跟踪文件下载,请使用SQL2008R2
本子:files.cnblogs.com/lyhabc/跟踪模板和trace.rar

 


总结

从多次历史经验来看,假诺CPU负载持续很高,但内存和IO都还好的话,这种情状下,首先想到的肯定是索引问题,十有八九错不了。

专注著作先导贴出的客户机器负载情形图

 997755.com澳门葡京 36

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

*
*
Website