- 浏览: 642269 次
- 性别:
- 来自: 杭州
文章分类
最新评论
-
HkEndless:
不好意思,请问这确定是回调机制吗。你的例子中只是将接口的实现类 ...
Spring CallBack回调机制介绍 -
hanmiao:
写的真乱啊,完全不知所云...
Java如何调用可执行文件和批处理命令 -
junia_1:
junia_1 写道 shock: ...
为什么要使用EJB -
junia_1:
shock:
为什么要使用EJB -
coollifer:
不错
SQL Server数据导入到Oracle中的方法
1) iostat命令
iostat 命令主要通过观察物理磁盘的活动时间以及他们的平均传输速度,监控系统输入 / 输出设备负载。根据 iostat 命令产生的报告,用户可确定一个系统配置是否平衡,并据此在物理磁盘与适配器之间更好地平衡输入 / 输出负载。 iostat 工具的主要目的是通过监控磁盘的利用率,而探测到系统中的 I/O 瓶颈。不同操作系统命令格式输出格式略有不同,管理员可以通过查看用户手册来确定它的用法。
安装 iostat
iostat命令,如果没有使用命令,则需要进行安装。
安装命令
apt-get install sysstat
deb包下载地址 (Ubuntu Server 9.10)
http://tw.archive.ubuntu.com/ubuntu/pool/main/s/sysstat/sysstat_9.0.3-2ubuntu1_amd64.deb
targz包下载地址
http://pagesperso-orange.fr/sebastien.godard/sysstat-9.1.1.tar.gz
2) sar命令
sar 命令报告 CPU 的使用情况, I/O 以及其它系统行为。 sar 命令可以收集,报告以及保存系统行为信息。以这种方式收集到的数据对于确定系统的时间周期特征和决定峰值使用时间是很有用的。但要注意的是, sar 命令自己运行时会产生相当数量的读写,因此最好在没有工作量的情况下运行 sar 统计,看看 sar 对总的统计数字有多大的影响。
2
.磁盘
I/O
性能指标
在介绍磁盘 I/O 监控命令前,我们需要了解磁盘 I/O 性能监控的指标,以及每个指标的所揭示的磁盘某方面的性能。磁盘 I/O 性能监控的指标主要包括:
1) 每秒 I/O 数( IOPS 或 tps)
对于磁盘来说,一次磁盘的连续读或者连续写称为一次磁盘 I/O, 磁盘的 IOPS 就是每秒磁盘连续读次数和连续写次数之和。当传输小块不连续数据时,该指标有重要参考意义。
2) 吞吐量( Throughput)
指硬盘传输数据流的速度,传输数据为读出数据和写入数据的和。其单位一般为 Kbps, MB/s 等。当传输大块不连续数据的数据,该指标有重要参考作用。
3) 平均 I/O 数据尺寸
平均 I/O 数据尺寸为吞吐量除以 I/O 数目,该指标对揭示磁盘使用模式有重要意义。一般来说,如果平均 I/O 数据尺寸小于 32K,可认为磁盘使用模式以随机存取为主;如果平均每次 I/O 数据尺寸大于 32K,可认为磁盘使用模式以顺序存取为主。
4) 磁盘活动时间百分比( Utilization) %util
磁盘处于活动时间的百分比,即磁盘利用率,磁盘在数据传输和处理命令(如寻道)处于活动状态。磁盘利用率与资源争用程度成正比,与性能成反比。也就是说磁盘利用率越高,资源争用就越严重,性能也就越差,响应时间就越长。一般来说,如果磁盘利用率超过 70%,应用进程将花费较长的时间等待 I/O 完成,因为绝大多数进程在等待过程中将被阻塞或休眠。
5) 服务时间( ServiceTime) svctm
指磁盘读或写操作执行的时间,包括寻道,旋转时延,和数据传输等时间。其大小一般和磁盘性能有关, CPU/ 内存的负荷也会对其有影响,请求过多也会间接导致服务时间的增加。如果该值持续超过 20ms,一般可考虑会对上层应用产生影响。
6) I/O 等待队列长度( Queue Length)
指待处理的 I/O 请求的数目,如果 I/O 请求压力持续超出磁盘处理能力,该值将增加。如果单块磁盘的队列长度持续超过 2,一般认为该磁盘存在 I/O 性能问题。需要注意的是,如果该磁盘为磁盘阵列虚拟的逻辑驱动器,需要再将该值除以组成这个逻辑驱动器的实际物理磁盘数目,以获得平均单块硬盘的 I/O 等待队列长度。
7) 等待时间( Wait Time)
指磁盘读或写操作等待执行的时间,即在队列中排队的时间。如果 I/O 请求持续超出磁盘处理能力,意味着来不及处理的 I/O 请求不得不在队列中等待较长时间。通过监控以上指标,并将这些指标数值与历史数据,经验数据以及磁盘标称值对比,必要时结合 CPU、内存、交换分区的使用状况,不难发现磁盘 I/O潜在或已经出现的问题。但如果避免和解决这些问题呢?这就需要利用到磁盘 I/O 性能优化方面的知识和技术。限于本文主题和篇幅,仅列出一些常用的优化方法供读者参考:
( 1)调整数据布局,尽量将 I/O 请求较合理的分配到所有物理磁盘中;
( 2)对于 RAID 磁盘阵列,尽量使应用程序 I/O 等于条带尺寸或者为条带尺寸的倍数。并选取合适的 RAID 方式,如 RAID10, RAID5;
( 3)增大磁盘驱动程序的队列深度,但不要超过磁盘的处理能力,否则,部分 I/O 请求会因为丢失而重新发出,这将降低性能;
( 4)应用缓存技术减少应用存取磁盘的次数,缓存技术可应用在文件系统级别或者应用程序级别;
( 5)由于多数数据库中已包括经优化后的缓存技术,数据库 I/O 宜直接存取原始磁盘分区( rawpartition)或者利用绕过文件系统缓存的 DIO 技术( direct IO);
( 6)利用内存读写带宽远比直接磁盘 I/O 操作性能优越的特点,将频繁访问的文件或数据置于内存中。
3
.
iostat
使用
[命令 :] iostat [-c|-d] [-k] [-t] [间隔描述 ] [检测次数 ] 参 数: -c : 仅显示 cpu的状态 -d : 仅显示存储设备的状态,不可以和 -c一起使用 -k : 默认显示的是读入读出的 block信息,用 -k可以改成 KB大小来显示 -t: 显示日期 -p device | ALL : device为某个设备或者某个分区,如果使用 ALL,就表示要显示所有分区和设备的信息 |
1)基本使用
$iostat-d -k 1 10
说明: 参数 -d 表示,显示设备(磁盘)使用状态; -k 某些使用 block 为单位的列强制使用 Kilobytes 为单位; 1 10 表示,数据显示每隔 1 秒刷新一次,共显示 10 次 ,每一次的统计都是上一次的统计时间到这次的统计时间之间的统计数据。
2) -x 参数
使用 -x 参数我们可以获得更多统计信息。
$iostat -d -x -k 1 10
3 ) -c 参数
获取 cpu 部分状态值
$iostat -c 1 10
4 )常见用法
$iostat -d -k 1 10
#
查看
TPS
和吞吐量信息
$iostat -d -x -k 1 10
#
查看设备使用率(
%util
)、响应时间(
await
)
$iostat -c 1 10
#
查看
cpu
状态
5)mpstat 命令
mpstat 是 MultiProcessor Statistics 的缩写,是实时系统监控工具。其报告与 CPU 的一些统计信息,这些信息存放在 /proc/stat 文件中。在多 CPUs 系统里,其不但能查看所有 CPU 的平均状况信息,而且能够查看特定 CPU 的信息。下面只介绍 mpstat 与 CPU 相关的参数, mpstat 的语法如下:
mpstat [-P {|ALL}] [internal [count]] 参数解释-P {|ALL} 表示监控哪个 CPU , cpu 在 [0,cpu 个数 -1] 中取值 internal 相邻的两次采样的间隔时间 count 采样的次数, count 只能和 delay 一起使用 |
当没有参数时, mpstat 则显示系统启动以后所有信息的平均值。有 interval 时,第一行的信息自系统启动以来的平均信息。
( 1 ) $mpstat
mpstat 不带参数时,输出为从系统启动以来的平均值。
( 2 ) $mpstat-P ALL 2 3
2 秒产生所有处理器的统计数据报告 ,统计三次,默认输出所有的处理器的统计数据;
( 3 ) $mpstat–P 0 2 3
2 秒产生 0 号处理器的统计数据报告,统计三次;
4 . iostat 相关参数说明
参数 |
英文说明 |
说明 |
rrqm/s | read request merge | 每秒进行 merge 的读操作数目。即 delta(rmerge)/s |
wrqm/s | write request merge | 每秒进行 merge 的写操作数目。即 delta(wmerge)/s |
r/s | read | 每秒完成的读 I/O 设备次数。即 delta(rio)/s |
w/s | write | 每秒完成的写 I/O 设备次数。即 delta(wio)/s |
rsec/s | read section | 每秒读扇区数。即 delta(rsect)/s |
wsec/s | write section | 每秒写扇区数。即 delta(wsect)/s |
rkB/s | read kilo byte | 每秒读 K字节数。是 rsect/s 的一半,因为每扇区大小为 512字节。 (需要计算 ) |
wkB/s | write kilo byte | 每秒写 K字节数。是 wsect/s 的一半。 (需要计算 ) |
avgrq-sz | average request size | 平均每次设备 I/O操作的数据大小 (扇区 )。 delta(rsect+wsect)/delta(rio+wio) |
avgqu-sz | average queue size | 平均 I/O队列长度。即 delta(aveq)/s/1000 (因为 aveq的单位为毫秒 ) |
await | average wait | 平均每次设备 I/O操作的等待时间 (毫秒 )。即 delta(ruse+wuse)/delta(rio+wio) |
svctm | service time | 平均每次设备 I/O操作的服务时间 (毫秒 )。即 delta(use)/delta(rio+wio) |
%util | utilty | 一秒中有百分之多少的时间用于 I/O 操作,或者说一秒中有多少时间 I/O 队列是非空的。即 delta(use)/s/1000 (因为 use的单位为毫秒 ) |
如果 %util接近 100%,说明产生的 I/O请求太多, I/O系统已经满负荷,该磁盘可能存在瓶颈, idle小于 70% IO压力就较大了 ,一般读取速度有较多的 wait。同时可以结合 vmstat( virtual memory status)查看 b参数 (等待资源的进程数 )和 wa参数 (IO等待所占用的 CPU时间的百分比 ,高过 30%时 IO压力高 )
另外还可以参考 svctm,由于它一般要小于 await (因为同时等待的请求的等待时间被重复计算了 ), svctm 的大小一般和磁盘性能有关, CPU/内存的负荷也会对其有影响,请求过多也会间接导致 svctm 的增加。 await 的大小一般取决于服务时间 (svctm) 以及 I/O 队列的长度和 I/O 请求的发出模式。如果 svctm 比较接近 await,说明 I/O 几乎没有等待时间;如果 await 远大于 svctm,说明 I/O 队列太长,应用得到的响应时间变慢,如果响应时间超过了用户可以容许的范围,这时可以考虑更换更快的磁盘,调整内核 elevator 算法,优化应用,或者升级 CPU。队列长度 (avgqu-sz)也可作为衡量系统 I/O 负荷的指标,但由于 avgqu-sz 是按照单位时间的平均值,所以不能反映瞬间的 I/O 洪水。
5 .例子 (I/O 系统 vs. 超市排队 )
举一个例子,我们在超市排队 checkout 时,怎么决定该去哪个交款台呢 ? 首当是看排的队人数, 5个人总比 20人要快吧 ? 除了数人头,我们也常常看看前面人购买的东西多少,如果前面有个采购了一星期食品的大妈,那么可以考虑换个队排了。还有就是收银员的速度了,如果碰上了连 钱都点不清楚的新手,那就有的等了。另外,时机也很重要,可能 5 分钟前还人满为患的收款台,现在已是人去楼空,这时候交款可是很爽啊,当然,前提是那过去的 5 分钟里所做的事情比排队要有意义 (不过我还没发现什么事情比排队还无聊的 )。
I/O 系统也和超市排队有很多类似之处 :
Ø r/s+w/s 类似于交款人的总数
Ø 平均队列长度 (avgqu-sz)类似于单位时间里平均排队人的个数
Ø 平均服务时间 (svctm)类似于收银员的收款速度
Ø 平均等待时间 (await)类似于平均每人的等待时间
Ø 平均 I/O数据 (avgrq-sz)类似于平均每人所买的东西多少
Ø I/O 操作率 (%util)类似于收款台前有人排队的时间比例。
参数输出的分析
#iostat -x 1
avg-cpu: %user %nice %sys %idle 16.24 0.00 4.31 79.44 Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %utilsda 0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.35 78.21 5.00 14.29 |
上面的 iostat 输出表明秒有 28.57 次设备 I/O 操作 :
总 IO(io)/s=r/s(读 )+w/s(写 )=1.02+27.55 = 28.57 (次 /秒 ) 其中写操作占了主体 (w:r = 27:1)
平均每次设备 I/O操作只需要 5ms就可以完成,但每个 I/O请求却需要等上 78ms,为什么 ? 因为发出的 I/O 请求太多 (每秒钟约 29个 ),假设这些请求是同时发出的,那么平均等待时间可以这样计算 :
平均等待时间 = 单个 I/O 服务时间 * ( 1 + 2 + … + 请求总数 -1) / 请求总数
应用到上面的例子 : 平均等待时间 = 5ms * (1+2+… +28)/29 = 70ms,和 iostat 给出的 78ms 的平均等待时间很接近。这反过来表明 I/O 是同时发起的。
每秒发出的 I/O 请求很多 (约 29个 ),平均队列却不长 (只有 2个 左右 ),这表明这 29 个请求的到来并不均匀,大部分时间 I/O 是空闲的。
一秒中有 14.29% 的时间 I/O 队列中是有请求的,也就是说, 85.71% 的时间里 I/O 系统无事可做,所有 29 个 I/O 请求都在 142毫秒之内处理掉了。
delta(ruse+wuse)/delta(io)= await = 78.21 => delta(ruse+wuse)/s =78.21 * delta(io)/s = 78.21*28.57 =2232.8,表明每秒内的 I/O请求总共需要等待 2232.8ms。所以平均队列长度应为 2232.8ms/1000ms = 2.23,而 iostat 给出的平均队列长度 (avgqu-sz) 却为 22.35,为什么 ?! 因为 iostat 中有 bug, avgqu-sz 值应为 2.23,而不是 22.35。
我们可以根据这些数据分析出 I/O 请求的模式,以及 I/O 的速度和响应时间。
发表评论
-
Linux 共享库:LD_LIBRARY_PATH 与ld.so.conf
2012-04-14 00:48 1663LD_LIBRARY_PATH Linux环境变量名,该 ... -
Linux系统下查找大文件或目录的技巧
2012-01-09 11:34 1043当硬盘空间不够时,我们就很关心哪些目录或文件比较大,看看能否删 ... -
Linux中如何杀掉僵尸进程
2012-01-08 11:06 11161检查当前僵尸进程信息 $ ps -ef | grep de ... -
Linux系统中增加Swap分区大小
2012-01-07 22:22 11941、检查当前的分区情况: [root@localho ... -
Linux系统调优:提高磁盘吞吐量
2011-10-28 23:13 2547在LINUX系统中,如果有大量读请求,默认的请求队列或许应付不 ... -
ssh密钥对的自动登录
2011-10-30 02:34 1480说明: 什么是基于ssh密钥对的自动登录? 下面从整体上 ... -
利用shell和iptables实现自动拒绝恶意试探连接SSH服务
2011-10-06 16:49 1064利用shell和iptables实现自动拒绝恶意试探连接SSH ... -
Linux系统下比较两个文件并删除相同部分
2011-10-04 22:17 1332方法一: comm -23 file1 file2 ... -
redhat 内核参数意思
2011-08-31 01:23 1651一、前言 本文档针对OOP8生产环境,具体优化策略需要根据实 ... -
Linux裸设备总结
2011-08-29 19:56 12661、什么裸设备?字符设 ... -
linux nfs配置概要
2011-08-29 19:11 885利用nfs 可以共享系统中的指定文件夹给网络中的其它机器。我们 ... -
linux操作系统下NTP服务器配置
2011-08-25 09:23 1729Network Time Protocol(NTP ... -
优化Linux生产服务器的经验之谈
2011-08-23 21:21 1352一、时间同步 生产环境下的服务器对时间的要求是精准的,编辑 ... -
NTP服务器安装手记
2011-08-23 21:13 1499NTP服务器安装手记随着时间的推移,计算机的时钟会倾向于漂移。 ... -
Linux下oracle常见安装错误总结
2011-08-23 20:37 1512错误一: /tmp/OraInstall2007-1 ... -
LVM创建
2011-08-23 18:42 1399LVM (有点像 WIN 下的动态磁盘, ... -
chkconfig --add httpd
2011-08-22 10:07 1461Apache 无法自动启动, 1 、将 apa ... -
Linux下cache内存释放
2011-08-22 08:59 732/proc是一个虚拟文件系统,我们可以通过对它的读写操作做 ... -
Linux系统不响应SYN包的解决办法
2011-08-22 00:29 2216关于syn为什么没有回应的问题真是郁闷了好久。 现象就是在客户 ... -
Linux下使用Yum管理本地软件包(repository)
2011-08-21 23:52 1713在Linux系统的维护中,Linux软件包之间的依赖性是一件令 ...
相关推荐
命令查看网络的连通性 检查网络的接口 检查主机的路由情况 磁盘I/O性能监控 特定的 AIX 内存监视
AIX常用的性能监控命令,机器性能优化主要从四个方面去考虑:CPU,内存,磁盘I/O,网络。
Linux系统中的 iostat是I/O statistics(输入/输出统计)的缩写,iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况,同时也会汇报出CPU使用情况。同vmstat一样,iostat也有一个弱点,...
AIX常用命令://查看机器序列号,IBM的基本信息都可以通过该命令查询得到 #prtconf #oslevel -r == uname -a //操作系统版本 #oslevel //查看操作系统版本ex :5.1.0.0 #oslevel -r //ex:5100-04 == oslevel -q //...
§6.2.8 步骤8:优化I/O和物理结构 89 §6.2.9 步骤9:优化资源争用 89 §6.2.10 步骤10:优化所采用的平台 89 §6.3 应用优化方法 90 §6.3.1 设定明确的优化目标 90 §6.3.2 创建最少可重复测试 90 §6.3.3 测试...
8.9.1 while循环的I/O重定向 221 8.9.2 until循环的I/O重定向 222 8.9.3 for循环的I/O重定向 222 8.10 Here文档 223 8.11 Shell函数 227 8.12 逻辑与和逻辑或并列结构 232 8.12.1 逻辑与命令并列结构 232 8.12.2 ...
8.9.1 while循环的I/O重定向 221 8.9.2 until循环的I/O重定向 222 8.9.3 for循环的I/O重定向 222 8.10 Here文档 223 8.11 Shell函数 227 8.12 逻辑与和逻辑或并列结构 232 8.12.1 逻辑与命令并列结构 232 8.12.2 ...
8.9.1 while循环的I/O重定向 221 8.9.2 until循环的I/O重定向 222 8.9.3 for循环的I/O重定向 222 8.10 Here文档 223 8.11 Shell函数 227 8.12 逻辑与和逻辑或并列结构 232 8.12.1 逻辑与命令并列结构 232 8.12.2 ...
Linux提供了大量的命令,利用它可以有效地完成大量的工作,如磁盘操作、文件存取、目录操作、进程管理、文件权限设定等。所以,在Linux系统上工作离不开使用系统提供的命令。要想真正理解Linux系统,就必须从Linux...
4.1.2 所有数据库文件中的I/O瓶颈 59 4.1.3 后台进程中的并发I/O操作 61 4.1.4 定义系统恢复能力与性能目标 61 4.1.5 系统硬件及结构镜像的定义 62 4.1.6 识别专用于数据库的磁盘 62 4.1.7 选择正确的设计 63 4.2 I/...
18.性能相关的几个核心参数(CPU,I/O,MEMORY) 19.SCO NFS详解 20.SCO命令--df 21.SCO OpenServer 5.0.5中DHCP如何配置 ? 22.ESQL编程使用说明 23.UnixWare 7 root口令遗失的解决方法 24.SCO UNIX 讲座 25.Sco open...
8.8 优化磁盘 I/O 8.8.1 怎样查找和避免 I/O 热点 8.8.2 使用原始文件系统 8.9 生成优化程序统计数据 8.9.1 使用 DBMS_UTILITY.ANALYZE _SCHEMA收集统计数据 8.9.2 使用 DBMS_UTILITY.ANALYZE _DATABASE ...
内核提供以下功能 ● 多用户、多进程的调度● I/O设备的接口● 管理磁盘上的文件● AIX内核主要用C语言编写、少量用汇编语言 文件系统 AIX提供三种类型的文件,普通文件,设备文件和命令文件 Shell ● 是系统于...
围绕上面三点原则,TiDB 做了大量的改进,一些是对外可见,如 OLAP 性能的显著提升、监控项的大量增加以及运维工具的各项优化,还有更多的改进是隐藏在数据库背后,默默的提升整个数据库的稳定性以及正确性。...
10.3.2. 物理I/O的调整 51 10.3.2.1. 在磁盘上建立数据文件前首先运行磁盘碎片整理程序 51 10.3.2.2. 不要使用磁盘压缩 51 10.3.2.3. 不要使用磁盘加密 51 10.3.2.4. 使用RAID 51 10.3.2.5. 分离页面交换文件到多个...
o042.zip 一个比较完整的源代码 615,o041_waker.zip 定时提醒 1.0 (12KB) 616,o040_zm035.zip 彻底清除“I Love You”病毒并介绍了病毒的原理及特征。Cool(32KB) 617,o039_72.zip 鼠标计程器...
o042.zip 一个比较完整的源代码 615,o041_waker.zip 定时提醒 1.0 (12KB) 616,o040_zm035.zip 彻底清除“I Love You”病毒并介绍了病毒的原理及特征。Cool(32KB) 617,o039_72.zip 鼠标计程器...
o042.zip 一个比较完整的源代码 615,o041_waker.zip 定时提醒 1.0 (12KB) 616,o040_zm035.zip 彻底清除“I Love You”病毒并介绍了病毒的原理及特征。Cool(32KB) 617,o039_72.zip 鼠标计程器...
o042.zip 一个比较完整的源代码 615,o041_waker.zip 定时提醒 1.0 (12KB) 616,o040_zm035.zip 彻底清除“I Love You”病毒并介绍了病毒的原理及特征。Cool(32KB) 617,o039_72.zip 鼠标计程器...