#!/bin/bashstart=`date +%s`for i in $(seq 1 5); do echo test sleep 2doneend=`date +%s`time=$(($end - $start))echo "time: $time"
执行结果:
# sh test1.shtesttesttesttesttesttime: 10
这是最原始的一种处理方式,串行执行,无法有效利用计算机的资源,并且效率低下。如果可以一次执行多个任务的,把它放到后台即可,我们做如下改进:
#!/bin/bashstart=`date +%s`for i in $(seq 1 5); do { echo test sleep 2 }&donewaitend=`date +%s`time=$(($end - $start))echo "time: $time"
首先看下执行结果:
# sh test2.shtesttesttesttesttesttime: 2
说下改动,首先我把for循环中的代码用{}包为一个块,然后增加&符号使其后台运行,之后增加wait指令,该指令会等待所有后台进程结束,如果不加wait,程序直接往下走,最终打出的time将会是0。现在程序已经由之前的10秒缩短为2秒,似乎效果不错,不过试想这样一个场景,有1000个这样的任务,如果还是以这种方式执行,机器负载是扛不住的,我们必须想一种办法来控制进程的并发数,那就是管道和文件描述符。
首先介绍下管道(pipe):
- 无名管道
它经常出现在我们的命令中,例如cat /etc/passwd | awk -F: ‘{print $1}‘,其中"|"就是管道,它将前一个命令的结果输出到后一个进程中,作为两个进程的数据通道,不过他是无名的。 - 有名管道
使用mkfifo命令创建的管道即为有名管道,例如,mkfifo pipefile, pipefile即为有名管道。
管道有一个显著的特点,如果管道里没有数据,那么去取管道数据时,程序会阻塞住,直到管道内进入数据,然后读取才会终止这个操作,反之,管道在执行写入操作时,如果没有读取操作,同样会阻塞,下面是实例:
# mkfifo pipefile# echo test > pipefile # 此时会阻塞在这
此时我新开一个窗口再执行读操作
# cat pipefiletest
这时窗口一中的进程才会终止,再来看先读的情况:
# cat pipefile# 同样阻塞停滞在此
新开窗口执行写操作:
# echo test > pipefile
这时窗口一会立刻读出内容并顺利完成
接下来看一下文件描述符
Linux系统在初始运行时,会自动绑定三个文件描述符0 1 2 对应 stdin ,stdout, stderr,在/proc/self/fd可以找到
# cd /proc/self/fd# lltotal 0lrwx------. 1 root root 64 Mar 27 03:22 0 -> /dev/pts/0lrwx------. 1 root root 64 Mar 27 03:22 1 -> /dev/pts/0lrwx------. 1 root root 64 Mar 27 03:22 2 -> /dev/pts/0lrwx------. 1 root root 64 Mar 27 03:23 255 -> /dev/pts/0# 绑定到我们的终端设备上# echo test > /proc/self/fd/1 test# echo test > /proc/self/fd/2test
输出到几个文件的内容会打印到控制台上
我们可以使用exec 指令自行定义、绑定文件描述符,文件描述符的取值范围是3-(ulimit -n)-1
在我本机这个范围是3-1023
# ulimit -n 1024# exec 1024<>pipefile -bash: 1024: Bad file descriptor# exec 1000<>pipefile#
下面开始介绍如何使用管道文件和文件描述符来控制进程并发:
mkfifo tm1exec 5<>tm1rm -f tm1
首先创建一个管道文件tm1,然后使用exec命令将该文件的输入输出绑定到5号文件描述符,而后删除该管道文件,这里删除的只是该文件的Inode,实际文件已由内核open函数打开,这里删除并不会影响程序执行,当程序执行完后,文件描述符会被系统自动回收。
for ((i=1;i<=10;i++)); do echo >&5done
通过一个for循环向该文件描述符写入10个空行,这个10其实就是我们定义的后台进程数量,这里需要注意的是,管道文件的读取是以行为单位的。
for ((j=1;j<=100;j++)); do read -u5 { echo test$j sleep 2 echo >&5 }&donewait
这里假定我后台有100个任务,而我们在后台保证只有10个进程在同时运行
read -u5 的作用是,读取5号文件描述符中的一行,就是读取一个空行
在减少文件描述符的一个空行之后,在后台执行一次任务,而任务在执行完成以后,会向文件描述符中再写入一个空行,这是为什么呢,因为如果我们写入空行的话,当后台放入了10个任务之后,由于没有可读取的空行,read -u5就会被阻塞住!
exec 5>&-exec 5<&-
我们生成做绑定时 可以用 exec 5<>tm1 来实现,但关闭时必须分开来写> 读的绑定,< 标识写的绑定 <> 则标识 对文件描述符5的所有操作等同于对管道文件tm1的操作。
完整代码如下:
#!/bin/bashmkfifo tm1exec 5<>tm1rm -f tm1for ((i=1;i<=10;i++)); do echo >&5donefor ((j=1;j<=100;j++)); do read -u5 { echo test$j sleep 2 echo >&5 }&donewaitexec 5>&-exec 5<&-
这样,就实现了进程的并发控制