打印

Bash命令行处理[详解](转自sir之home_king)

Bash命令行处理[详解](转自sir之home_king)

我看很多兄弟写脚本或命令时出现错误的主要原因,是因为不了解bash的命令行处理。我在这里总结了一下,大家可以参考一下。其中也涉及到双引号,单引号以及eval的技巧,我会一一讲述。

[code:1]
                               +-------------+           单引号
    |------------------------->|             |--------------------------|
    |  ----------------------->| 1.分隔成记号|---- ---------------|     |
    |  |   ------------------->|             |      双引号        |     |
    |  |   |                   +-------------+                    |     |
    |  |   |                          ||                          |     |
    |  |   |读取下一个命令            \/                          |     |
    |  |   |     +-------------------------------------------+    |     |
    |  |   |     |                    2.                     |    |     |
    |  |   ------|              检验第一个记号               |    |     |
    |  |         |开放的关键字                    其他关键字 |    |     |
    |  |         |               非关键字                    |    |     |
    |  |         +-------------------------------------------+    |     |
    |  |                              ||                          |     |
    |  |                              \/                          |     |
    |  |            +-----------------------------+               |     |
    |  |  扩展别名  |           3. 检验第一个记号 |               |     |
    |  |------------|  别名                       |               |     |
    |               |              不是别名       |               |     |
    |               +-----------------------------+               |     |
    |                                 ||                          |     |
    |                                 \/                          |     |
    |                           +--------------+                  |     |
    |                           | 4.大括号扩展 |                  |     |
    |                           +--------------+                  |     |
    |                                 ||                          |     |
    |                                 \/                          |     |
    |                           +--------------+                  |     |
    |                           | 5.~符号扩展  |                  |     |
    |                           +--------------+                  |     |
    |                                 ||                          |     |
    |                                 \/                          |     |
    |                           +--------------+       双引号     |     |
    |                           |  6.参数扩展  |<-----------------|     |
    |                           +--------------+                        |
    |                                 ||                                |
    |                                 \/                                |
    |                    +------------------------------+               |
    |                    |  7.命令替换(嵌套命令行处理)  |               |
    |                    +------------------------------+               |
    |                                 ||                                |
    |                                 \/                                |
    |                           +--------------+      双引号            |
    |                           |  8.算术扩展  |------------------|     |
    |                           +--------------+                  |     |
    |                                 ||                          |     |
    |                                 \/                          |     |
    |                           +--------------+                  |     |
    |                           |  9.单词分割  |                  |     |
    |                           +--------------+                  |     |
    |                                 ||                          |     |
    |                                 \/                          |     |
    |                           +--------------+                  |     |
    |                           | 10.路径名扩展|                  |     |
    |                           +--------------+                  |     |
    |                                 ||                          |     |
    |                                 \/                          |     |
    |               +----------------------------------------+    |     |
    |               | 11.命令查寻:函数,内置命令,可执行文件|<---|-----|
    |               +----------------------------------------+
    |                                 ||
    |                                 \/
    |将参数带入下一个命令        +-------------+
    |----------eval--------------| 12.运行命令 |
                                 +-------------+
[/code:1]
Shell从标准输入或脚本中读取的每行称为一个管道行,它包含一个或多个由0个或多个管道字符(|)分隔的命令。对每一个管道行,进行12个步骤的处理。
结合上面的插图,这里给出命令行的12个步骤。

1. 将命令行分成由固定元字符集分隔的记号
SPACE, TAB, NEWLINE, ; , (, ), <, >, |, &
记号类型包括单词,关键字,I/O重定向符和分号。

2.检测每个命令的第一个记号,查看是否为不带引号或反斜线的关键字。如果是一个开放的关键字,如if和其他控制结构起始字符串,function,{或(,则命令实际上为一复合命令。shell在内部对复合命令进行处理,读取下一个命令,并重复这一过程。如果关键字不是复合命令起始字符串(如then等一个控制结构中间出现的关键字),则给出语法错误信号。

3.依据别名列表检查每个命令的第一个关键字。如果找到相应匹配,则替换其别名定义,并退回第一步;否则进入第4步。该策略允许递归别名,还允许定义关键字别名。如alias procedure=function

4.执行大括号扩展,例如a{b,c}变成ab ac

5.如果~位于单词开头,用$HOME替换~。使用usr的主目录替换~user。

6.对任何以符号$开头的表达式执行参数(变量)替换

7.对形式$(string)的表达式进行命令替换
这里是嵌套的命令行处理。

8.计算形式为$((string))的算术表达式

9.把行的参数,命令和算术替换部分再次分成单词,这次它使用$IFS中的字符做分割符而不是步骤1的元字符集。

10.对出现*, ?, [ / ]对执行路径名扩展,也称为通配符扩展

11. 按命令优先级表(跳过别名),进行命令查寻

12.设置完I/O重定向和其他操作后执行该命令。


关于引用
1. 单引号跳过了前10个步骤,不能在单引号里放单引号
2. 双引号跳过了步骤1~5,步骤9~10,也就是说,只处理6~8个步骤。
也就是说,双引号忽略了管道字符,别名,~替换,通配符扩展,和通过分隔符分裂成单词。
双引号里的单引号没有作用,但双引号允许参数替换,命令替换和算术表达式求值。可以在双引号里包含双引号,方式是加上转义符"\",还必须转义$, `, \。


eval
eval的作用是再次执行命令行处理,也就是说,对一个命令行,执行两次命令行处理。
这个命令要用好,就要费一定的功夫。我举两个例子,抛砖引玉。
例子1:

用eval技巧实现shell的控制结构for。

[code:1]
[root@home root]# cat myscript1
#!/bin/sh
evalit(){
        if [ $cnt = 1 ];then
                eval $@
                return
        else
                let cnt=cnt-1
                evalit $@
        fi
        eval $@
}
cnt=$1
echo $cnt | egrep "^[1-9][0-9]*$" >/dev/null
if [ $? -eq 0 ]; then
        shift
        evalit $@
else
        echo 'ERROR!!! Check your input!'
fi
[root@home root]# ./myscript1 3 hostname
home
home
home
[root@home root]# ./myscript1 5 id |cut -f1 -d' '
uid=0(root)
uid=0(root)
uid=0(root)
uid=0(root)
uid=0(root)
[/code:1]
注意,bash里有两个很特殊的变量,它们保存了参数列表。
$*,保存了以$IFS指定的分割符所分割的字符串组。
$@,原样保存了参数列表,也就是"$1""$2"...

这里我使用了函数递归以及eval实现了for结构。
当执行eval $@时,它经历了步骤如下:
第1步,分割成eval $@
第6步,扩展$@为hostname
第11步,找到内置命令eval
重复一次命令行处理,第11步,找到hostname命令,执行。

注意:也许有人想当然地认为,何必用eval呢?直接$@来执行命令就可以了嘛。
错误!这里给个典型的例子大家看看。
[code:1]
[root@home root]# a="id | cut -f1 -d' '"
[root@home root]# $a
id:无效选项 -- f
请尝试执行‘id --help’来获取更多信息。
[root@home root]# eval $a
uid=0(root)
[/code:1]
如果命令行复杂的话(包括管道或者其他字符),直接执行$a字符串的内容就会出错。分析如下。
$a的处理位于第6步──参数扩展,也就是说,跳过了管道分析,于是"|", "cut", "-f1", "-d"都变成了id命令的参数,当然就出错啦。
但使用了eval,它把第一遍命令行处理所得的"id", "|", "cut", "-f1", "-d"这些字符串再次进行命令行处理,这次就能正确分析其中的管道了。
总而言之,要保证你的命令或脚本设计能正确通过命令行处理,跳过任意一步,都可能造成意料外的错误!


例子2:
设置系统的ls色彩显示
[code:1]
eval $(dircolors -b /etc/dircolors)
[/code:1]
eval语句通知shell接受eval参数,并再次通过命令行处理的所有步骤运行它们。
它使你可以编写脚本随意创建命令字符串,然后把它们传递给shell执行;
$()是命令替换,返回命令的输出字符串。
其中dircolors命令根据/etc/dircolors配置文件生成设置环境变量LS_COLORS的bash代码,内容如下
[code:1]
[root@localhost root]# dircolors -b > tmp
[root@localhost root]# cat tmp
LS_COLORS='no=00:fi=00:di=01;34:ln=01; ......
export LS_COLORS
#这里我没有指定配置文件,所以dircolors按预置数据库生成代码。
其输出被eval命令传递给shell执行。
[/code:1]
eval是对Bash Shell命令行处理规则的灵活应用,进而构造"智能"命令实现复杂的功能。
上面提及的命令是eval其中一个很普通的应用,它重复了1次命令行参数传递过程,纯粹地执行命令的命令。
其实它是bash的难点,是高级bash程序员的必修之技。

命令优先级表
1.别名
2.关键字
3.函数
4.内置命令
5.脚本或可执行程序($PATH)


鉴于一些学习中会遇到的困惑,我再给出一些有趣的命令。
command builtin enable
上面的命令行提及过,第11步会进行命令查找,那它的具体过程如何呢?
它的默认查找次序为函数,内部命令,脚本和可执行代码。我们往往要在实际编程中跳过一些查找项以满足一定的功能需求。这时候就要用到这三个命令来施展魔法~~
command
跳过别名和函数的查找,换句话说,它只查找内部命令以及搜索路径中找到的脚本或可执行程序。
这里举个有趣的例子。
[code:1]
[root@home root]# type -all pwd
pwd is a shell builtin
pwd is /bin/pwd
[root@home root]# cat myscript2
#!/bin/sh
pwd(){
        echo "This is the current directory."
        command pwd
}
pwd
[root@home root]# ./myscript2
This is the current directory.
/root
[/code:1]
我用pwd()函数取代了内置命令pwd以及外部命令/bin/pwd,然后在脚本里执行内置命令pwd。在这里我们为什么要用command呢?是为了避免函数陷入递归循环,因为函数名与内置命令同名,而函数的优先级比内置命令高。

builtin
顾名思义,它只查找内置命令。这个命令很简单,就不多说了。

enable
与builtin相反,它屏蔽一个内置命令,允许运行一个shell脚本或同名的可执行代码而无须给出完全路径名。
举个例子吧。
pwd命令有两个,一个是shell内置的,一个是可执行程序。
当执行一些奇怪的路径名后,shell内置的pwd会打印出"错误信息",但外部的pwd会打印出当前目录的"原来面目"。请看下面:
[code:1]
[root@home root]# cd //
[root@home //]# pwd
//
[root@home //]# type -all pwd
pwd is a shell builtin
pwd is /bin/pwd
[root@home //]# /bin/pwd
/
[root@home //]# enable -n pwd
[root@home //]# pwd
/
[/code:1]
这样,用enable -n屏蔽内置pwd命令后,就可以用外部pwd打印出正确的路径名了。

Bash博大精深,希望大家好好学习。
Stay Hungry, Stay Foolish!

TOP

太好了,真是令小弟茅塞顿开。谢谢加上顶,再顶。。。
php python perl lisp c c++ java bash sed awk debian/bsd pgsql mysql vim emacs uml corba

TOP

我还理解不了,希望不久的将来可以真真正正的了解LINUX。

TOP

可以作为文身 贴在背上了

TOP

太感谢了,获益非浅啊!

TOP

楼主的贴子对一个LIUNX新手来说看不太懂,但可以给我很大启发,
  不知楼主这些知识是在那学的?
  不会是在论坛上吧

TOP

home_king入门bash看的是orilley's的《learning the bash shell》

TOP

可以!!有很大的意义!!!

TOP

不错不错!
大学从我身上下来,边系裤子边说,青春留下,你走;那一刻我才明白,不是我上了大学,而是是大学上了我。。。。。

TOP

it is very difficult ,but thank you!!

TOP

真是太感谢了

TOP

大哥,你的这个帖子对于我们这些刚刚接触linux的新手来说真实雪中送炭啊!!!
真是太感谢了!!1! :-)  :-)  :-)
我是一个刚刚接触linux的菜鸟,会常常有些问题问大虾们的,希望各位师傅多帮帮俺!在这里俺先谢谢各位了!!

TOP

大哥,你的这个帖子对于我们这些刚刚接触linux的新手来说真实雪中送炭啊!!!
真是太感谢了!!1! :-)  :-)  :-)
我是一个刚刚接触linux的菜鸟,会常常有些问题问大虾们的,希望各位师傅多帮帮俺!在这里俺先谢谢各位了!!

TOP

+-------------+           单引号
    |------------------------->|             |--------------------------|
    |  ----------------------->| 1.分隔成记号|---- ---------------|     |
    |  |   ------------------->|             |      双引号        |     |
    |  |   |                   +-------------+                    |     |
    |  |   |                          ||                          |     |
    |  |   |读取下一个命令            \/                          |     |
    |  |   |     +-------------------------------------------+    |     |
    |  |   |     |                    2.                     |    |     |
    |  |   ------|              检验第一个记号               |    |     |
    |  |         |开放的关键字                    其他关键字 |    |     |
    |  |         |               非关键字                    |    |     |
    |  |         +-------------------------------------------+    |     |
    |  |                              ||                          |     |
    |  |                              \/                          |     |
    |  |            +-----------------------------+               |     |
    |  |  扩展别名  |           3. 检验第一个记号 |               |     |
    |  |------------|  别名                       |               |     |
    |               |              不是别名       |               |     |
    |               +-----------------------------+               |     |
    |                                 ||                          |     |
    |                                 \/                          |     |
    |                           +--------------+                  |     |
    |                           | 4.大括号扩展 |                  |     |
    |                           +--------------+                  |     |
    |                                 ||                          |     |
    |                                 \/                          |     |
    |                           +--------------+                  |     |
    |                           | 5.~符号扩展  |                  |     |
    |                           +--------------+                  |     |
    |                                 ||                          |     |
    |                                 \/                          |     |
    |                           +--------------+       双引号     |     |
    |                           |  6.参数扩展  |<-----------------|     |
    |                           +--------------+                        |
    |                                 ||                                |
    |                                 \/                                |
    |                    +------------------------------+               |
    |                    |  7.命令替换(嵌套命令行处理)  |               |
    |                    +------------------------------+               |
    |                                 ||                                |
    |                                 \/                                |
    |                           +--------------+      双引号            |
    |                           |  8.算术扩展  |------------------|     |
    |                           +--------------+                  |     |
    |                                 ||                          |     |
    |                                 \/                          |     |
    |                           +--------------+                  |     |
    |                           |  9.单词分割  |                  |     |
    |                           +--------------+                  |     |
    |                                 ||                          |     |
    |                                 \/                          |     |
    |                           +--------------+                  |     |
    |                           | 10.路径名扩展|                  |     |
    |                           +--------------+                  |     |
    |                                 ||                          |     |
    |                                 \/                          |     |
    |               +----------------------------------------+    |     |
    |               | 11.命令查寻:函数,内置命令,可执行文件|<---|-----|
    |               +----------------------------------------+
    |                                 ||
    |                                 \/
    |将参数带入下一个命令        +-------------+
    |----------eval--------------| 12.运行命令 |
                                 +-------------+
Shell从标准输入或脚本中读取的每行称为一个管道行,它包含一个或多个由0个或多个管道字符(|)分隔的命令。对每一个管道行,进行12个步骤的处理。
结合上面的插图,这里给出命令行的12个步骤。

1. 将命令行分成由固定元字符集分隔的记号:
SPACE, TAB, NEWLINE, ; , (, ), <, >, |, &
记号类型包括单词,关键字,I/O重定向符和分号。

2.检测每个命令的第一个记号,查看是否为不带引号或反斜线的关键字。如果是一个开放的关键字,如if和其他控制结构起始字符串,function,{或(,则命令实际上为一复合命令。shell在内部对复合命令进行处理,读取下一个命令,并重复这一过程。如果关键字不是复合命令起始字符串(如then等一个控制结构中间出现的关键字),则给出语法错误信号。

3.依据别名列表检查每个命令的第一个关键字。如果找到相应匹配,则替换其别名定义,并退回第一步;否则进入第4步。该策略允许递归别名,还允许定义关键字别名。如alias procedure=function

4.执行大括号扩展,例如a{b,c}变成ab ac

5.如果~位于单词开头,用$HOME替换~。使用usr的主目录替换~user。

6.对任何以符号$开头的表达式执行参数(变量)替换

7.对形式$(string)的表达式进行命令替换
这里是嵌套的命令行处理。

8.计算形式为$((string))的算术表达式

9.把行的参数,命令和算术替换部分再次分成单词,这次它使用$IFS中的字符做分割符而不是步骤1的元字符集。

10.对出现*, ?, [ / ]对执行路径名扩展,也称为通配符扩展

11. 按命令优先级表(跳过别名),进行命令查寻

12.设置完I/O重定向和其他操作后执行该命令。
Linux或许只是美国人的一种非Windows的选择,因为微软是他们国家的。微软绝不会干危害美国国家安全的事,微软暴利也只是美国人把钱从一个口袋中转移到另一个口袋中而已。美国人在Linux问题上可以超然。中国人,你有超然的资本吗?

TOP

关于引用
1. 单引号跳过了前10个步骤,不能在单引号里放单引号
2. 双引号跳过了步骤1~5,步骤9~10,也就是说,只处理6~8个步骤。
也就是说,双引号忽略了管道字符,别名,~替换,通配符扩展,和通过分隔符分裂成单词。
双引号里的单引号没有作用,但双引号允许参数替换,命令替换和算术表达式求值。可以在双引号里包含双引号,方式是加上转义符"\",还必须转义$, `, \。


eval
eval的作用是再次执行命令行处理,也就是说,对一个命令行,执行两次命令行处理。
这个命令要用好,就要费一定的功夫。我举两个例子,抛砖引玉。
例子1:

用eval技巧实现shell的控制结构for。


代码:
[root@home root]# cat myscript1
#!/bin/sh
evalit(){
        if [ $cnt = 1 ];then
                eval $@
                return
        else
                let cnt=cnt-1
                evalit $@
        fi
        eval $@
}
cnt=$1
echo $cnt | egrep "^[1-9][0-9]*$" >/dev/null
if [ $? -eq 0 ]; then
        shift
        evalit $@
else
        echo 'ERROR!!! Check your input!'
fi
[root@home root]# ./myscript1 3 hostname
home
home
home
[root@home root]# ./myscript1 5 id |cut -f1 -d' '
uid=0(root)
uid=0(root)
uid=0(root)
uid=0(root)
uid=0(root)
注意,bash里有两个很特殊的变量,它们保存了参数列表。
$*,保存了以$IFS指定的分割符所分割的字符串组。
$@,原样保存了参数列表,也就是"$1""$2"...

这里我使用了函数递归以及eval实现了for结构。
当执行eval $@时,它经历了步骤如下:
第1步,分割成eval $@
第6步,扩展$@为hostname
第11步,找到内置命令eval
重复一次命令行处理,第11步,找到hostname命令,执行。

注意:也许有人想当然地认为,何必用eval呢?直接$@来执行命令就可以了嘛。
错误!这里给个典型的例子大家看看。

代码:
[root@home root]# a="id | cut -f1 -d' '"
[root@home root]# $a
id:无效选项 -- f
请尝试执行‘id --help’来获取更多信息。
[root@home root]# eval $a
uid=0(root)
如果命令行复杂的话(包括管道或者其他字符),直接执行$a字符串的内容就会出错。分析如下。
$a的处理位于第6步──参数扩展,也就是说,跳过了管道分析,于是"|", "cut", "-f1", "-d"都变成了id命令的参数,当然就出错啦。
但使用了eval,它把第一遍命令行处理所得的"id", "|", "cut", "-f1", "-d"这些字符串再次进行命令行处理,这次就能正确分析其中的管道了。
总而言之,要保证你的命令或脚本设计能正确通过命令行处理,跳过任意一步,都可能造成意料外的错误!

[[i] 本帖最后由 binbindatou 于 2008-9-1 19:53 编辑 [/i]]
Linux或许只是美国人的一种非Windows的选择,因为微软是他们国家的。微软绝不会干危害美国国家安全的事,微软暴利也只是美国人把钱从一个口袋中转移到另一个口袋中而已。美国人在Linux问题上可以超然。中国人,你有超然的资本吗?

TOP