shell 命令

通常会看到一些文档上提示使用man参考帮助信息，格式如：ls(1)。

括号里的数字叫“章节编号”，例如 stat(1) 和 stat(2) 虽然名字一样，但代表了不同的帮助，具体的章节号信息，通过 man man 可以找到。

help：Bash 内置的命令，语法帮助，注意 zsh 中没有该命令。

搜索进程ID

shell 提供的协程功能，让命令在新生成的子 shell 中执行。

“&” jobs fg

fgrep 只匹配字符，egrep 使用了扩展正则表达式，现在都整合到了 grep 里，分别通过 -F、-E 参数区别。

# 从文件 file 中查找 keyword
grep keyword file

如下文本：

All material created by James Mohr is copyrighted 1994-2003 by James Mohr and is licensed under a modified GNU Free Documentation License. Reproduction and distribution of material copyrighted by James Mohr or derivative of such material in any standard (paper) book form is prohibited unless prior permission is obtained from the copyright holder. Distribution of substantively modified versions of material copyrighted by James Mohr is prohibited without the explicit permission of the copyright holder. Distribution of material copyrighted by James Mohr in a commercial product is prohibited without the explicitpermission of the copyright holder. Use of material copyrighted by James Mohr in any commercial endeavour is prohibited without the explicit permission of the copyright holder. A "commercial endeavour" includes, but is not limited to training or other educational courses for which a fee is required. Public education institutions (such a state universities and colleges, community colleges and similar) are except from this requirement and need only

执行后：

All material created by James Mohr is copyrighted 1994-2003 by
James Mohr and is licensed under a modified GNU Free Documentation
License. Reproduction and distribution of material copyrighted by James
Mohr or derivative of such material in any standard (paper) book form
is prohibited unless prior permission is obtained from the copyright
holder. Distribution of substantively modified versions of material
copyrighted by James Mohr is prohibited without the explicit permission
of the copyright holder. Distribution of material copyrighted by James
Mohr in a commercial product is prohibited without the explicitpermission
of the copyright holder. Use of material copyrighted by James Mohr in any
commercial endeavour is prohibited without the explicit permission of the
copyright holder. A "commercial endeavour" includes, but is not limited to
training or other educational courses for which a fee is required. Public
education institutions (such a state universities and colleges, community
colleges and similar) are except from this requirement and need only

可以指定 -w 参数设置每行行宽。

执行表达式，包括正则匹配、四则运算等。

例1，字符串按下标取子字符串

expr substr "abcd" 1 2          # => ab

例2，使用正则判断 IP 地址

expr match "192.168.1.1" "^[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}$" # => 11

使用正则时要注意“{”、“}”、“(”、“)”需要转义，详细见：info expr

使用小括号配对时，打印匹配的值：

expr match "192.168.1.1" "^\([0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\)$" # => 192.168.1.1

按列合并两个文件

假如文件1：

1
2
3

文件2：

a
b
c

执行合并：

$ paste 1 2
1	a
2	b
3	c

paste 默认使用 Tab 作为分割符号，参数 -d 后面跟字符自定义分隔符。使用空格话，需要转义空格字符，如：

$ paste 1 2 -d\
1 a
2 b
3 c

转换、替换和删除字符

# 删除文件中的空字符（NULL）

# 文件内容如下：
# $ hexdump /tmp/has_00
# 0000000 6261 6300
# 0000004

$ tr -d '\0' < /tmp/has_00 | hexdump
0000000 6261 0063
0000003

# 按字符集替换
$ echo 'luanx' | tr '[al]' '[41]'
1u4nx

替换换行符：

# Unix 换行符转 Windows 换行符
tr '\n' '\r\n'

head：打印文件头部内容

# 显示文件前 n 行内容，默认 n 为 10
head file

tail：打印文件尾部内容

# 显示末尾 n 行内容，默认 n 为 10
tail file

# 打印文件倒数 5 行
tail -5 /etc/passwd

# 跳过文件前 10 行的内容，即从第 11 行开始打印
tail -n +10 /etc/passwd

在文本顶部加上title和页码，便于打印。

nl 命令可以给文本每行开头加入行号

如：

$ cat x
test1
test2
test3
$ nl x
1  test1
2  test2
3  test3

从文本中随机抽取行数打印。

shuf 文件名 -n1

-n：随机显示1行

• 它用于格式化数据流
• 它可以转变数据流内容成程序参数

以下是测试源文件 test：

1
2 3
4 5 6

1. 默认上数据流变成行

cat test|xargs:
1 2 3 4 5 6

• 参数 -d 还可以指定分隔符
• 参数 -n 指定每行最多列数

$ cat test | xargs -n 2
1 2
3 4
5 6

1. 递归删除文件

find . -name '.svn' | xargs rm -rf

连接并逆序输出文本，示例：

$ echo -n 'a\nb\nc\n' | tac
c
b
a

可以将内容同时输出到两个地方，从标准输入读入数据并输出到标准输出以及文件中。

例，读入数据并写入到其他文件中：

cat /etc/hosts | tee /tmp/hosts.bak

例，把输出的内容用sudo追加到文件中：

echo -n "127.0.0.1\twww.baidu.com" | sudo tee -a /etc/hosts

要用echo xxx > /etc/xxx 这种需要 root 权限的来说，得这样：

echo xxx | sudo tee --append /etc/xx

which：显示命令的绝对路径

例：

which cd                        # => /usr/bin/cd

对于 alias，which 也能显示出来：

$ which ls
ls='ls --color=auto -F'
	/usr/bin/ls

command 命令可以达到相同效果，并且 command 是 POSIX 标准中的命令：

command -v ls                   # => alias ls=exa

whereis：查找文件、man和源码的路径

$ whereis cd
cd: /usr/bin/cd /usr/share/man/mann/cd.n.gz /usr/share/man/man1/cd.1.gz /usr/share/man/man1p/cd.1p.gz

常用于批量重命名文件。不同的发行版 rename 命令版本不一样，有些是 C 版本，有些是 Perl 版本。

Fedora 默认是 C 版本的，Ubuntu 默认是 Perl 版的。

C 版本的 rename 接受三个参数：

rename 要修改的字符串 替换后的字符串 文件列表

# 例，将图“1.jpg、图2.jpg...”重命名为“1.jpg、2.jpg...”：
rename '图_' '' *.jpg

Perl 版的 rename 可直接写正则表达式，例如某目录下有以下文件：

$ ls
2016-08-01  2016-08-02  2016-08-03

将它们批量重命名为“yyyyMMdd”格式：

rename 's/\-//g' 2016*

结果如下：

$ ls
20160801  20160802  20160803

显示 socket 状态

对比两个已排序过的文件

对比两个都已排序过的文件

comm file1 file2

结果分成 3 行，第一行是文件 1 中出现过的行，第二行是文件 2 出项过的行，第三行是文件 1 和文件 2 共同出项过的。

另外有两个参数：

• 1 不显示第一个文件出现过的
• 2 不显示第二个文件出现过的
• 3 不显示共同部分

comm -12 file1 file2：显示 file1 和 file2 共同行，即求两个数据集的交集。

打印文件中的可见字符。

上次遇到 Nginx 配置文件误丢，但 Nginx 还在运行，可用 gcore 命令将进程数据 dump 出来，再用 strings 把内存中的配置信息找出。

切换目录。

# 切换到当前目录下的子目录
cd sub_dir

# 切换到指定目录
cd /path

# 切换到 home 目录
cd ~

小技巧：CDPATH 环境变量

设置常用路径，使用 cd 命令时，可以不用写完整路径。

新建临时文件，随机生成临时文件名。

方法1：如果对文件名使用了“-”开头使用 cp、mv、rm 命令，用“–”参数即可：

# 例，删除名叫“-exec”的文件
rm -f -- -exec
mv -- -exec new
cp -- -exec new

方法2：可以用 ls -i 获得 i 节点号，然后用 find 命令操作。

方法3：最简单，直接带上路径，如：mv ./-exec a，即可。

命令非 Unix 风格，dd 的命令风格来自JCL（https://en.wikipedia.org/wiki/Job_Control_Language）

磁盘写入速度测试：

sync; dd if=/dev/zero of=test_file bs=1M count=1024; sync

对文件分割，例如将一个 4,000 行的日志分割为 4 个 1,000 行的文件：

split -l 1000 access.log

交互式输入：

read name
echo $name

日期字符串和时间戳之间转换：

# 获得当前时间戳
date +%s                        # => 1461552157
date -d'2016-04-25 14:23' +%s   # => 1461565380

# 时间戳转字符串
date -d @1461551881             # => 2016年 04月 25日 星期一 10:38:01 CST
# 自定义格式
date -d @1461551881 +'%Y-%m-%d' # => 2016-04-25

# 日期计算：
date -d '-1years'               # => 2015年 04月 25日 星期六 10:56:09 CST
date -d '-1days'                # => 2016年 04月 24日 星期日 10:56:13 CST
date -d '-1months'              # => 2016年 03月 25日 星期五 10:56:16 CST

# 例，遍历某段时期的日期：
start_date=20151101
end_date=20171126

while [[ $start_date < $end_date ]]
do
    echo $start_date
    start_date=$(date -d "+1 month ${start_date}" +%Y%m%d)
done

time 命令可以统计一个程序的执行总时间、在用户以及内核模式的执行总时间

如：

time python test_case.py

# 执行结果：

# Ran 1 test in 2.326s

# OK

# 0m2.372s
# 0m0.044s
# 0m0.008s

这里可以看到执行完这个 Python 脚本所花的总时间，user 和 sys 分别是用户态和内核态执行的总时间，user+sys 的时间与 real 的时间相差较大的话，说明I/O阻塞所花费的时间比较长。sysuserreal

I/O 监控版 top 命令

# 只显示当前有 I/O 操作的进程（不显示线程）：
iotop -oP

现代发行版用 ip 取代了 ifconfig。

# 查看各网卡的 IP 地址
ip addr