一个shell中诡异问题的解决

╰半橙微兮° 2023-06-24 06:24 5阅读 0赞

前两天上线，同事碰见个shell脚本的问题，当时场景，异常诡异。

脚本的判断逻辑很长，为了方便说明，此处只给出关键步骤，

a=`curl ...` (期待返回值是AA)
    b=BB
    echo $a\$$b (期待输出是AA$BB，实际输出$BB)
    echo $b\$$a (实际输出BB$AA)

其中，变量a是通过curl以及一系列管道操作截取的信息，使用echo打印多个变量的值，非常诡异的是，出现了一些字符没有出现或者从首字符处出现了叠写、相互覆盖、覆写的现象，例如$a\\$$b，$b重叠到首字母进行覆盖输出，甚至相同的两个变量，互换顺序，结果显示不同。

这个时候，sh命令的-x这个参数，就开始起作用了，他的意思是显示shell执行过程中的命令，通过执行，我们看到了区别，变量a的值，不是期待的AA，而是"AA\\r"，

+ a='AA\r'

不要小瞧\\r，我们知道Windows下的空行是\\r\\n,，但是linux下是\\n，没有识别\\r。

\\n是LF或ASCII中的0x0A(10)，\\r是CR或ASCII中的0x0D(13)。

问题来了，LF和CR是什么？这就要讲讲“回车”(carriage return)和“换行”(line feed)这两个概念的来历和区别了。

在计算机还没有出现之前，有一种叫做电传打字机(Teletype Model 33)的玩意，每秒钟可以打10个字符。但是有一个问题，就是打完一行换行的时候，要用去0.2秒，正好可以打两个字符。要是在这0.2秒里面，又有新的字符传过来，那么这个字符将丢失。

于是，研制人员想了个办法解决这个问题，就是在每行后面加两个表示结束的字符。一个叫做“回车”，告诉打字机把打印头定位在左边界，另一个叫做“换行”，告诉打字机把纸向下移一行。

这就是“换行”和“回车”的来历，从它们的英语名字上也可以看出一二，CR就是carriage return的缩写，LF是line feed的缩写。

后来，计算机发明了，这两个概念也就被般到了计算机上。那时，存储器很贵，一些科学家认为在每行结尾加两个字符太浪费了，加一个就可以。于是，就出现了分歧。

Unix系统里，每行结尾只有“<换行>”，即“\\n”，Windows系统里面，每行结尾是“<换行><回车>”，即“\\n\\r”，Mac系统里，每行结尾是“<回车>”。一个直接后果是，Unix/Mac系统下的文件在Windows里打开的话，所有文字会变成一行，而Windows里的文件在Unix/Mac下打开的话，在每行的结尾可能会多出一个^M符号。

因此，\\r就是return回到本行行首，这就会把这一行以前的输出覆盖掉。

$a\\$$b，其中$a='AA\\r'，所以$b重叠到首字母进行覆盖输出，就可以解释了。

我们用下面的脚本模拟下，可能会更清晰，

#!/bin/bash
    
    a='SE\r'
    b='SA'
    echo -e $a$b
    echo -e $a\$$b
    echo -e $b$a
    echo -e $b\$$a

可以看到变量a='SE\\r'，然后使用echo -e参数，他的作用是enable interpretation of backslash escapes，即启用反斜杠转义功能，

+ a='SE\r'
    + b=SA
    + echo -e 'SE\rSA'
    SA
    + echo -e 'SE\r$SA'
    $SA
    + echo -e 'SASE\r'
    SASE
    + echo -e 'SA$SE\r'
    SA$SE

因为\\r的存在，$a$b输出的是$b的值，如果是$b$a，因为\\r放在后面，并未影响，所以是正确的$b$a。

既然明确了问题，解决就很清晰了，可以在curl加个tr -d，就达到了删除\\r，保证对的换行，

a=`curl ... | tr -d '\r'`

在科学技术上，任何你看到的现象都会有他的原因，所谓存在即合理，诡异的事情，还是因为没看到本质，其实根本不诡异。