解读这个sed单行

我想从文件中删除重复的行,而不对文件进行排序.

为什么这对我有用的例子:从Bash的$HISTFILE中删除重复项而不改变时间顺序.

这个页面有一个单行来做到这一点:

http://sed.sourceforge.net/sed1line.txt

这是单线:

sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P'

我问了一个系统管理员,他告诉我“你只是复制脚本并且它有效,不要对此进行哲学思考”,这很好,所以我在这里问这是一个开发者论坛,我相信人们可能会像我一样,使用他们不理解的东西是可疑的:

您能否提供一个伪代码解释“黑魔法”脚本正在做什么,拜托?我试着解析脑袋里的咒语,但特别是中央部分很难.

我会注意到这个脚本似乎不适用于我当前语言环境中的sed(GNU sed 4.1.5)副本.如果我用LC_ALL = C运行它可以正常工作.

这是脚本的注释版本. sed基本上有两个寄存器,一个叫做“模式空间”,用于(基本上)当前输入行,另一个是“保持空间”,可以由脚本用于临时存储等.

sed -n '                    # -n: by default, do not print
    G                       # Append hold space to current input line
    s/\n/&&/                # Add empty line after current input line
    /^\([ -~]*\n\).*\n\1/d  # If the current input line is repeated in the hold space, skip this line
                            # Otherwise, clean up for storing all input in hold space:
    s/\n//                  # Remove empty line after current input line
    h                       # Copy entire pattern space back to hold space
    P                       # Print current input line'

我想添加和删除空行是为了使中心模式可以保持相对简单(你可以指望在当前行之后和匹配行开始之前有一个换行符).

所以基本上,整个输入文件(没有重复)在保持空间中保持(以相反的顺序),如果模式空间的第一行(当前输入行)在模式空间的其余部分中找到(当脚本开始处理此行时,从保留空间复制了),我们跳过它并重新开始.

条件中的正则表达式可以进一步分解;

^    # Look at beginning of line (i.e. beginning of pattern space)
\(   # This starts group \1
[ -~] # Any printable character (in the C locale)
*     # Any number of times
\n    # Followed by a newline
\)   # End of group \1 -- it contains the current input line
.*\n # Skip any amount of lines as necessary
\1   # Another occurrence of the current input line, with newline and all

如果此模式匹配,则脚本将丢弃模式空间并从下一个输入行(d)重新开始.

通过将[ – 〜]更改为[[:print:]],可以使其独立于区域设置工作

相关文章
相关标签/搜索