假设我有两个文件，en.csv and sp.csv，每个包含恰好两个逗号分隔的记录：

en.csv:

1,dog,red,car
3,cat,white,boat

sp.csv:

2,conejo,gris,tren
3,gato,blanco,bote

如果我执行

join -t, -a 1 -a 2 -e MISSING en.csv sp.csv

我得到的输出是：

1,dog,red,car
2,conejo,gris,tren
3,cat,white,boat,gato,blanco,bote

请注意，所有缺失的字段均已折叠。为了获得“正确的”完整外部联接，我需要指定一种格式；因此

join -t, -a 1 -a 2 -e MISSING -o 0,1.2,1.3,1.4,2.2,2.3,2.4 en.csv sp.csv

yields

1,dog,red,car,MISSING,MISSING,MISSING
2,MISSING,MISSING,MISSING,conejo,gris,tren
3,cat,white,boat,gato,blanco,bote

这种生成完整外连接的方法的一个缺点是需要显式指定最终表的格式，这在编程应用程序中可能并不容易做到（其中连接表的标识仅在运行时已知）。

GNU 的最新版本join通过支持特殊格式消除这个缺点auto。因此，有了这样的版本join上面的最后一个命令可以替换为更通用的命令

join -t, -a 1 -a 2 -e MISSING -o auto en.csv sp.csv

我怎样才能用版本达到同样的效果join不支持-o auto option?

背景和细节

我有一个 Unix shell (zsh) 脚本，旨在处理多个 CSV 平面文件，并通过以下方式实现：广泛的使用GNUjoin的“-o auto”选项。我需要修改这个脚本，以便它可以在可用的环境中工作join命令不支持-o auto选项（如 BSD 的情况join以及旧版本的 GNUjoin).

在脚本中此选项的典型用法如下：

_reccut () {
    cols="1,$1"
    shift
    in=$1
    shift
    if (( $# > 0 )); then
        join -t, -a 1 -a 2 -e 'MISSING' -o auto \
          <( cut -d, -f $cols $in | sort -t, -k1 ) \
          <( _reccut "$@" )
    else
        cut -d, -f $cols $in | sort -t, -k1
    fi
}

我举这个例子是为了说明它很难被替换-o auto使用显式格式，因为要包含在此格式中的字段直到运行时才知道。

功能_reccut上面基本上从文件中提取列，并沿着第一列连接结果表。看看如何_reccut在行动中，想象一下，除了上面提到的文件之外，我们还有以下文件

de.csv

2,Kaninchen,Grau,Zug
1,Hund,Rot,Auto

然后，例如，并排显示第 3 列en.csv，第 2 列和第 4 列sp.csv，并且 de.csv 的第 3 列将运行：

% _reccut 3 en.csv 2,4 sp.csv 3 de.csv | cut -d, 2-
red,MISSING,MISSING,Rot
MISSING,conejo,tren,Grau
white,gato,bote,MISSING

这是一个可能适用于您的数据的解决方案，也可能不适用于您的数据。它通过按行号（即记录）对齐 csv 文件中的记录来解决该问题2最终上线2， 记录3123在线号码3123等等。缺失的记录/行用以下内容填充MISSING字段，因此输入文件将被修改为如下所示：

en.csv:

1,dog,red,car
2,MISSING,MISSING,MISSING
3,cat,white,boat

de.csv:

1,Hund,Rot,Auto
2,Kaninchen,Grau,Zug
3,MISSING,MISSING,MISSING

sp.csv:

1,MISSING,MISSING,MISSING
2,conejo,gris,tren
3,gato,blanco,bote

从那里可以很容易地剪切出感兴趣的列，然后使用并排打印它们paste.

为了实现这一点，我们对输入文件进行排序first然后应用一些愚蠢的awk magic:

• 如果一条记录出现在预期的行号上，则打印它
• 否则，打印包含预期数量的尽可能多的行（这是基于文件中第一行的字段数，与join -o auto does) MISSING字段，直到对齐再次正确
• 并非所有输入文件都会有相同数量的记录，因此在这一切之前会搜索最大记录数。然后，更多行MISSING打印字段直到达到最大值。

Code

reccut.sh:

#!/bin/bash

get_max_recnum()
{
    awk -F, '{ if ($1 > max) { max = $1 } } END { print max }' "$@"
}

align_by_recnum()
{
    sort -t, -k1 "$1" \
        | awk -F, -v MAXREC="$2" '
            NR==1 { for(x = 1; x < NF; x++) missing = missing ",MISSING" }
            {
                i = NR
                if (NR < $1)
                {
                    while (i < $1)
                    {
                        print i++ missing
                    }
                    NR+=i
                }
            }1
            END { for(i++; i <= MAXREC; i++) { print i missing } }
            '
}

_reccut()
{
    local infiles=()
    local args=( $@ )
    for arg; do
        infiles+=( "$2" )
        shift 2
    done
    MAXREC="$(get_max_recnum "${infiles[@]}")" __reccut "${args[@]}"
}

__reccut()
{
    local cols="$1"
    local infile="$2"
    shift 2

    if (( $# > 0 )); then
        paste -d, \
            <(align_by_recnum "${infile}" "${MAXREC}" | cut -d, -f ${cols}) \
            <(__reccut "$@")
    else
        align_by_recnum "${infile}" "${MAXREC}" | cut -d, -f ${cols}
    fi
}

_reccut "$@"

Run

$ ./reccut.sh 3 en.csv 2,4 sp.csv 3 de.csv
red,MISSING,MISSING,Rot
MISSING,conejo,tren,Grau
white,gato,bote,MISSING