BASH: Split-Strings ohne Trennzeichen und behalten nur erste Teilzeichenfolge

Question

Ich habe eine CSV-Datei mit 7 Spalten und ich bin nur an der Änderung der ersten Spalte interessiert. Tatsächlich erscheint in einigen Zeilen ein Zeilenname n mal in verketteter Weise ohne Leerzeichen. Ich brauche ein Skript, das den Beginn der Duplizierung erkennt und alle Duplikate entfernt.

Beispiel eines Zeilennamen unter anderem:

Row name = EXAMPLE1.ABC_DEF.panel4EXAMPLE1.ABC_DEF.panel4EXAMPLE1.ABC_DEF.panel4

ersetzen durch: EXAMPLE1.ABC_DEF.panel4

In den verschiedenen Reihen:

• n kann variieren

• Die Länge des Zeilennamen

• Die Struktur des Zeilennamen kann variieren (zB kann variieren. Menge an _ und .), aber es ist immer ohne Raum

zusammengestellt Was ich versucht habe:

:%s/(.+)\1+/\1/ 

Schritt-für-Schritt:

• %s : ersetzen Sie in der ganzen Datei

• (.+)\1+: Erste Erfassungsgruppe. .+ entspricht einem beliebigen Zeichen (mit Ausnahme von Leitungsabschlüssen), + ist der Quantifizierer - Übereinstimmungen zwischen einem und unbegrenzten Zeiten, so oft wie möglich, nach Bedarf zurückgeben.

• \1+: stimmt mit dem gleichen Text wie zuletzt durch die erste abgestimmte Gruppe

• Ersatz von \1

Erfassung erhalte ich die folgenden Fehler jedoch:

• E65: Unzulässige Rückreferenz

E476 0

• : ungültiger Befehl

Answer 1

Von dem, was ich verstehe, was Sie brauchen nur eine Zeile enthalten EXAMPLE1.ABC_DEF.panel4.In diesem Fall können Sie wie folgt vorgehen:

Entfernen Sie zuerst Duplikate in einer Zeile:

sed -i "s/EXAMPLE1.ABC_DEF.panel4.*/EXAMPLE1.ABC_DEF.panel4/g" 

Dann duplizierte Linien entfernen:

awk '!a[$0]++' 

Answer 2

Wenn alle Reihen des Formats sind gab Ihnen in die Frage (wie EXAMPLExyzEXAMPLExyz), dann sollte dieses Werk

awk -F"EXAMPLE" '{print FS $2}' file 

diese „Beispiel nimmt "als Feldbegrenzer und fordert ihn auf, nur die erste 'Spalte' zu drucken. Es wird "EXAMPLE" zu dieser ersten Spalte vorangestellt (durch Aufruf der eingebauten awk Variablen FS). Danke, @andlrc.

Keine ideale Lösung, aber möglicherweise gut genug für diesen Zweck.

Answer 3

Dieses Skript, mit dem ersten arg ist die Zeichenfolge, zu testen, kann das größte doppelte String abrufen (dh „totototo“ done „toto“, nicht „zu“)

#!/usr/bin/env bash 
row_name="$1" 
#test duplicate from the longest to the smallest, by how many we need to split the string ? 
for ((i=2; i<${#row_name}; i++)) 
do 
    match="True" 
    #continue test only if it's mathematically possible 
    if ((${#row_name} % i)); then 
    continue 
    fi 
    #length of the potential duplicate substring 
    len_sub=$((${#row_name}/i)) 
    #test if the first substring is equal to each others 
    for ((s=1; s<i; s++)) 
    do 
    if ! [ "${row_name:0:${len_sub}}" = "${row_name:$((len_sub * s)):${len_sub}}" ]; then 
     match="False" 
     break 
    fi 
    done 
    #each substring are equal, so return string without duplicate 
    if [ $match = "True" ]; then 
    row_name="${row_name:0:${len_sub}}" 
    break 
    fi 
done 
echo "$row_name"