Aller au contenu principal

uniq

SYNTAXE​

Shell 
uniq [OPTION] ... [ENTRÉE [SORTIE]]

INFORMATION​

Filtrer les lignes successives identiques du fichier d'ENTRÉE (ou de l'entrée standard), écrire dans le fichier de SORTIE (ou vers la sortie standard).

Sans options, les lignes identiques sont fusionnées avec la première occurrence.

Les paramètres obligatoires pour les options de forme longue le sont aussi pour les options de forme courte.

Le fichier d'entrée doit être un fichier texte. Un fichier texte est un fichier contenant des caractères organisés en une ou plusieurs lignes. Les lignes ne peuvent pas dépasser 2048 octets (y compris les caractères de retour à la ligne) ni contenir de caractères nuls.

L'environnement de langue nationale en cours détermine les caractères <blank> utilisés par l'indicateur -f ainsi que la façon dont l'indicateur -s interprète les octets comme un caractère.

La commande uniq compare des lignes entières par défaut.

Les lignes en double doivent être adjacentes (avant d'exécuter la commande uniq, utilisez la commande sort pour que toutes les lignes en double soient adjacentes.).

Exemple :

  • permet de trier les lignes de file selon le nombre de fois où elles apparaissent.
Shell 
sort file | uniq -c | sort -n

PACKAGE​

Shell 
apt install coreutils

OPTIONS​

OptionsDescription
-c, --countpréfixer les lignes par le nombre d'occurrences
-d, --repeatedn'afficher que les lignes dupliquées, une par groupe
-Dafficher toutes les lignes dupliquées
--all-repeated[=MÉTHODE]identique à -D, mais permettre de séparer les groupes par une ligne vide; valeurs possibles pour MÉTHODE: none (par défaut), prepend ou separate.
-f, --skip-fields=Nne pas comparer les N premiers champs
--group[=MÉTHODE]montrer tous les éléments, en séparant les groupes par une ligne vide; valeurs possibles pour MÉTHODE: separate (par défaut), prepend, append ou both.
-i, --ignore-caseignorer les différences de casse
-s, --skip-chars=Nne pas comparer les N premiers caractères
-u, --uniquen'afficher que les lignes uniques
-z, --zero-terminatedle délimiteur de lignes est l’octet NULL, pas le changement de ligne
-w, --check-chars=Nne pas comparer plus de N caractères par ligne
--helpafficher l'aide-mémoire et quitter.
--versionafficher les informations de version et quitter.
info

uniq ne détecte pas les lignes répétées, sauf si elles sont adjacentes. Il faut trier l'entrée d'abord ou utiliser sort -u sans uniq.

VALEUR RENVOYEE​

Cette commande renvoie les valeurs de sortie suivantes :

CodeDescriptif
0L'exécution de la commande a abouti.
>0Une erreur s'est produite.

FICHIERS​

CheminDescriptif
/usr/bin/uniqContient la commande uniq

MAN​

C'est possible d'avoir la page man avec la commande :

Shell 
man uniq

ou

Shell 
uniq --help

EXEMPLES​

Supprimer des lignes répétées dans un fichier et enregistrer le résultat dans un autre fichier​

Pour supprimer des lignes répétées dans un fichier nommé fruit et l'enregistrer dans un fichier nommé newfruit :

Fichier (source) : fruit

Texte 
apples
apples
peaches
pears
bananas
cherries
cherries
Shell 
uniq fruit newfruit

alors le nouveau fichier newfruit contient les lignes suivantes après l'exécution de la commande uniq :

Sortie 
apples
peaches
pears
bananas
cherries

N'afficher que les lignes présentes une fois​

Il est également possible de ne faire ressortir que les lignes présentes une seule fois dans notre fichier, les lignes présentes plusieurs fois seront alors totalement exclues de l'affichage :

Fichier (source) : file.txt

11
11
22
33
33
44
55
55
Shell 
uniq -u file.txt
Sortie 
22
44

N'afficher que les lignes présentes plusieurs fois​

Il est également possible de n'afficher que les lignes présentes plusieurs fois dans le fichier donné, celles-ci seront affichées une seule fois dans la sortie :

Fichier (source) : file.txt

11
11
22
33
33
44
55
55
Shell 
uniq -d file.txt
Sortie 
11
33
55

Il est également possible d'effectuer le même traitement mais cette fois ci en affichant toutes les occurrences des lignes présentes plusieurs fois, on utilisera pour cela l'option -D:

Shell 
uniq -D file.txt
Sortie 
11
11
33
33
55
55

Compter les occurrences des lignes en double​

Une autre option très pratique est celle permettant de compter le nombre d'occurrence par ligne avec l'option -c :

Fichier (source) : file.txt

11
11
22
33
33
44
55
55
Shell 
uniq -c file.txt
Sortie 
2 11
1 22
2 33
1 44
2 55

On voit ici que la ligne "11" est présente deux fois, alors que la ligne "22" n'est elle présente qu'une fois. Une petite astuce, on peut utiliser la commande sort pour effectuer un tri croissant de cette sortie :

Shell 
uniq -c file.txt | sort
Sortie 
1 22
1 44
2 11
2 33
2 55

Formatté la sortie de la commande uniq​

Fichier (source) : file.txt

I love music.
I love music.
I love music.

I love music of Kartik.
I love music of Kartik.

Thanks.
Shell 
sort file.txt | uniq -c | awk '{print $2 ", " $1}'
Sortie 
, 2
I, 2
I, 3
Thanks., 1