Olá galera. Mais uma dica para a categoria Shell. Se precisa eliminar aquelas linhas em duplicidade em um arquivo uma maneira fácil é usando o sort e o cut em conjunto.

cat -n file_name | sort -uk2 | sort -nk1 | cut -f2-

* file_name: Onde file_name é o nome do arquivo que estamos lendo