Olá galera. Mais uma dica para a categoria Shell. Se precisa eliminar aquelas linhas em duplicidade em um arquivo uma maneira fácil é usando o sort e o cut em conjunto.
cat -n file_name | sort -uk2 | sort -nk1 | cut -f2-
* file_name: Onde file_name é o nome do arquivo que estamos lendo