Eliminar líneas duplicadas de una lista

Qué cuenta como "la misma línea"

La deduplicación vale lo que valga la regla que uses para decidir que dos líneas son iguales. La herramienta construye una clave de comparación para cada línea — recortada, en minúsculas y normalizada según las casillas — y trata como copias a las líneas que comparten clave. Lo que se imprime es la línea original, no la clave, así que activar Ignorar mayúsculas y minúsculas no pasa tu resultado a minúsculas. Solo cambia qué se considera una repetición.

Esa distinción importa cuando las copias difieren. Si tu lista contiene Acme Ltd y ACME LTD, ignorar mayúsculas y minúsculas las une en una sola, y Qué copia conservar decide qué grafía sobrevive. Conservar la primera es lo que quieres para un log o una lista a la que solo se añaden entradas. Conservar la última es lo que quieres cuando las entradas posteriores son correcciones.

Por qué dos líneas que se ven idénticas se niegan a coincidir

Esta es la queja más frecuente sobre cualquier deduplicador, y casi nunca es un fallo de la herramienta.

• Espacios al final. Un espacio después de una palabra es invisible y hace que la línea sea única. Por eso el recorte viene activado por defecto.
• Espacios de no separación. Copiar desde una página web o un procesador de texto trae con frecuencia U+00A0 en lugar de un espacio normal. Se ve idéntico y es otro carácter. El recorte sí lo elimina, porque JavaScript lo cuenta como espacio en blanco, pero uno que quede en medio de la línea sobrevive.
• Normalización Unicode. La letra é puede guardarse como un solo punto de código (U+00E9) o como una e simple seguida de un acento agudo combinante (U+0301). Se ven igual y se comparan como cadenas distintas. Los nombres de archivo de macOS usan históricamente la forma descompuesta, mientras que Windows y casi toda la entrada web usan la compuesta, así que una lista armada desde ambas fuentes tendrá gemelas. Normalizar acentos convierte todo a la forma compuesta (NFC) antes de comparar.
• Finales de línea. El texto de Windows termina las líneas con un retorno de carro más un salto de línea. La herramienta quita el retorno de carro antes que nada, así que una lista con finales mezclados no produce duplicados fantasma.

Lo que la normalización no arregla son los caracteres parecidos de alfabetos distintos. La а cirílica y la a latina son letras distintas que comparten la forma por casualidad, y ninguna forma de normalización las fusiona. Lo mismo vale para los caracteres latinos de ancho completo y para el apóstrofo curvo frente al recto. Si una línea se niega tercamente a deduplicarse, esa suele ser la razón, y hay que buscar y reemplazar el carácter en sí.

La versión de línea de comandos, y su trampa

En un shell Unix el equivalente es uniq, y tiene una trampa que engaña a la gente durante años: uniq solo elimina duplicados adyacentes. Lee el archivo como un flujo y compara cada línea con la anterior, así que una lista con repeticiones dispersas sale sin cambios. Lo habitual es sort file | uniq, o directamente sort -u file.

Esta herramienta funciona distinto. Guarda cada clave distinta en una tabla hash, así que encuentra las repeticiones sin importar lo lejos que estén, y el orden original se conserva. Eso cuesta memoria proporcional al número de líneas distintas, que es el precio que uniq evita al leer en flujo.

Dónde deja de ser esta la herramienta adecuada

Todo se ejecuta en la pestaña de tu navegador y en un solo hilo. Unos cientos de miles de líneas no son problema; un log de varios millones de líneas va a congelar la pestaña mientras trabaja, y pegar un archivo tan grande en un cuadro de texto ya es desagradable antes de pulsar nada. Para eso, la respuesta es sort -u o awk.

También es estrictamente por líneas. Un CSV en el que un campo contenga un valor entrecomillado con un salto de línea dentro se partirá en ese salto, y las dos mitades se tratarán como registros separados. Deduplicar un CSV por una sola columna no es algo que pueda hacer una herramienta de líneas — necesitas una hoja de cálculo o un script que entienda el formato.

Por último, la conversión entre mayúsculas y minúsculas usa las reglas por defecto de tu navegador. Son correctas para la inmensa mayoría del texto y equivocadas en un par de casos conocidos: la i turca con punto y sin punto no se convierte como espera quien lee turco, y la ß alemana pasa a SS en mayúsculas sin camino de vuelta.

Última actualización 19 de septiembre de 2026