Entresijos de Unicode: grafemas, puntos de código y formas de normalización

Si alguna vez te has preguntado por qué tu código dice que la cadena "é" tiene una longitud de 2 en lugar de 1, o por qué un simple emoji puede romper tu base de datos, te has encontrado con la complejidad oculta de Unicode. En un mundo digital globalizado y moderno, entender el texto ya no es tan simple como asignar un byte a un carácter.

En esta guía, exploraremos los conceptos fundamentales de Unicode, desde los puntos de código brutos hasta los grupos de grafemas de alto nivel, y explicaremos por qué la normalización de texto es el héroe anónimo de la comparación de cadenas.

---

1. Los bloques de construcción: puntos de código y unidades de código

En su esencia, Unicode es una lista gigante de cada carácter utilizado por los seres humanos, desde los jeroglíficos del antiguo Egipto hasta los últimos emojis.

Puntos de código (El "ID")

Un Punto de código es un número único asignado a un carácter. Se escribe como U+ seguido de un número hexadecimal. Por ejemplo:

• U+0041 es 'A'
• U+1F600 es '😀'

Unidades de código (Los "Bytes")

Una Unidad de código es la unidad física de almacenamiento utilizada para representar un punto de código. El tamaño depende de la codificación (UTF-8 usa unidades de 8 bits, UTF-16 usa unidades de 16 bits).

El par de sustitutos de UTF-16

UTF-16 es la codificación interna utilizada por JavaScript, Java y C#. Debido a que utiliza unidades de código de 16 bits, solo puede representar $2^{16} = 65,536$ caracteres directamente. Para representar caracteres fuera de este rango (como la mayoría de los emojis), UTF-16 utiliza un Par de sustitutos: dos unidades de 16 bits que se combinan para representar un único punto de código.

• Ejemplo: El emoji '😀' es un punto de código, pero ocupa dos unidades UTF-16. Es por eso que "😀".length en JavaScript devuelve 2.

---

2. Grupos de grafemas: lo que ve el usuario

Mientras que un programador ve puntos de código, un usuario ve Grafemas.

¿Qué es un grupo de grafemas?

Un Grupo de grafemas es una secuencia de uno o más puntos de código que se muestran como una única unidad visual.

• Ejemplo: El carácter 'é' se puede almacenar como:
  1. Un único punto de código: U+00E9 (LATIN SMALL LETTER E WITH ACUTE)
  2. Una combinación de dos puntos de código: U+0065 (letra 'e') + U+0301 (acento agudo combinable) Para el usuario, estos parecen idénticos. Para la computadora, son cadenas completamente diferentes.

---

3. El poder de la normalización: NFC y NFD

Para que la comparación de cadenas sea confiable, debemos "normalizar" nuestro texto para que los caracteres visualmente idénticos tengan la misma representación binaria.

Forma de normalización D (NFD) - Descomposición canónica

NFD divide los caracteres en sus componentes.

• 'é' se convierte en 'e' + '´' (dos puntos de código).

Forma de normalización C (NFC) - Composición canónica

NFC combina los componentes en un solo carácter siempre que sea posible.

• 'e' + '´' se convierte en 'é' (un punto de código).
• La mayoría de las aplicaciones web utilizan NFC como estándar.

Normalización de compatibilidad (NFKC, NFKD)

Estas formas van un paso más allá y normalizan caracteres que son "visualmente similares" pero no idénticos en significado. Por ejemplo, convertirá el símbolo '²', utilizado para "al cuadrado", en el dígito '2'. Esto es útil para la indexación de búsqueda, pero puede perder información de formato importante.

---

4. Mejores prácticas para desarrolladores

1. Normalizar siempre la entrada del usuario: Al comparar cadenas (como nombres de usuario o contraseñas), normalícelas siempre a NFC antes de almacenarlas o verificarlas.
2. Usar bibliotecas que reconozcan grafemas: Si necesita contar la longitud de una cadena correctamente (tal como la ve un usuario), no use .length. Use una biblioteca o la API Intl.Segmenter en los navegadores modernos.
3. Tener cuidado con las longitudes de UTF-16: Recuerde que muchos caracteres son pares de sustitutos. En Python o Rust, las cadenas son UTF-8 por defecto, pero en JS/C#/Java, debe tener cuidado con la indexación.

---

Conclusión

Unicode es una obra maestra de la ingeniería moderna, diseñada para resolver el caos de las codificaciones de caracteres heredadas. Al comprender la diferencia entre un punto de código y un grafema, y dominar las formas de normalización como NFC y NFD, puede crear aplicaciones que manejen el texto correctamente para cada usuario, independientemente de su idioma o del dispositivo que utilice.