🔮 Descubre el intrigante misterio de cómo el Transformer comprende la posición de las palabras en una secuencia.
⛓️ Mientras las Redes Neuronales Recurrentes manejan las palabras una a una en un orden específico, el Transformer, al realizar el cálculo de autoatención con Query, Key y Value, no considera el orden de las palabras, obteniendo resultados idénticos independientemente de su disposición en la secuencia. Es en este momento que nos percatamos de que el modelo ignora la posición.
Aquí entra en acción el héroe subestimado: el codificador posicional.
🧭 En este video, exploraremos las diversas opciones de codificador posicional y nos sumergiremos en los detalles de la fórmula propuesta p...