Александр Геннадьевич, добрый день! Вопрос возник по слайду 20 (42:30). На самом нижнем уровне нарисован исходный тензор для предложения "The cat sat on the red mat". Судя по изображению, слова представляются векторами размерности 5. Тогда ведь свертка (красная линия) должна действовать не по строке, а захватывать всю размерность 5? (по аналогии с канальностью изображений).
Да, вроде так и делается, если верить оригинальной статье (п.3.1) и реализациям, которые есть на гитхабе. Возможно, рисунок не совсем корректный, тут возникает ещё вопрос, почему не меняется размерность представлений (число строк в нарисованных матрицах).
Александр Геннадьевич, добрый день! Вопрос возник по слайду 20 (42:30). На самом нижнем уровне нарисован исходный тензор для предложения "The cat sat on the red mat". Судя по изображению, слова представляются векторами размерности 5. Тогда ведь свертка (красная линия) должна действовать не по строке, а захватывать всю размерность 5? (по аналогии с канальностью изображений).
Да, вроде так и делается, если верить оригинальной статье (п.3.1) и реализациям, которые есть на гитхабе. Возможно, рисунок не совсем корректный, тут возникает ещё вопрос, почему не меняется размерность представлений (число строк в нарисованных матрицах).