Hattie Zhou: What Algorithms can Transformers Learn? A Study in Length Generalization

Поделиться
HTML-код
  • Опубликовано: 14 ноя 2024

Комментарии • 1

  • @islandfireballkill
    @islandfireballkill 6 месяцев назад

    This is some really interesting work. Love to see people peel back the black box.

Следующие
Автовоспроизведение
Dylan Zhang: Transformer-Based Models Are Not Yet Perfect At Learning 2 Emulate Structural Recursion51:07Dylan Zhang: Transformer-Based Models Are Not Yet Perfect At Learning 2 Emulate Structural Recursion
Dylan Zhang: Transformer-Based Models Are Not Yet Perfect At Learning 2 Emulate Structural RecursionFormal Languages and Neural Networks Seminar
Просмотров 254
Nouha Dziri: Faith and Fate: Limits of Transformers on Compositionality48:50Nouha Dziri: Faith and Fate: Limits of Transformers on Compositionality
Nouha Dziri: Faith and Fate: Limits of Transformers on CompositionalityFormal Languages and Neural Networks Seminar
Просмотров 1,4 тыс.
Quantum Computer Drains Old Bitcoin Wallet41:18Quantum Computer Drains Old Bitcoin Wallet
Quantum Computer Drains Old Bitcoin WalletFoMO
My Chemical Romance - “Long Live": The Black Parade North American Tour01:20My Chemical Romance - “Long Live": The Black Parade North American Tour
My Chemical Romance - “Long Live": The Black Parade North American TourMy Chemical Romance
Просмотров 520 тыс.
Showing Sean my likes again26:36Showing Sean my likes again
Showing Sean my likes againGoobus
Просмотров 547 тыс.
The Amateur | Official Trailer02:25The Amateur | Official Trailer
The Amateur | Official Trailer20th Century Studios
Просмотров 4 млн
I'm Going To War With Mike Tyson.13:15I'm Going To War With Mike Tyson.
I'm Going To War With Mike Tyson.Jake Paul
Просмотров 651 тыс.
William Merrill: Transformers are Uniform Constant Depth Threshold Circuits34:33William Merrill: Transformers are Uniform Constant Depth Threshold Circuits
William Merrill: Transformers are Uniform Constant Depth Threshold CircuitsFormal Languages and Neural Networks Seminar
Просмотров 909
Nur Lan: Bridging the Empirical-Theoretical Gap in Neural Network Formal Language Learning38:21Nur Lan: Bridging the Empirical-Theoretical Gap in Neural Network Formal Language Learning
Nur Lan: Bridging the Empirical-Theoretical Gap in Neural Network Formal Language LearningFormal Languages and Neural Networks Seminar
Просмотров 338
Andy Yang: Masked Hard-Attention Transformers and B-RASP Recognize Exactly the Star-Free Languages35:09Andy Yang: Masked Hard-Attention Transformers and B-RASP Recognize Exactly the Star-Free Languages
Andy Yang: Masked Hard-Attention Transformers and B-RASP Recognize Exactly the Star-Free LanguagesFormal Languages and Neural Networks Seminar
Просмотров 117
Will Merrill: The Illusion of State in State-Space Models45:43Will Merrill: The Illusion of State in State-Space Models
Will Merrill: The Illusion of State in State-Space ModelsFormal Languages and Neural Networks Seminar
Просмотров 1,6 тыс.
Zhiyuan Li: Chain Of Thought Empowers Transformers To Solve Inherently Serial Problems55:19Zhiyuan Li: Chain Of Thought Empowers Transformers To Solve Inherently Serial Problems
Zhiyuan Li: Chain Of Thought Empowers Transformers To Solve Inherently Serial ProblemsFormal Languages and Neural Networks Seminar
Просмотров 474
Yash Sarrof: The Expressive Capacity of State Space Models: A Formal Language Perspective48:38Yash Sarrof: The Expressive Capacity of State Space Models: A Formal Language Perspective
Yash Sarrof: The Expressive Capacity of State Space Models: A Formal Language PerspectiveFormal Languages and Neural Networks Seminar
Просмотров 284
MLBBQ: “Are Transformers Effective for Time Series Forecasting?” by Joanne Wardell56:33MLBBQ: “Are Transformers Effective for Time Series Forecasting?” by Joanne Wardell
MLBBQ: “Are Transformers Effective for Time Series Forecasting?” by Joanne WardellSergey Plis
Просмотров 4,3 тыс.
Mark Rofin: Why are Sensitive Functions Hard for Transformers?36:11Mark Rofin: Why are Sensitive Functions Hard for Transformers?
Mark Rofin: Why are Sensitive Functions Hard for Transformers?Formal Languages and Neural Networks Seminar
Просмотров 345
Bohang Zhang: Towards Revealing the Mystery behind Chain of Thought: A Theoretical Perspective37:19Bohang Zhang: Towards Revealing the Mystery behind Chain of Thought: A Theoretical Perspective
Bohang Zhang: Towards Revealing the Mystery behind Chain of Thought: A Theoretical PerspectiveFormal Languages and Neural Networks Seminar
Просмотров 177
САМОЕ ДОРОГОЕ BMW. ROLLS-ROYCE CULLINAN.38:59САМОЕ ДОРОГОЕ BMW. ROLLS-ROYCE CULLINAN.
САМОЕ ДОРОГОЕ BMW. ROLLS-ROYCE CULLINAN.AcademeG
Просмотров 827 тыс.
СМАРТФОН ИЛИ ПРОФЕССИОНАЛЬНЫЙ 3D-СКАНЕР? КТО ЛУЧШЕ СПРАВИТСЯ?21:58СМАРТФОН ИЛИ ПРОФЕССИОНАЛЬНЫЙ 3D-СКАНЕР? КТО ЛУЧШЕ СПРАВИТСЯ?
СМАРТФОН ИЛИ ПРОФЕССИОНАЛЬНЫЙ 3D-СКАНЕР? КТО ЛУЧШЕ СПРАВИТСЯ?SuperCrastan
Просмотров 308 тыс.
ДИКТАНТ (смешное видео, приколы, юмор, поржать )01:00ДИКТАНТ (смешное видео, приколы, юмор, поржать )
ДИКТАНТ (смешное видео, приколы, юмор, поржать )Натурал Альбертович
Просмотров 2 млн
Закат и новый мир. Империя без автомобилей. Эпизод V.2:11:53Закат и новый мир. Империя без автомобилей. Эпизод V.
Закат и новый мир. Империя без автомобилей. Эпизод V.Асафьев Стас
Просмотров 891 тыс.
ИГРОК АМКАЛА ЗНАКОМ С МБАППЕ ЧЕРЕЗ РУКОПОЖАТИЕ🤯00:33ИГРОК АМКАЛА ЗНАКОМ С МБАППЕ ЧЕРЕЗ РУКОПОЖАТИЕ🤯
ИГРОК АМКАЛА ЗНАКОМ С МБАППЕ ЧЕРЕЗ РУКОПОЖАТИЕ🤯Le Classique Live
Просмотров 114 тыс.
Уважайте акулу и она будет уважать вас!01:00Уважайте акулу и она будет уважать вас!
Уважайте акулу и она будет уважать вас!Mikhail Boldurev
Просмотров 695 тыс.
Оживляем мотор СГОРЕВШЕЙ BMW M4!57:15Оживляем мотор СГОРЕВШЕЙ BMW M4!
Оживляем мотор СГОРЕВШЕЙ BMW M4!Мастерская Синдиката
Просмотров 1,9 млн
"ДОРОГА ЯРОСТИ" ЛУЧШАЯ ИДЕЯ для ВЫЖИВАНИЯ(DDprod.) в РАСТ/RUST1:22:24"ДОРОГА ЯРОСТИ" ЛУЧШАЯ ИДЕЯ для ВЫЖИВАНИЯ(DDprod.) в РАСТ/RUST
"ДОРОГА ЯРОСТИ" ЛУЧШАЯ ИДЕЯ для ВЫЖИВАНИЯ(DDprod.) в РАСТ/RUSTДЕРЖИ ДВЕРЬ
Просмотров 1,4 млн