[Paper Review] Transformer to T5 (XLNet, RoBERTa, MASS, BART, MT-DNN,T5)

[@KimJunsaek]

발표자의뛰어난 분석력 정리력에 감탄을 하고갑니다

[@hyungrak.kim_ko5555]

MT-DNN은 각 Task를 순차적으로 학습하는 Continual Learning 기법이 적용된거 같은데, 그렇다면 Pretraining 시 Catastrophic Forgetting문제 점은 어떻게 해결하고 있나요.??

[@yu-kyung-lee]

안녕하세요 발표자 이유경입니다. 좋은 질문 감사합니다! MT-DNN의 경우 각 TASK를 순차적으로 학습하지 않고, 랜덤하게 특정 Task의 Data를 Batch단위로 뽑아 학습을 진행합니다. 또한 MultiTask learning 기반의 모델이므로 Continual Learning과는 조금 다른 가정을 가지고 있습니다. CL은 고정된 TASK 순서로 학습을 진행해야하지만 해당 모델은 TASK 학습 순서가 고정되어 있지 않습니다.

[@hyungrak.kim_ko5555]

@@yu-kyung-lee 답변 감사합니다!! 너무 좋은 발표였어요!

[@yu-kyung-lee]

@@hyungrak.kim_ko5555 좋은 말씀 감사합니다 🙂!

[@고기맛고구마]

정말 많은 도움이 되었습니다. 정말 감사드립니다

[@kanjangmommy6406]

발표 잘 들었습니다 감사합니다.

[@aaannn9407]

정말 잘 들었습니다. 감사드립니다!!

[@케이케이-u8y]

설명 진짜 잘하시네요 , 잘들었습니다.

[@byeongjukim9816]

좋은발표 감사합니다..!

[@9sup2]

좋은설명 감사합니다 ㅎㅎ

[@prows12]

감사합니다

[@user-ze1ll4cz1j]

24:40 BART

[@김아무개-f9v]

감사합니다.

[@김아무개-f9v]

roberta 19:45

[@ilovemyminutes]

감사합니다~

[@choeungjinjin]

감사합니다. ^^

[@bts.goodlife]

엄지 척 드리고 갑니다.

[@frances_sb]

설명도 깔끔하고 어려운 내용인데 한 눈에 알아볼 수 있도록 정리도 해주셔서 공부에 많은 도움이 되었습니다. 감사합니다!

[@i4r-mk2]

감사합니다.