안녕하세요, 데이터사이언스학과 석사과정 정원렬입니다. 김정현님의 발표 잘 들었습니다. Transformer의 Long Sequence 처리에서 발생하는 비효율성을 극복하기 위해 Mamba가 제안된 점이 매우 흥미로웠습니다. 특히 Selective SSM을 통해 Transformer++의 성능을 능가하고, 하드웨어 병렬 알고리즘을 활용하여 학습 효율성을 극대화한 점이 인상적이었습니다. Mamba가 Transformer보다 5배 빠른 Inference 성능을 보이면서도 긴 시퀀스 처리에서 뛰어난 성능을 발휘하는 점에서, 앞으로 다양한 Foundation 모델의 백본으로 활용될 가능성이 매우 기대됩니다. 좋은 발표 감사합니다.
안녕하세요 데이터사이언스학과에 재학중인 신호준 입니다. 발표 잘 들었습니다. 이 발표를 통해 Transformer의 Long Sequence에서 발생하는 비효율성을 극복하기 위한 Mamba의 혁신적인 접근을 알게 되어 매우 흥미로웠습니다. 특히 Selective SSM을 통한 성능 향상과 하드웨어 병렬 알고리즘을 통해 학습 효율성을 개선한 점이 인상적이었습니다. Transformer++보다 빠른 추론 성능과 긴 시퀀스에서도 뛰어난 성능을 보이는 Mamba가 다양한 Foundation 모델의 백본으로 활용될 가능성이 매우 기대됩니다. 앞으로 이 분야에서의 발전이 기대됩니다.
안녕하세요 빅데이터 관리 및 응용 연구실 석사과정 김민선입니다. 본 연구는 attention에 기반한 Transformer의 계산 비효율성을 해결함과 동시에 뛰어난 성능을 제공하는 새로운 시퀀스 모델 Mamba를 제안합니다. 제안하는 모델은 기존의 structured SSM이 본질적으로 정보를 선택적으로 전파하거나 잊어버릴 수 없기 때문에 이를 보완하기 위해 매개변수를 입력의 함수로 설정함으로써 해결하고자 하였습니다. Language에도 적용될 수 있을 정도의 높을 성능을 보인만큼, SSM 관련 연구들에서 향후 많은 연구과제와 가능성이 남아있는 연구 분야라고 생각합니다.
![[DS Interface] OOD Aware Supervised Contrastive Learning](http://i.ytimg.com/vi/913rlLOrtzA/mqdefault.jpg)
![[DS Interface] OOD Aware Supervised Contrastive Learning](/img/tr.png)
안녕하세요, 데이터사이언스학과 석사과정 정원렬입니다. 김정현님의 발표 잘 들었습니다. Transformer의 Long Sequence 처리에서 발생하는 비효율성을 극복하기 위해 Mamba가 제안된 점이 매우 흥미로웠습니다. 특히 Selective SSM을 통해 Transformer++의 성능을 능가하고, 하드웨어 병렬 알고리즘을 활용하여 학습 효율성을 극대화한 점이 인상적이었습니다. Mamba가 Transformer보다 5배 빠른 Inference 성능을 보이면서도 긴 시퀀스 처리에서 뛰어난 성능을 발휘하는 점에서, 앞으로 다양한 Foundation 모델의 백본으로 활용될 가능성이 매우 기대됩니다. 좋은 발표 감사합니다.
안녕하세요 데이터사이언스학과에 재학중인 신호준 입니다. 발표 잘 들었습니다. 이 발표를 통해 Transformer의 Long Sequence에서 발생하는 비효율성을 극복하기 위한 Mamba의 혁신적인 접근을 알게 되어 매우 흥미로웠습니다. 특히 Selective SSM을 통한 성능 향상과 하드웨어 병렬 알고리즘을 통해 학습 효율성을 개선한 점이 인상적이었습니다. Transformer++보다 빠른 추론 성능과 긴 시퀀스에서도 뛰어난 성능을 보이는 Mamba가 다양한 Foundation 모델의 백본으로 활용될 가능성이 매우 기대됩니다. 앞으로 이 분야에서의 발전이 기대됩니다.
안녕하세요 빅데이터 관리 및 응용 연구실 석사과정 김민선입니다. 본 연구는 attention에 기반한 Transformer의 계산 비효율성을 해결함과 동시에 뛰어난 성능을 제공하는 새로운 시퀀스 모델 Mamba를 제안합니다. 제안하는 모델은 기존의 structured SSM이 본질적으로 정보를 선택적으로 전파하거나 잊어버릴 수 없기 때문에 이를 보완하기 위해 매개변수를 입력의 함수로 설정함으로써 해결하고자 하였습니다. Language에도 적용될 수 있을 정도의 높을 성능을 보인만큼, SSM 관련 연구들에서 향후 많은 연구과제와 가능성이 남아있는 연구 분야라고 생각합니다.