[저널미팅] SSVEP-Based BCI Using a Novel Visual Stimulus with QR Code Pattern

본 영상은 고려대학교 지능형 신경공학 연구실(ineuro.korea.ac.kr)의 저널 미팅을 위해 촬영한 것입니다. 발표 논문 상세 정보는 다음과 같습니다. (발표자: 심규태)
논문의 제목은 다음과 같습니다
Steady-State Visual Evoked Potential-Based Brain-Computer Interface Using a Novel Visual Stimulus with Quick Response(QR) Code Pattern
Journal: Sensors (2020)
IF : 3.4, Q2 (68.4%) in Chemistry, Analytical
논문 링크: www.mdpi.com/1...

[@Nari___Kim]

흥미로운 연구 소개 감사합니다.
QR코드 형태를 활용하는 것으로 분류 정확도도 상승하고, 눈 피로도도 낮출 수 있다는 점이 흥미로운 것 같습니다. 6:15에 나온 결과는 PSD를 feature로 활용했을 때의 결과일까요? 더해서 다른 분도 비슷한 질문을 해주셨는데, QR코드 형태의 SSVEP 자극이 약간이나마 활용되고 있었던 것인지, 해당 연구에서 처음으로 사용한 것인지 궁금합니다!

[@Shim_Gyutae]

좋은 질문 감사합니다. CCA의 경우 PSD를 feature로 사용하지 않고 사인파 신호와의 상관계수를 지표로 사용하여 분류했다고 합니다. SSVEP 연구에서는 주로 체크무늬 또는 이를 변형한 형태를 많이 사용하였으며 QR코드 형태의 자극은 본 논문에서 처음 제안한 방식이라고 합니다.
감사합니다

[@Sangho_Lee]

좋은 발표 감사합니다. ssvep에 대해 다양한 시도들이 있는 것 같아 매번 흥미롭게 볼 수 있는 것 같습니다..! 4:21에 제시되어있는 자극을 보면 앞선 예시와는 다른 모양의 qr 코드도 보이는데, qr 코드의 모양은 매번 무작위로 변경된 것일까요..? 또 qr코드 형태가 어떤 원리로 체커보드보다 높은 성능을 가질 수 있는 것인지, 저자들은 최초에 무엇을 근거로 qr 코드 형태를 고안하게 되었는지 궁금합니다..!

[@Shim_Gyutae]

좋은 질문 감사합니다. QR 코드의 모양은 각각의 피험자에 대해서 만 무작위로 변경되었고 실험 중에 변경되지는 않았습니다. SSVEP에 주로 사용되는 체크 무늬는 동일한 크기와 위치를 가지는 사각형을 이용하기 때문에 색상이 반전되어도 동일한 패턴이 나타나지만, QR 코드 형태의 경우 크기와 위치가 모두 다르기 때문에 보다 더 명확한 반응의 유발을 기대하고 사용했다고 합니다.
감사합니다

[@hyeran_cheon]

재미있는 연구 소개 감사합니다. QR 코드 형태로 SSVEP 자극을 만드는 것이 흥미롭네요. 7:05의 정확도 비교 결과를 보게 되면, 보통은 PSD와 CCA가 유사하거나 CCA의 정확도가 더 높게 나타나는데, 7 Hz checkerboard flicker pattern에서는 PSD가 CCA보다 꽤나 높게 나타나는 것 같은데, 해당 부분에 대해 언급된 바가 있는지 궁금합니다. 그 외에는 다른 분들이 질문을 해주셔서 해당 답변 참고하도록 하겠습니다. 감사합니다.

[@Shim_Gyutae]

좋은 질문 감사합니다. 논문에 따로 언급된 내용은 없으나 7 Hz 자극이 시각적 피로도가 가장 적었다는 점에서 유추해 볼 때, 7 Hz 자극은 주파수가 비교적 낮으므로 응시하는 과정에서 높은 집중력이 유지되었을 것입니다. 또한 단일 주파수만을 사용했기 때문에 EEG 신호는 7 Hz에서 높은 파워를 가졌을 것이며 이러한 이유로 다른 자극 대비 PSD를 사용했을 때의 정확도가 더 높은 것으로 생각됩니다.
감사합니다

[@LEE_Yun_Sung]

좋은 발표 감사합니다.
SSVEP 연구 패러다임이 참 다양한데 QR 코드 기반의 자극은 처음 접해서 흥미로웠습니다. 다만, SSVEP의 자극 제시방법을 제안하는 연구들을 볼 때마다 드는 생각인데 LED 기반이든, checkerboard 기반의 자극이든 눈의 피험자의 피로도에 큰 변화는 없을것으로 생각됨에도 불구하고 새로운 자극 방법을 사용할 이유가 있는지 궁금합니다.
전통적인 LED, checkerboard 방법을 사용해도 성능이 잘나오는 패러다임인데 새로운 자극 방법을 사용할 필요가 있나 싶어서요...
감사합니다.

[@Shim_Gyutae]

좋은 질문 감사합니다. 말씀하신 대로 SSVEP의 성능은 입증되어 있으나, 아직까지도 장시간 사용 시 시각적 피로가 증가한다는 단점이 존재하여 이를 줄이는데 적합한 자극의 형태에 대한 연구가 진행중인 것으로 보입니다. 또한 AR, VR에 접목하고자 관련 연구가 활발한 것으로 생각됩니다.
감사합니다

[@tak2079]

재미있는 연구 소개감사합니다. QR code는 자극 자체가 전체적으로 번쩍이지 않으니 피로도가 더 낮을수도 있겠다 생각되네요
몇가지 궁금한점이 있는데, 02:29에서 자극에서 H1이 Sub/harmonic을 의미하는 건가요? 아니면 Mixture는 무조건 F와 H1으로 나눠서 자극을 주는건데 4, 5번이 예외적으로 하모닉 성분을 썻기때문에 저렇게 표기를 한건가요?
QR code 형태의 자극을 사용하는 건 새로운 접근방법이긴 한데, 자극안에 있는 네모의 크기가 1x1, 2x2, 3x3 이렇게 다양한데 이런 variation을 준 이유가 궁금합니다. 모양은 QR을 유지하되 checker board랑 같은 크기의 네모만 깜빡이면 되는게 아닌가 싶어서요.
checker board는 모두 같은 모양이지만 전체적으로 바뀌고 QR코드는 중간중간 일부의 네모만 바뀌는 건데 성능이 조금씩 오르는 부분을 보면 전체가 바뀌는게 아니라 일부만 바뀌는게 더 뇌파를 잘 유발한다 라고 해석할 가능성도 있는걸까요?

[@Shim_Gyutae]

좋은 질문 감사합니다. 본 논문에서 합성 주파수 자극이 어떻게 깜빡이는지에 대한 자세한 설명이 없어 그림은 선행 연구 에서 가져온 것입니다. 주파수가 각각 F1과 F2라고 생각하시는 편이 좋을 듯 합니다.
논문에서 다양한 크기의 사각형을 사용하긴 했으나 크기가 다른 사각형이 서로 떨어져 있지 않고 겹쳐있는 경우도 존재하여 실제로는 checker board와 같은 크기의 사각형을 무작위로 배치했다고 봐도 무방하다고 생각합니다.
감사합니다

[@Kim-WooJin]

흥미로운 연구소개 감사합니다. 발표중에 궁금한점이 몇개 있었는데 QR 코드 자극의 경우 검은색과 흰색의 면적은 어떻게 정하나요? 그리고 QR 코드 자극에서는 흰색과 검은색의 상자가 다른 주파수로 반짝인다고 말씀 주셨는데 이것은 체크무늬일때에도 똑같았은 것이였나요? 그리고 정확도 관련해서 일단 대체적으로 QR이 높은것은 보였는데 이것이 유의미 했는지에 대한 통계 같은것은 따로 진행하지 않았나요? 실제 값은 2~3%정도 차이인데 정확도가 높긴한데 높다고 하긴 조금 애매한것같아 질문드립니다. 감사합니다.

[@Shim_Gyutae]

좋은 질문 감사합니다.
1) 검은색과 흰색의 면적에 대해서는 언급된 것이 없어 직접 세어본 결과 비율이 일정하지 않아서 면적은 고려하지 않고 무작위로 생성한 것으로 보입니다.
2) 말씀하신 것과 같이 체크무늬에도 동일하게 흰색과 검은색 부분이 서로 다른 주파수로 깜빡거렸습니다.
3) QR과 체크무늬 자극의 정확도는 paired t-test를 사용하여 비교되었으며, p

[@Kim_JunYeop]

좋은 발표 감사합니다.
실험에서 사용된 기본 주파수(7, 13, 17Hz)를 선택한 이유가 특별히 있는지 궁금합니다.
또 시각적 피로도 평가에서 큰 차이는 아니지만 QR코드 패턴이 낮은걸 보였는데, 이것이 패턴의 복잡성 때문인지, 아니면 다른 요인이 있는지 논의가 있었는지 궁금합니다. 단순히 박스의 크기가 QR코드 패턴과 체커보드 패턴에서 차이가 있어서 그런 결과가 나왔을지도 생각이 듭니다.
감사합니다.

[@Shim_Gyutae]

좋은 질문 감사합니다. 기본 주파수를 선정한 기준은 본 논문의 선행 연구에서 다양한 피험자에게 적합한 주파수임을 확인했기 때문이라고 합니다.
논문에서 QR 코드의 시각적 피로도가 더 낮은 이유에 대한 고찰은 없었으나, 촘촘히 배치된 체크무늬 자극에 비해 깜빡거리지 않은 부분이 일부 존재하기 때문으로 생각됩니다.
감사합니다

[@dayoung_yu]

좋은 발표 감사합니다. 몇 가지 궁금한 점은 혼합 주파수를 사용할 때 하모닉 성분과의 조합만 고려한 이유가 있는지 궁금합니다. 추가로, Checkerboard의 경우, 혼합 대비 단일 주파수를 사용할 때 더 높은 정확도를 보이는데, 이에 대한 고찰이 있는지 궁금합니다. 감사합니다.

[@Shim_Gyutae]

좋은 질문 감사합니다. 설명을 누락한 부분이 있어 다시 말씀드리면 7 Hz와 13 Hz를 각각 단일 주파수로 사용한 결과와, 7 + 14 Hz, 13 + 6.5 Hz를 혼합한 결과를 비교했다고 합니다.
체크무늬의 경우 단일 주파수에서 더 높은 정확도를 보이는 이유는 따로 언급된 것은 없었으나, 흰색 부분과 검은색 부분이 서로 깜빡거리는 주기가 달라, 일정 주기로 자극의 전체가 흰색 또는 검은색이 되는데, 이러한 패턴의 추가가 정확도 감소의 원인으로 생각됩니다.
감사합니다

[@Wooseok_Ahn]

좋은 발표 감사합니다. 특히, QR code가 checkerboard 보다 더 높은 정확도와 낮은 피로도를 갖는다는 점이 인상깊었습니다. 해당 논문에서는 주파수가 정수배를 가지는 경우, 모두 2배씩 차이가 나도록 설정하였는데, 다양한 정수배들을 서로 비교하였을 때 각각의 정확도나 피로도는 어떻게 차이가 나는지 궁금합니다. 감사합니다.

[@Shim_Gyutae]

좋은 질문 감사합니다. 본 논문에서 2배의 차이를 가지는 주파수만을 사용해서 정확한 답변이 아닌 제 생각을 말씀드리자면, 주파수가 클수록 자극이 더 빨리 깜빡이면서 피로가 유발되며, 실제로 결과를 보면 높은 주파수를 혼합할수록 시각적 피로가 증가하므로 배수가 더 커질수록 피로도가 더 많이 유발될 것으로 생각됩니다.
감사합니다

[@Wooseok_Ahn]

@@Shim_Gyutae 답변 감사합니다!

[@Cho_Eunbi]

좋은 발표 감사합니다. QR 코드에 비해 체커보드 형태의 자극이 더 촘촘하게 있어서 뚜렷하다는 느낌이 드는데, 그만큼 뇌파에서의 변화도 더 두드러지게 나타날 것 같은데 실제로는 QR 코드 자극을 사용할 때 정확도가 더 높은 이유에 대해 고찰하신 게 있을까요?

[@Shim_Gyutae]

좋은 질문 감사합니다. 자극이 한 눈에 다 들어오지 않을 정도의 크기를 가진다면 깜빡거리지 않는 빈 공간이 성능에 부정적인 영향을 미칠 수 있을 것으로 보이나, 시야를 이동하지 않고도 전체를 응시할 수 있는 비교적 작은 크기의 자극은 깜빡이지 않는 부분에 대한 영향이 적을 것으로 생각됩니다. 또한 체크 무늬는 패턴이 반복되어 색을 반전시켜도 동일한 패턴이 보이지만, QR 코드는 규칙적이지 않기 때문에 더 두드러지지 않았나 생각됩니다.
감사합니다

[@Cho_Eunbi]

@@Shim_Gyutae 답변 감사합니다

[@Jun_Seok_Lee]

좋은 발표 감사합니다.
한 가지 궁금한 점은, QR 코드 자극을 생성할 때, 중앙을 기준으로 좌우에 동일한 면적의 자극을 생성하였을까요? PSD 결과를 보면 7 + 14 Hz 조합에서 좌측 후두엽이 조금 더 활성화 된 것으로 보아 대측인 우측 화면에 자극이 더 많이(더 넓은 면적) 제시되어 이러한 경향을 보이지 않았나 싶어서요. Checkerboard는 거의 중앙 부근이고, 13 + 6.5 역시 중앙 부근인데, 7 + 14 조합에서만 이러한 경향을 보여 질문 드립니다.

[@Shim_Gyutae]

좋은 질문 감사합니다. QR 코드 자극이 대칭성을 가지지 않고, 실제로 세어본 결과 양쪽의 면적이 다른 것으로 보아 면적을 고려하여 자극을 생성하지는 않은 것으로 보입니다.
그러나 본 결과는 대표 피험자 한 명의 결과이므로 논문에 언급되지는 않았지만 전체 피험자의 평균 PSD 결과는 후두엽 중앙 부근이 활성화 되는 경향을 보이지 않을까 생각됩니다.
감사합니다

[@Jun_Seok_Lee]

@@Shim_Gyutae 감사합니다.

[@Ju-An_Park]

좋은 발표 감사합니다. qr코드 패턴에 관해 질문드립니다. 2:38을 보면 체커보드는 주파수 별 동일한 패턴을 제시하고 qr코드에서는 주파수마다 서로 다른 패턴을 제시한 것으로 보이는데, 이것이 결과에 영향을 주지는 않았을 지 논문에서 따로 언급된 게 있는 지 궁금합니다..!
추가로, 체커보드에서는 모든 면적을 사용한 반면 qr코드에서는 일부 면적만을 사용한 이유도 궁금했는데 이미 질문이 있어 해당 답변을 참고하겠습니다. 감사합니다.

[@Shim_Gyutae]

좋은 질문 감사합니다. 논문에 별도로 언급된 내용은 없었으나 무작위로 배치한 QR 코드 자극이 체크 무늬보다 정확도가 높은 것으로 보아, QR 코드 또한 동일한 패턴으로 주어졌을 경우에도 체크 무늬보다 통계적으로 높은 성능을 보였을 것으로 판단됩니다.
감사합니다

[@Ju-An_Park]

@@Shim_Gyutae 자세한 답변 감사합니다.