좋은 영상 잘 보았습니다. 각 센서들간의 관계를 그래프를 통해서, Dataset의 missing data를 imputation 하고 싶은데, 그럼 각 센서에서 나오는 스칼라 값들을 노드로 지정하고, 이 스칼라값을 초기에 random한 feature vector로 변환해서 feature vector와 wieght를 모두 학습하는 방식으로하면, missing data imputation이 될까요? 아니면 sensor 스칼라 값 자체를 feature로 사용해도 되나요? 센서의 기록값은 큰틀에서 열역학 싸이클 내에서 에너지 보존에 법칙에 따라 기록되고 있습니다. 이 열역학식에 포함되는 센서값들끼리 엣지로 연결하고, GNN모델을 학습하면 좋은 Imputation 방법이 될 수 있을까요?
CNN과 똑같이 생각하셔도 됩니다. ResNet을 잘 이해하고 계신다면 이 부분도 이해가 잘 되실거라고 생각을 하는데요. ResNet에서 이전 Layer의 Feature값을 그대로 다음 Layer와 Concat하는 방식으로 Skipconnection을 했듯, GNN도 마찬가지고 이전 Layer에서 다음 Layer와 Concat 하는 방식으로 Skipconnection을 수행합니다. ResNet에 대한 설명은 다음 링크에 있습니다. ruclips.net/video/iadEDPoEME8/видео.html
입력 시퀀스의 각 단어가 출력 시퀀스의 각 위치에 얼마나 중요한 역할을 하는지 계산해서 이를 통해 입력 시퀀스에서 중요한 정보를 선택하여 출력시퀀스에 전달하는데 사용하는것이 attention입니다. 이를 통해 각 단어는 입력 시퀀스 내 다른 모든 단어들과 얼마나 관련이 있는지 계산을 하게되는데요. 일반적으로 자연어처리에서 많이 사용하고 'Transformer' 로 발전하였습니다. 이 기술이 GNN과 Computer Vision에서도 함께 적용이 됩니다. 해당 영상에서 설명드린것도 이러한 관점에서 attention이 적용되구요. 그래프 구조에서 노드와 노드간에 얼마나 가중치가있는지가 단어와 단어간의 얼마나 연관성이있는지로 함께 볼 수 있습니다. 따라서 GNN에 Attention을 적용합니다.
@@recordable542 그래프 뉴럴네트워크에서 '중요하다'는 노드와 노드사이간의 가중치로 알수있겠습니다. 소셜네트워크의 그래프 구조를 설명드리면, 사람(노드)과 사람간의 얼마나 좋아요를 많이 눌러줬는지가 가중치가 되겠습니다. 이러한 가중치 정보를 통해서 얼마나 중요한지 알 수 있겠지요. 이러한 Attention을 잘 이해하시고 싶으시면, 제 영상의 Transformer를 보시고 난 후에 Graph Attention Network 영상을 보시기를 추천드립니다.
![[논문 리뷰] ResNet (2015)](http://i.ytimg.com/vi/iadEDPoEME8/mqdefault.jpg)
![[논문 리뷰] ResNet (2015)](/img/tr.png)
와 네트워크 이론이 잘 정립되지 않아서 너무나 추상적이었기 때문에 이해가 잘 안됐는데, 이게 어떤식으로 인공지능 분야에 활용되는지 잘 알 수 있게돼서 너무 좋습니다. 감사합니다
도움이 되셨다니 다행이네요. 시청해주셔서 감사합니다.
감사합니다. 정말 많은 도움이 되었습니다..!
도움이 되셨다니 다행입니다.
복잡하게 머리속에 있던 개념들이 정리가 되었습니다. 좋은 영상 감사합니다.
도움이 되셨다니 뿌듯하네요. 댓글 감사합니다~!
바로 직관적으로 이해됐어요!! 감사합니다
감사합니다 좋은일 가득하세요!
Gnn 핵심만 잘 추려서 정말 깔끔하게 설명하신거같아요. 구독했습니다 ~ 영상 감사합니다~
감사합니다 ~ !!
강의 잘 듣고 갑니다. 정말 깔끔하게 설명 잘 하셨습니다.
좋은 댓글 감사합니다!
좋은 영상 잘 보았습니다. 감사합니다.
시청해 주셔서 감사합니다.
감사합니다 많은 도움이 되었습니다 ㅠㅠ
설명잘하시네요~~!!!
감사합니다~!
좋은 영상 잘 보았습니다. 각 센서들간의 관계를 그래프를 통해서, Dataset의 missing data를 imputation 하고 싶은데, 그럼 각 센서에서 나오는 스칼라 값들을 노드로 지정하고, 이 스칼라값을 초기에 random한 feature vector로 변환해서 feature vector와 wieght를 모두 학습하는 방식으로하면, missing data imputation이 될까요? 아니면 sensor 스칼라 값 자체를 feature로 사용해도 되나요?
센서의 기록값은 큰틀에서 열역학 싸이클 내에서 에너지 보존에 법칙에 따라 기록되고 있습니다. 이 열역학식에 포함되는 센서값들끼리 엣지로 연결하고, GNN모델을 학습하면 좋은 Imputation 방법이 될 수 있을까요?
아 깔끔~~~합니다
설명 감사합니다 그런데 혹시 skipconnection에서 어떻게 GNN이 이용되는지 알 수 있을까요??
CNN과 똑같이 생각하셔도 됩니다. ResNet을 잘 이해하고 계신다면 이 부분도 이해가 잘 되실거라고 생각을 하는데요. ResNet에서 이전 Layer의 Feature값을 그대로 다음 Layer와 Concat하는 방식으로 Skipconnection을 했듯, GNN도 마찬가지고 이전 Layer에서 다음 Layer와 Concat 하는 방식으로 Skipconnection을 수행합니다. ResNet에 대한 설명은 다음 링크에 있습니다. ruclips.net/video/iadEDPoEME8/видео.html
좋은 영상 잘보았습니다. 그렇다면 실제로 gnn으로 프로젝트를 한다고 가정한다면, 갖고있는 데이터셋을 graph 형태로 변환하는 작업이 필수적인건가요? 아니면 이런 과정이 파이토치 모듈이나 간단한 코드로 대체되는 편인가요? 이 점이 궁금합니다!
데이터 셋을 graph 형태의 Matrix로 변환해주어야합니다. 그리고 모든 데이터셋이 graph 형태로 바꾼다고 학습이 되는것도 아니라서, 데이터셋도 중요합니다.
@@EnsignerTV 친절한 답변 너무나 감사드립니다! gnn을 적용하기위해서는 데이터셋도 중요하군요. graph 형태의 matrix로 변환하는과정은 혹시 torch의 In Memory Datasets로 하는것인가요? 아니면 보통 pandas로 조작하는편인가요?
@@정빈-m6h 저는 개인적으로 pandas으로 처리해주었습니다. 다른분들이 보통 어떻게하는지는 잘 모르겠네요.
@@EnsignerTV 감사합니다!!!
잘 들었습니다! Attention 이 무엇인가요??
입력 시퀀스의 각 단어가 출력 시퀀스의 각 위치에 얼마나 중요한 역할을 하는지 계산해서 이를 통해 입력 시퀀스에서 중요한 정보를 선택하여 출력시퀀스에 전달하는데 사용하는것이 attention입니다. 이를 통해 각 단어는 입력 시퀀스 내 다른 모든 단어들과 얼마나 관련이 있는지 계산을 하게되는데요. 일반적으로 자연어처리에서 많이 사용하고 'Transformer' 로 발전하였습니다. 이 기술이 GNN과 Computer Vision에서도 함께 적용이 됩니다. 해당 영상에서 설명드린것도 이러한 관점에서 attention이 적용되구요. 그래프 구조에서 노드와 노드간에 얼마나 가중치가있는지가 단어와 단어간의 얼마나 연관성이있는지로 함께 볼 수 있습니다. 따라서 GNN에 Attention을 적용합니다.
@@EnsignerTV 설명 감사합니다! "중요하다".. 라는 걸 어떻게 찾아내는지 더 궁금하네용! 혹시 관련 초보자용 자료가 있을까요??
@@recordable542 그래프 뉴럴네트워크에서 '중요하다'는 노드와 노드사이간의 가중치로 알수있겠습니다. 소셜네트워크의 그래프 구조를 설명드리면, 사람(노드)과 사람간의 얼마나 좋아요를 많이 눌러줬는지가 가중치가 되겠습니다. 이러한 가중치 정보를 통해서 얼마나 중요한지 알 수 있겠지요. 이러한 Attention을 잘 이해하시고 싶으시면, 제 영상의 Transformer를 보시고 난 후에 Graph Attention Network 영상을 보시기를 추천드립니다.