Skip connection это сложение тензоров , поэтому размерность у слагаемых должна быть одинаковой C*H*W к примеру? Вопрос возник после того, как я сегментацией занялся , а там как я понял конкатенируют карты активации и тоже называют это skip connection))
Да, skip connection можно реализовать через конкатенацию, можно через сложение. В случае сложения добавляется условия одинарного числа каналов C. Бывают еще short skip connection и long skip connection. Short в resnet. Long в unet
Иначе short - сложение , long - конкатенация. А смысл в конкатенации такой же ?( Повысить градиенты начальных слоев) Просто вот интересно, обновили мы веса там , где конкат был, а дальше веса этого слоя не трогаем ? когда до них доходим во второй раз
![Blox Fruits Dragon Rework Update [Full Stream]](http://i.ytimg.com/vi/EqDAp8udhm0/mqdefault.jpg)
![Seungmin "그렇게, 천천히, 우리(As we are)" | [Stray Kids : SKZ-PLAYER]](http://i.ytimg.com/vi/kAzmhLHePqU/mqdefault.jpg)
Видосы огонь. Может подскажешь мне что по пространственным контроллерам и экзе ?
Спасибо.
Не знаю про пространственные контроллеры и экзе
Skip connection это сложение тензоров , поэтому размерность у слагаемых должна быть одинаковой C*H*W к примеру?
Вопрос возник после того, как я сегментацией занялся , а там как я понял конкатенируют карты активации и тоже называют это skip connection))
Да, skip connection можно реализовать через конкатенацию, можно через сложение. В случае сложения добавляется условия одинарного числа каналов C.
Бывают еще short skip connection и long skip connection.
Short в resnet.
Long в unet
Иначе short - сложение , long - конкатенация.
А смысл в конкатенации такой же ?( Повысить градиенты начальных слоев)
Просто вот интересно, обновили мы веса там , где конкат был, а дальше веса этого слоя не трогаем ? когда до них доходим во второй раз
Что делает оператор * в данном случае ?
Приведите пожалуйста фрагмент кода
@@magorokhoov self.truck(nn.Sequential(*truck))
Он раскрывает список
@@magorokhoov а разве на выходе не должен софтмакс применяться?
@@magorokhoov просто у тебя на выходе линейное преобразование