Transfer Learning(전이 학습)

특정 분야(ex.이미지 학습)에서 학습된 neural network의 일부를 그 분야가 유사하거나 전혀 새로운 분야에서 사용되는 neural network의 학습에 이용하는 것.

 

이미지 분류를 예시로 들면 CNN은 convolution 연산을 통해 3차원 이상의 데이터를 1차원 배열로 flatten(평면화) 시키는데 용이하다. 따라서 flatten 된 feature map으로 이미지를 분류하는데 주로 사용된다. ILSVRC(ImageNet Large Scale Visual Recognition Challenge)에서 선보여진 ResNet이나 VGG같은 neural network도 구성의 앞 부분이 이와 같은 CNN(Convolution Neural Network) layer로 구성되어 있다.

 

Resnet이나 VGG는 수많은 이미지를 통해 학습된 높은 성능을 갖는데 이 neural network의 특징 추출 능력만을 그대로 사용하고 마지막 출력 계층인 layer만을 변경하여 이 변경된 layer만을 재학습시키는 것이 Transfer Learning(전이 학습)이다.

ResNet이나 VGG는 이미지 분야의 pre-trained model로 사용되는 대표 모델로 이와 관련된 각 model들의 설명은 다음 포스팅에서 설명할 것이다.

 

Backbone Network

 

앞서 설명한 ResNet 또는 VGG같은 network는 Detection, Segmentation, Pose Estimation, Depth Estimation 등에서 Backbone으로 사용된다.

 

최근 Detection, Segmentation, Pose Estimation, Depth Estimation같은 model 들은 주로 Backbone 과 Head로 구성되는데 Backbone 과 Head는 이름 그대로 등뼈(척추)와 머리로 이해하면 된다. 이미 학습된(pre-trained) ResNet 따위로 이미지를 feature map으로 변형하고 Head에서 feature map을 이용해 location, predict, bounding boxes 등의 작업을 수행한다. 즉, Backbone(pre-trained model로 데이터를 feature map으로 변형함) → Head(feature map으로 원하는 작업을 수행함)으로 정리할 수 있다.

https://icml.cc/2016/tutorials/icml2016_tutorial_deep_residual_networks_kaiminghe.pdf

Neck은 Backbone과 Head를 연결하는 부분으로 feature map을 refinement(정제), reconfiguration(재구성) 등을 한다. 대표적으로 FPN(Feature Pyramid Network), PAN(Path Aggregation Network), BiFPN, NAS-FPS등이 있다.

 

 

 

출처 및 참조: https://icml.cc/2016/tutorials/icml2016_tutorial_deep_residual_networks_kaiminghe.pdf

https://blog.naver.com/keeping816/221681396990