728x90 반응형 딥러닝&머신러닝/파이토치 모델 구현2 Pytorch Custom CosineAnnealingWarmRestarts 정리 CosineAnnealingWarmRestarts 코드 : https://github.com/pytorch/pytorch/blob/v1.1.0/torch/optim/lr_scheduler.py#L655 CosineAnnealingWarmRestarts에 대하여 다루어 보겠습니다. (개인적으로 이 스케쥴러는 아쉽게 구현이 되어있습니다. 왜냐하면 warmup start가 구현되어 있지 않고 learning rate 최댓값이 감소하는 방법이 구현되어 있지 않기 때문입니다. 따라서 아래 따로 구현한 Custom CosineAnnealingWarmRestarts을 사용하길 바랍니다.) 사용할 파라미터는 optimizer 외에 T_0, T_mult 그리고 eta_min이 있습니다. - T_0는 최초 주기값 입니다... 2023. 2. 15. [파이토치] 파이토치로 CNN 모델을 구현해보자! (ResNet편) 2번에 걸친 포스팅에서 소개드렸다시피 컴퓨터 비전 대회 중에 ILSVRC (Imagenet Large Scale Visual Recognition Challenges)이라는 대회가 있는데, 본 대회는 거대 이미지를 1000개의 서브이미지로 분류하는 것을 목적으로 합니다. 아래 그림은 CNN구조의 대중화를 이끌었던 초창기 모델들로 AlexNet (2012) - VGGNet (2014) - GoogleNet (2014) - ResNet (2015) 순으로 계보를 이어나갔습니다. 위의 그림에서 layers는 CNN layer의 개수(깊이)를 의미하며 직관적인 이해를 위해서 아래처럼 그림을 그려보았습니다. ResNet 개요 소개 ResNet이 소개된 논문의 제목은 Going Deeper with Convolut.. 2023. 1. 25. 이전 1 다음 728x90 반응형
