ViT 구현, ImageNet 평가, PyTorch, Timm 라이브러리, Timm-ViT
ViT는 가장 간단한 유형의 변압기입니다. 실제로 구현하는 것은 그리 어렵지 않습니다. 하지만………. 학위 논문에 따르면 ViT는 “대규모 사전 교육” 없이는 성능이 훨씬 더 나쁩니다. 즉, 시간이 오래 걸리고 귀찮습니다. 다행히 나만 걱정한 게 아니라 천조국 형들도 걱정했다. 누군가 이미 라이브러리로 만들었습니다. https://timm.fast.ai/ 그것으로 모델을 만들어 봅시다. 일단 설치 pip install timm 그리고 OOP로 작성된 코드는 … Read more