CNN의 내부 black box 구조에 가깝기 때문 다른 아키텍쳐들보다 모델이 왜 성능이 좋은지, 왜 잘 돌아가는지 확인이 어렵다.그래서 모델이 동작하는 과정에 힌트를 얻을 수 있도록 디버깅 툴로서 visualization tool 을 사용하고 있다. 크게 모델의 행동, 동작 방식을 분석하는 방법들과 데이터를 중심으로 모델의 예측 결과를 분석하는 방법으로 나눌 수 있다.  1. Analysis of model behaviors (모델의 행동 분석)1-1. Filter weight visualization convolution filter 사이즈가 큰 경우에만 적용가능하긴 하지만, convolution 의 역연산인 deconvolution 을 활용하여 CNN layer 들이 어떤 정보를 가지고 있는지 확인..

Transformer 모델에 영감을 받아 vision 분야에도 도입하게 된 Vision Transformer 이다. 이후, ViT 를 backbone으로 한 다양한 vision architecture들이 제안되고 있다.  Transformer 모델의 디코더는 사용하지 않고 인코더만 사용하기 때문에 input 파트 부분이 중요하다.  구조는 위와 같고, 크게 4가지 단계로 나눌 수 있다. 1. 이미지를 작은 패치로 나누어 토큰화 하2. Position Embedding 더하기 3. Transformer Encoder4. MLP (Classification) Head (가정) img_size = (224, 224), patch_size = (16, 16), stride = 16 1. 이미지를 작은 패치로 나..

1. CNN 의 등장Neural Network 중 가장 간단한 Fully Connected Neural Network 를 생각해보자.모든 layer가 완전 연결 layer 로 구성되어 있어 입력에 대해서 각 픽셀마다 개별적인 weight 들로 선형결합을 하고, 각 class의 결과를 예측하는 네트워크다.  그렇다면 이 네트워크가 이미지 분류 문제도 잘 해결할 수 있을까?각 class 에 대응하는 weight 를 통해 데이터 평균 프로토타입 이미지를 만들어내는데 이 이미지가 해당 class의 모든 이미지를 대표할 수 없다는 것이 가장 큰 단점이다. 예를 들어, crop된 같은 class 이미지가 입력으로 주어진다면, 잘 예측하지 못할 것이다.  그렇게 해서 CNN이 등장하게 됐다.locally connec..

1. 깃의 버전관리 시스템2. 버전 간의 관계3. add, commit4. 브랜치 생성 checkout과 merge5. 버전 중 버그찾기, 삭제 복원 reset6. 충돌 Conflict7. 원격저장소에 백업하기 github

이번 주는 시각화 관련해서 공부했다. 저번 주 강의 난이도가 극악이었는지라 이번주는 그래도 나름 여유를 찾을 수 있는 주였다. 일단, 피어세션에서 코딩테스트 공부를 시작해서 이전에 마무리 하지 못했던, do it 코딩테스트 책을 마무리 할 수 있게 되었다. 책을 기준으로 하루에 day 1개씩 공부하기로 했고, 매주 월요일에 어려웠던 문제들 코드 리뷰를 하기로 했다. 벌써 3주가 지났다니 실감이 잘.. 안났다. 그리고 코로나 이슈로 이번주 동안 너무 지치고 힘들었다.. 밖에 나가지도 못하고 일주일 걸음 수 합치면 2000보도 안될듯 아무튼 2보 전진을 위한 1보 후퇴정도로 생각하고 다음 주에는 열심히 따라가야겠다 ~!

문제는 C++언어로 작성되었지만 해석해보면 버블정렬 할 때 이중 for문을 돌게 되는데 안쪽 for문에서 순서 변화가 안생기는 루프가 몇번 째인지 출력하는 문제다. 즉, 몇 번 for문을 돌면 제대로 정렬이 되는 건지 묻는 문제다.  풀이 과정을 봤는데 두 가지가 잘 이해가 안됐다.  (1) 왜 index의 차이의 최대값으로 몇 번 돌았는지를 알 수 있는가(2) 왜 (sort 전 index) - (sort 후 index) 가 되어야 하는 가  (소스코드) import sysinput = sys.stdin.readlineN = int(input())A = list(enumerate([int(input()) for _ in range(N)]))sorted_A = sorted(A, key=lambda x:x[..