SKN Family AI 15기 7월 1주차 회고

✍️이번주 회고

전체 회고

7월의 시작이다! 이 달에는 시험이 무려 두 개나 있다... 하나는 JLPT와 정보처리기사... 설마 정처기를 이때 바로 볼 줄 알았으면 JLPT 신청을 4월에 하지 않았을텐데... 그래도 이미 신청한 시험은 신청한 것... ^^;; 두 마리 토끼를 놓칠까봐 너무 무섭지만 남는 쉬는 시간마다 짬짬이 공부하고 있다. 학부생 시절 이후로 이렇게 공부해본 게 오랜만인지...

이번 주 부터는 본격적인 딥러닝 이론에 대해서 배우고, CNN 모델을 사용해보았다. CNN 모델은 이미지 분석에서 가장 많이 사용되는 모델이고, 실제로 실험을 적용해보았을 때 DNN보다 훨씬 높은 정확도를 높이는 것을 확인했다. 정확도가 5에폭만에 무려 90퍼센트라니~

커널 필터라는 간단한 연산이 들어가는 것만으로도 성능이 넘 좋아진다는게 비전과 딥러닝의 신비인 것 같다.

여기 깃허브에는 내가 과제로 진행했던 CNN 모델을 통한 CelbA의 "웃는 얼굴 탐지" 모델을 첨부한다.

https://github.com/seorinchoi/SKN/blob/39ab44e64a7e87f5990153f3b97d693a00d740ee/mini_works/deep_learning/CNN-CelebA_smiling.ipynb

Keep

• 이번 주는 정리해야 할 부분과 굳이 정리하지 않아도 되는 부분을 내가 잘 찾아서 정리한 것 같다는 생각이 든다. 이번주의 학습 결과 정리는...! 이해가 쏙쏙 잘 되게 정리했다는 자신감(?) 을 스스로 가지고 있다.

Problem

• 자꾸 기록일지 퇴고를 미루느라... ^^; 아침 시간에 검사하고 제출하는 사태가 일어난다. 노션에 미리 오늘 올릴 내용을 정리하기 때문에 지장을 줄 정도는 아니지만 이렇게 일을 미뤄서야... 다음주에는 일요일 전에 꼭 올리는 것을 목표로... ㅎㅎ

Try

• 다음주는 YOLO 모델을 사용한 탐지에 대해서 배울 예정이라고 한다! 곧 팀 프로젝트도 머지 않았는데 지금 배운것들을 잘 살려서 프로젝트 주제에 맞게 완성시킬 수 있을지~! 고민이 많이 크다!

역전파와 순전파

순전파

• 신경망에서 입력층에서 출력층으로 순서대로 변수를 계산하고 저장하는 것

https://blog.naver.com/koreadeep/222600824716

• 가중치를 곱한 뒤 편향(bias)를 더해, 활성화 함수를 통과하는 과정이다.

역전파

• 순전파를 역행하여 계산하는 것
• 손실 함수의 여러 변수 중 하나의 변수만 바뀌었을 때 손실이 얼마나 변하는지를 알기 위해 편미분을 사용함
• 오차를 기반으로 가중치(W,b)를 업데이트 하기 위한 연산

항목 순전파 (Forward Propagation) 역전파 (Backward Propagation)

방향	입력층 → 은닉층 → 출력층	출력층 → 은닉층 → 입력층
역할	예측값(출력)을 계산함	오차를 역으로 전달해 가중치를 업데이트함
주요 연산	선형 연산 (가중치 곱 + 편향) + 활성화 함수	미분 계산
사용 목적	현재 모델이 어떤 출력을 내는지 확인하기 위해	손실을 최소화 시키기 위해
저장	각 층의 출력값(activation)을 저장	각 가중치에 대한 손실 함수의 기울기를 계산함
학습 관련	모델이 출력값을 예측하는 과정	모델이 스스로 학습(업데이트)하는 과정

계산 그래프를 통한 비교

• 다음과 같은 계산 그래프가 있다고 했을 때…
• 주황색 : 순전파 / 파란색 : 역전파
• 역전파의 경우 편미분이 되어 서로 반대 방향의 연산이 이루어지는 것을 확인할 수 있다.

• 덧셈 노드의 경우, 역전파는 그냥 그대로 흘러서 들어가게 됨(상수이기 때문에)
• 역전파는 각 입력값들의 변화가 어떤 결과를 초래하는지 확인하기 위해 사용한다. 만약, 사과의 가격이 101원이 됐다고 하면, 최종적인 가격이 222.2원이 될 것이다.

CNN

• 컨볼루션 연산을 통해서 이미지 정보를 학습하는데에 특화된 딥러닝 모델
• 원본 이미지는 컨볼루션 연산을 반복하면서 작은 사이즈의 특성 맵을 추출하게 됨. → 학습에 필요한 특성을 추출할 수 있음!

• 이미지와 같이, 원본 이미지에 사이즈의 필터를 사용해 해당하는 픽셀과 곱 연산을 하고 그 값을 모두 더함
• 모두 더한 값이, 새로운 특성 맵의 픽셀값이 된다.
• 이런 식으로 컨벌루선 연산을 (기본적으로) 한 칸 한 칸 움직여가면서 진행함.
• 이 과정을 계속 반복하는 것이 CNN 모델의 기본!