CNN의 이해

1. Neural Network

• Input Layer - Hidden Layer - Output Layer가 weight 값에 의해 연결되어있다.
• Activation : 다음 모델에 값을 넘기는 방식. 액티베이션을 사용하는 이유는 비선형으로 딥러닝을 해석하기 위함이다. 선형으로 딥러닝을 설명하는 경우 복잡한 케이스에 대해서 하나의 식으로 설명할 수가 없기 때문이다. 따라서 임계치가 넘어가면 다음 뉴런을 Activate 시키는 뉴런의 활동방식과 동일하기 인공신경망에서도 Activation 처럼 중간 네트워크를 사용한다.
• Optimization : MSE : (예측한값 - 실제값) ^ 2 을 통해 Loss 를 측정. 제곱을 하는 이유는 오차에 대해 가중치를 주기 위하거나 미분할때 쉬우려고. 입력값에 따른 Loss 의 그래프를 그리면, 해당 값의 미분값(=기울기)가 음수일 경우 양의 방향으로 가도록 활용할 수 있다.

2. CNN (Convolutional Neural Network)

: convolution Layer - 위치 기반으로 분석을 함. 0과 1이 위치하는 fixel의 위치들로 구분함. 이러한 filtering의 조건들을 딥러닝에 맡겨서 값들을 추출한다.

하나의 매트릭스를 Filter, filter들의 set을 Channel이라고 부르고 탐색의 대상을 Stride라고 한다. Stride를 탐색할때는 주변에 Padding 값을 넣어서 탐색한다.

• Pooling Layer : 원본 이미지에 필터링 기법을 적용, 각 이미지의 국소적인 부분을 하나의 스칼라 값으로 변환하는 방식
• Architecture : 
• OCR : Optical Character Recognition 으로 문자 추출하는 방식
  - 문서 기반 사진 : 계약서, 문서, 시험지 등
  - 장면 기반 사진 : 자연적인 장면의 이미지
  - OCR 모델의 종류
    - End to end : 하나의 모델로 OCR을 전반적으로 처리
       * TrOCR(Transformer-based Optical Character Recognition with Pre trained Models)
    - Two step : 첫번째로 위치를 탐지하고 두번째로 글자를 추출함
  http://www.aitimes.com/news/articleView.html?idxno=137202

• Transformation model : 하나의 토큰이 전체 문장에서 어떤의미를 가지고 있는지. 토큰 * 문장을 매 토큰마다 실행한다. Attention is all you need 논문