[딥러닝] 딥러닝 알아보기1 - 인공 신경망, 퍼셉트론, 은닉층, 딥러닝 문제점 및 해결 방법

📌[참고문헌]

- https://todayisbetterthanyesterday.tistory.com/42

- 모두의 연구소 강의 자료
이미지는 출처 이슈로 직접 그렸다.

 

 

 

1. 🛠 인공 신경망 모형

---

인공 신경망 모형은 인간의 뉴런 자극 전달 과정에 아이디어를 착안하여 발생한 머신러닝 알고리즘이다.

인간은 시냅스를 통하여 다른 뉴런으로부터 자극을 전달받고, 시냅스를 통해 다른 뉴런에게 자극을 전달한다.

인공신경망에서는 뉴런을 🛠 노드 또는 뉴런이라 부른다.

이 노드들이 여러 개 모이면 🛠 층 layer를 이룬다.

이 구조를 수학적으로 모델링한 게 퍼셉트론 perceptron이다.

 

 

 

 

 

 

2. 🛠 퍼셉트론

---

하나의 퍼셉트론은 어떤 구조로 되어있을까?

하나의 퍼셉트론은 여러 개의 입력값을 받아 한 개의 출력을 만들기 때문에 마치 👉함수와 비슷하다.

 

 

 

하나의 노드 안에서 입력 inputs과 가중치 weights를 곱하고 더하는 선형 구조 linear로 이루어져 있는데,

🛠 활성화 함수 activation function를 통한 비선형 구조 non-linear로 표현 가능하다.

따라서 신경망은 단순한 선형 모델을 넘어 복잡한 비선형 문제도 학습 가능하다.

이런 퍼셉트론을 여러 개 나란히 배치하면 하나의 층이 된다.

 

 

f(x) 안에 sum과 activation function으로 나누어져 있는데 sum의 의미부터 살펴보자면,

sum 은 🛠 transfer function으로 이해하면 된다.

z = w₁·x₁ + w₂·x₂ + ... + wₙ·xₙ + b

 

다음과 같은 선형 계산을 하는데 쉽게 말해 입력값에 가중치를 곱하여 모두 더하는 연산을 처리하는 함수이다.

 

 

활성화 함수 activation function는,

transfer function으로 처리한 결과인 z를 비선형 함수에 통과시켜 복잡한 패턴도 학습 가능하게 만든다.

transfer function 함수만 하면 선형을 처리하고, 거기에 활성화 함수까지 더해야 비선형을 처리할 수 있다.

이 둘을 합쳐야 비로소 하나의 퍼셉트론이 제대로 동작하고, 비선형성이 있어야 인공신경망이 복잡한 문제도 학습 가능하다.

 

그림에서도 알 수 있듯이, 각 퍼셉트론마다 독립적으로 연산을 수행한다.

 

 

 

이번에는 여러 개의 퍼셉트론을 여러 층에 걸쳐 만든, 🛠 Multi Layer Perceptron을 알아보자.

전체 인공신경망 구조를 아래 그림으로 그려보았다.

전체 인공신경망 구조

 

 

 

✅ 전체 인공신경망 구조

1. 🛠 입력층 (Input Layer)
   • 실제 데이터가 들어오는 부분 ( 연산을 수행하는 퍼셉트론이라기보다는, 데이터가 들어오는 포인트 역할 )
2. 🛠 은닉층 (Hidden Layer)
   • 여러 퍼셉트론이 있는 층들
   • 이 층이 여러 개면 → 딥러닝( Deep Learning )
3. 🛠 출력층 (Output Layer)
   • 최종 결과를 만들어내는 퍼셉트론들

 

입력 -> 은닉층 hidden layer -> 출력층 output layer 구조로 쌓여있다.

요약하자면, 이러한 전달 과정에서 layer와 perceptron으로 뉴런과 시냅스를 구성하여 연결지은 것이 인공신경망 모형이다.

 

 

 

Q. 노드? 퍼셉트론? 🔎

👉 노드는 "퍼셉트론 한 개"라고 생각하자.

 

ex) 은닉층에 노드 3개 → 퍼셉트론 3개가 있는 층

이 노드 하나하나가 입력값들을 받아 계산 → 결과를 다음 층에 전달

 

👉 즉, 퍼셉트론 = 노드 = 인공 뉴런
이 퍼셉트론들이 여러 개 모이면 층(layer)이 된다.
이들은 입출력 흐름을 통해 학습과 예측을 수행한다.

 

 

 

 

 

 

3. 🛠 Hidden Layer 은닉층

---

 

인공신경망은 여러 개의 인공 뉴런들이 모여 연결된 형태로 구성되어 있다.

뉴런들이 모인 하나의 단위를 층 layer라고 하고, 여러 층으로 이루어질 수도 있다.

다양한 종류의 층 layer들이 존재하는데 그중에서도 이 글에서는 은닉층 hidden layer을 소개하였다.

인공신경망은 은닉층이 소수지만 딥러닝은 은닉층이 다수 포함된 심층 신경망이라는 점에서 차이가 있다.

 

 

 

 

 

 

4. 딥러닝 발전 과정

---

딥러닝 발전 과정에서 발견된 대표적인 문제점들과 그 해결 방법

1) 기울기 소멸 문제

은닉층의 수가 많을수록 더 복잡한 문제를 해결할 수는 있지만,

너무 깊으면 역전파를 위해 가중치 w와 바이어스 b를 변경하는 수학적 방법인 미분이 불가능해져서 0으로 수렴되는, 즉 소멸되는 문제가 발생한다.

 

해결 방법 => 시그모이드나 쌍곡 탄젠트 대신 🛠 ReLU 함수

 

 

 

2) 과적합 문제

모델이 지나치게 학습 데이터에 맞추어진 상태를 과적합이라고 부른다.

과적합된 모델은 학습되지 않은 데이터에 대해 성능이 저하된다.

 

해결 방법 => 🛠 규제화 regularization 기법, 🛠 드롭아웃 dropout 기법, 🛠 배치 정규화 batch normalization 기법

 

 

 

 

 

 

---

딥러닝은 다양한 한계를 극복하는 과정에서 ReLU, Dropout, BatchNorm, Adam 등 핵심 기술들이 발전했으며,

이러한 노력 덕분에 현재의 자연어 처리(NLP), 컴퓨터 비전(CV), 자율주행 등 다양한 분야에서 실용적인 성과를 내고 있다.😊