AI 학습에 쓰이는 함수 | 활성화 함수, 목적 함수, 최적화 함수

모델 학습에 사용되는 함수. 뭐가 되게 많네.. 라고 생각이 들 수 있습니다.

 

실제로 많고,, 헷갈려요..

이제 무작정 외우지 말고, 한번 머릿속으로 그림을 그려가면서 알아봅시다.

2024.11.12 - [TECH/AI] - 역전파 알고리즘 (backpropagation)

 

역전파 알고리즘을 알아봤었어요. 그리고 backpropagation에는 forward, backwad 과정이 있었죠. 그리고 각 함수들은 특정 구간에서 쓰이게 됩니다. 아래 이미지처럼 말이죠.

 

 

각 함수가 왜 필요한지 알아볼게요.

 

활성화 함수

활성화 함수는 신경망에 비선형성을 도입하고 복잡한 패턴을 학습하기 위해 필요합니다

• 입력 신호를 비선형적으로 변환하여 모델의 표현력을 높입니다
• 다층 신경망에서 층간 정보 전달을 조절합니다.
• 복잡한 패턴과 특징을 학습할 수 있게 합니다.
• 신경망의 출력을 결정하고 학습 안정성을 향상시킵니다.

목적함수

목적함수는 모델의 성능을 수치화하고 학습 방향을 제시하기 위해 필요합니다

• 모델의 예측과 실제 값 사이의 오차를 정량화합니다.
  
• 학습 과정에서 모델이 최적화해야 할 대상을 정의합니다.
• 모델의 성능을 평가하고 개선할 수 있는 기준을 제공합니다.

최적화 함수

최적화 함수는 모델의 파라미터를 효율적으로 조정하기 위해 필요합니다

• 목적함수를 최소화하는 최적의 모델 파라미터를 찾습니다.
• 학습 과정에서 모델의 성능을 점진적으로 향상시킵니다.
• 복잡한 문제에 대한 효율적인 해결책을 제시합니다.