Cost Function   비용 함수

1. 비용 함수 (Cost Function) 

  ㅇ (명칭)
     - 최적화 문제에서는, `목적 함수`라고 함
     - 결정 이론에서는, `손실 함수`라고 함

  ㅇ (의미)  추정치를 얻는 방법의 성능 척도
     - 즉, 추정의 정확성을 정량화하기 위한 척도
        . 통상, 최적의 추정치를 구하려고, 비용 함수 C(e)를 최소화하게 됨

  ㅇ (例)  비용 함수 C(e)의 정의
     - `제곱 오차`를 하나의 비용 함수화하면, → C1(e) = e2
     - `오차의 절대값`을 하나의 비용 함수화하면, → C2(e) = |e|
     - `평균제곱오차`을 하나의 비용 함수화하면, → C3(e) = E[e2] = E[(X - X̂)2] = eMSE


2. 비용 함수의 응용 例)

  ㅇ 최적화 문제의 경우에, 
     - 목적 함수(즉,비용 함수)를 최소/최대화시키는,
     - 그러한 결정 변수(파라미터)를 찾고,
     - 그것을 곧바로 최적 해로 취하거나, 
     - 이를통해 선택 가설별로 분류하는 등을 함

     * 여기서, 비용 함수는, 최적화 모델이 실제로 데이터를,
        . 얼마나 바르게 표현했는지, 얼마나 예측이 정확한지를 수학적으로 수치화 것임

  ㅇ 통신 상의 송신,수신 2진 심볼 판정 문제의 경우에,
     - 전체 비용  
          
[# R =  \quad   C_{11}P(H_1)P(\text{choose }H_1 / H_1\text{ is true}) \\
             \quad\quad + C_{21}P(H_1)P(\text{choose }H_2 / H_1\text{ is true}) \\
             \quad\quad + C_{22}P(H_2)P(\text{choose }H_1 / H_2\text{ is true}) \\
             \quad\quad + C_{12}P(H_2)P(\text{choose }H_2 / H_2\text{ is true})
          #]
        . {#C_{ij}#} : j 심볼(j 가설)이 참일 때, i 심볼(i 가설)을 취하면, 입게되는 손실 비용 함수
        . {#P(H_1),P(H_2)#} : 사전 확률
        . {#P(\text{choose }H_i / H_j\text{ is true})#} : 조건부 확률
           .. 가설 {#H_i#}을 취할 때, 가설 {#H_j#}이 참일 경우의 조건부 확률