최적화 문제 표현

1. 최적화 문제의 수학적 표현

     
[# \underset{\mathbf{x}}{\text{minimize}} \quad f(\mathbf{x}) #]
  :  (최소화)
     
[# \text{subject to} \quad \mathbf{x} \in χ #]
  :  (제약조건)


2. 최적화 문제의 필수 요소 셋  :  (목적 함수, 결정 변수, 제약 식)

  ㅇ 목적 함수 (Objective Function)  :  {#f()#}
     - 최적화시키려는 대상
        . 이익,효용 등을 최대화 하거나,
        . 비용,시간 등을 최소화 하는 것 중 하나임
     - (기타명칭) 비용 함수 등

  ㅇ 결정 변수 (Decision Variable)  :  {#\mathbf{x}=[x_1,x_2,\cdots,x_n]#}  
     - 함수와 식(조건)에 포함되는 변수 {#x_i#} 로써, 
        . 목적 함수에 극값(통상,최소값)을 가져다주는 변수
        . 의사결정자가 통제 가능한 변수
        . 최적 대안을 정량적으로 표현한 것
     - (기타명칭) 설계 변수(Design Variable), 선택 변수(Choice Variable), 파라미터 등
     - 한편, 각 설계 변수의 영향력을 분석하는 것을, 민감도 분석 이라고 함

  ㅇ 제약조건/구속조건/제약식 (Constraint)  :  {#\mathbf{x} \in χ#}
     - 해당 문제에 주어지는 제약 
        . 결정 변수들이 만족해야 할 조건들을 나타냄
        . 등식(=) 또는 부등식(≤,≥)으로 주어짐
        . 이를통해, 실현 가능한 해 집합 (feasible solution set : {#χ#})이 규정됨
     - 例) 자원의 제약, 운영 규칙/법규, 물리 법칙 등

  ※ 한편, 
     - 해 (solution, 솔루션 : x*)
        . 제약 조건을 만족하고, 목적 함수를 최소화시키는, 결정 변수에 할당되는 값    
     - 실행 가능 영역 (feasible region, feasible solution set : {#χ#})
        . 제약 조건을 만족하는 해 집합이 취하는 영역
     - 최적 값 (optimal value)
        . 최적 해 x*에서의 목적 함수 값 f(x*)


3. 최적화 문제의 해결 방식

  ㅇ 결정 변수 값을 바꾸어가면서,
  ㅇ 목적 함수의 값을 최적화(최대화/최소화)하되,
  ㅇ 동시에 등식 또는 부등식으로 표현된 제약조건을 만족하도록 함


4. 최적화 문제의 본질

  ㅇ 결정 변수(파라미터)의 값과 위치를,
     - (어느 방향으로 얼만큼) 조금씩 조금씩 변경해가며,
  ㅇ 목적 함수를, 
     - 최적화 (더 이상 변경할 수 없는 지점까지) 시킬 수 있는, 파라미터를 찾아가려는 것
  ㅇ 이때, 
     - 더 이상 최적화 시킬수 없는 지점을, Local Minima, Global Minima 라고 함
  ㅇ 물론, 찾아가는 방법(기법)들이 많이 있지만,
     - 대부분, 이동할 방향, 이동 크기에 대한 차이로 구분되어짐