<Causal Inference> 베이지안 네트워크 모델 <3. 구조학습 문제점 및 해결>

 

 

 

 

<Bayesian Network Model>

 

 

Bayesian Network Model

0. 정의

1. 구조 학습(Structure Learning)

2. 확률 추정(Parameter Estimate)

3. 구조 학습 문제점 및 해결(NOTEARS algorithm)

---

3. 구조학습 문제점 및 해결(NOTEARS algorithm)

• 문제점
  • 조합 최적화의 복잡성
    • 베이지안 네트워크 구조학습은 조합 최적화를 진행한다.
      이건 모든 그래프 구조 조합을 탐색해 최적의 구조를 찾는 방법인데, 탐색의 효율성을 올리기 위해
      알고리즘을 사용하긴 하지만, 그럼에도 노드(변수)의 수가 증가한다면 지수적으로 탐색 공간이 증가한다.
  • 비순환성 제약
    • 베이지안 네트워크는 DAG 구조를 가지기 위해 비순환성을 보장해야한다.
      이 보장을 위해 기존 방법에서는 복잡한 제약조건을 추가할 필요가 있었으며, 
      이런 제약을 관리하는 것은 구현의 어려움을 초래한다.
  • 로컬 최적화
    • 기존 탐색 알고리즘을 이용해 최적의 구조를 찾는 것은 로컬 솔루션을 찾는 것이며,
      로컬 솔루션과 인접하지 않은 곳에 전체적으로 봤을 때 더 최적인 구조가 존재할 수 있다.
      즉, 기존 방법으로 구조 학습을 하는 경우 실제로는 최적의 구조가 아닐 수 있다.
• 해결
  기존의 구조학습 방법의 문제점을 해결하기 위해 개발된 알고리즘이 NOTEARS algorithm 이다.
  • 연속 최적화 접근
    • 이 알고리즘은 조합 최적화를 연속 최적화 문제로 재구성해서 기울기 기반 최적화를 진행한다.
      따라서 모든 조합에 대한 탐색을 하지 않고 기울기가 0이 되는 지점의 구조를 찾는다.
  • 비순환성 보장
    • 조합 최적화가 아닌 연속 최적화로 진행하면서, 행렬 지수의 trace를 사용하는 부드러운 제약을 도입할 수 있다.
      따라서 복잡한 제약조건을 사용하지 않고도 비순환성을 보장하고 구현을 심플하게 만들어준다.
  • 글로벌 최적화
    • 전체 구조 후보에 대한 기울기 optimization을 수행하기때문에,
      로컬 최적 솔루션이 아닌 글로벌 솔루션을 찾을 수 있게 된다.

---

 

내가 프로젝트에서 사용할 CausalNex 라이브러리는 베이지안 네트워크의 구조학습 알고리즘으로

NOTEARS 알고리즘을 사용한다.