KLD

Kullback–Leibler divergence / relative entropy / 쿨백-라이블러 발산

asymmetric measure of the difference or distance between two prob distribution

두 분포의 차이

cross entropy 로 정의

expectation of log of fraction

앞의 것이 확률, 뒤의 것이 분자

KLD not commutative, 교환 불가

KLD not commutative → JSD commutative

Jensen-Shannon Divergence