베이즈 정리 1. (펌)

http://www.aistudy.com/math/bayesian_probability.htm

Bayesian  Probability 

....... 베이즈주의 (Bayesianism), 주관주의 (subjectivism, subjective probability), 개인적확률 (personal probability), 인식론적확률 (epistemic probability), 논리적확률 (logical probability) 는 모두 같은 의미이다 ..............

베이즈주의는 수학적 확률이론이 가능성의 정도 (degree of plausibility) 또는 진실여부에 대한 믿음의 정도 (degree of belief) 에 적용되는 철학적 주의 (tenet) 이며, 베이즈 정리 (Bayes' Theorem) 와 함께 사용된다면 베이즈추론 (Bayesian Inference) 이 된다. 

이 용어는 frequentism (수학적 확률을 개인의 믿음의 정도로서 해석하는 것을 거부하고, 임의의 사건에 대해 오직 그 상대적인 발생빈도에 따라서 확률을 부여하는) 와 대조되는 개념이다. 확률을 베이지언 적으로 해석하면 임의의 사건 (random events) 에 사용될 수 있지만, 또한 어떤 종류의 문장 (any other kind of statement) 에도 확률을 부여할 수 있다.

빈도주의자 (frequentist) 와 베이즈주의자 (Bayesian) 이 둘다 동전 던지기를 했을 때 1/2 의 확률을 부여할 수 있지만, 베이즈주의자 만이 10 억 년전에 화성에 생명체가 있었다는 명제에 대해, 상대적인 빈도 (frequency) 에 대해 어떤 주장도 하지 않고, 단지 개인적인 믿음으로써 확률 1/1000을 부여할 수 있다. ..........
(Wikipedia : Bayesian Probability) paper

주관주의 확률 이론에 따르면 확률이란 어떤 사람이 특정한 순간에 주어진 명제나 사건에 대해서 갖는 믿음의 정도 (degree of belief) 이다. 고전적 확률 이론가인 베르누이나 라플라스도 확률을 설명하면서 확신의 정도 (degree of confidence) 라는 용어를 사용하기 때문에 그들도 주관주의 확률 이론가로 오해되기도 하지만, 최초의 주관주의 확률 이론을 분명하게 제안한 사람은 램지 (F.Ramsey) 이다. 

램지는 확률은 믿음의 정도라는 주장과 그 믿음의 정도는 어떻게 비교되고 측정될 수 있는가를 행동주의적 방식으로 설명한 철학자이기도 하다. 그러나 그의 요절로 주관주의 확률 이론의 체계적인 발전은 그 후 드 피네티 (B. De Finetti)와 그의 동료 새비지 (L. Savage) 에 의해서 이루어진다. 

그들은 객관적인 확률이란 하나의 환상이어서 존재하지 않으며 확률은 개인적이며 주관적인 믿음의 정도일 뿐이라고 주장한다. ....  주관주의 이론은 베이즈의 정리에 대해 가해지는 제한들을 제거하여 베이즈 정리가 제공하는 유용한 결과들을 수용할 수 있게 한다. .... 주관주의 이론은 의사결정 이론(decision theory)이나 심리학적 지식의 발전에 기여한다. 물론 객관주의 확률이론가들도 의사결정 이론의 연구에 기여하지만, 카르납이 지적하듯이 다른 확률 이론보다 주관주의 이론은 인간의 행위에 관한 이론으로 중요하여 심리학, 사회학, 경제학 등의 이론에 기여한다 고 할 수있다 (송하석 1998).

term :

확률 (Probability)   베이즈 정리 (Bayes' Theorem)   베이즈 네트워크 (Bayesian network)   Naive Bayesian Classification   베이즈추론 (Bayesian Inference)  Thomas Bayes    

---

http://www.aistudy.com/math/bayes_theorem.htm

Bayes'  Theorem

 

베이즈 정리는 Thomas Bayes 가 ‘우연이라는 원칙으로 문제를 해결하는 방법에 관한 논문’ (Essay towards solving a problem in the doctrine of chances) 에 발표한 이론이다 ....

조건부 확률에서는 새로운 정보를 알았을 때 확률의 개선이 일어나게 된다. 가끔 우리는 어떤 실험결과에서 나온 정보를 이용하여 어떤 사건의 처음 확률을 개선시킬 수 있는데, 여기서 처음 확률은 사전확률 (prior probability) 이라 하고, 개선된 확률을 사후확률 (posterior probability) 이라고 하며, 이러한 확률의 개선을 이룩하는 것이 베이즈의 정리 (Bayes' theorem) 이다. 이러한 확률의 개선과정은 다음 그림과 같다.

사전확률		새로운 정보		베이즈 정리의 응용		사후확률

Bayes' 정리를 이용한 의사 결정은 feature 값이 주어진 상태에서 가장 가능성이 있는 class를 선택하는 것을 말한다. 즉 Bayes' 정리를 이용하여 class membership 의 확률이 계산된다 (Earl Gose 1996).

변수 값을  , 분류하고자 하는 class를 , 전체 모집단에서 변수  에 대한 확률분포를  , 임의의 sample 이 class  에 속할 사전확률  , class  에서 변수 값 가 얻어질 조건부 확률  이 주어진다.

우리가 얻고자 하는 것은 변수 값  가 주어진 상황에서 sample 이 class  에 속할 사후확률 즉  을 구하는 것인데, 이를 위해  , ,  값이 주어진다.

class  에 속하면서 하나의 변수값  (single feature)를 가지는 경우의 확률은 다음과 같다.

위의 식을 다시 정리하면 다음과 같은 Bayes' 정리가 된다. (하나의 변수만 있을 경우)

  

paper

베이즈확률 (Bayesian Probability)  베이즈 네트워크 (Bayesian Network) : 나이브 베이즈 분류 (Naive Bayesian Classification) : 베이즈추론 (Bayesian Inference)

Wikipedia : Bayes' theorem

Bayes' Theorem : Earl Gose 외  

Bayes Learning : Tom Mitchell

통계 확률론적 추론 과정 : Elaine Rich

 

---