La diferència entre P (A | B) i la probabilitat marginal P (A) depèn de les distribucions d’A i B? Per exemple, tinc normalment més informació si B és contínua i exponencial vs. discreta i uniforme?


Resposta 1:

[Edita: 17:33 EST - Ho sento, tenia pressa, de manera que vaig tenir una resposta descarada amb la meva resposta, vaig arreglar un parell de moments qüestionables, com anomenar mètrica KL, quan no és en sentit estricte és un]

-Disposició de responsabilitat- Suposo que està interessat en la relació P (A) i P (A | B) i que intenta comprovar si P (A) està "a prop" de P (A | B) (la "diferència" en la vostra pregunta ). No coneixeu la forma de P (A | B) però coneixeu la forma de P (A) i P (B)

La vostra suposició de modelatge és que P (B) és una distribució d'una determinada forma i que P (A) és una distribució d'una determinada forma. Us estàs preguntant si podeu:

1) calculeu el condicional P (A | B) per a qualsevol P (A) i P (B) arbitraris: - Generalment, per a qualsevol forma de distribució arbitrària de marges no es diu gaire sobre la forma del condicional, de manera que la resposta és no.

2) calculeu la diferència entre P (A | B) i P (A) només coneixent P (A) i P (B) sense cap hipòtesi de modelatge addicional:

Una mètrica adequada (bé, no una veritable mètrica, però és útil de totes maneres) de dissimilaritat de distribució és la divergència de KL, per la qual cosa, per calcular-la, heu de conèixer les dues distribucions que voleu comparar.

Com que no coneixeu P (A | B) no podeu calcular la divergència.