Score:1

เหตุใดเอนโทรปีจึงถูกกำหนดเป็นผลรวมการแจกแจงความน่าจะเป็นร่วม

ธง au

จากหนังสือของ Stinson ระหว่างการสาธิตทฤษฎีบทต่อไปนี้ซึ่งกล่าวว่า:

$H(X,Y) \leq H(X) + H(Y)$ด้วยความเท่าเทียมกันถ้าและถ้า $X$ และ $Y$ เป็นตัวแปรสุ่มอิสระ

ผู้เขียนบอกว่าจะถือว่า $X$ เพื่อรับค่า $x_i$, $i$ ในช่วงตั้งแต่ 1 ถึง m และ $Y$ เพื่อรับค่า $y_j$, $เจ$ ในช่วงตั้งแต่ 1 ถึง n เขาหมายถึง $p_i = \Pr[X=x_i]$, $i$ ตั้งแต่ 1 ถึง ม. และ $q_j = \Pr[Y=y_j]$, $เจ$ ตั้งแต่ 1 ถึง น. จากนั้นเขาก็กำหนด $r_{ij} = \Pr[X = x_i, Y = y_j]$, $i$ ตั้งแต่ 1 ถึง ม. และ $เจ$ จาก 1 ถึง n คำถามของฉันคือ:

ทำไม $$p_i = \sum_{j=1}^{n} r_{ij}$$

และ $$q_j = \sum_{i=1}^{m} r_{ij}$$

ฉันต้องการสาธิตอย่างละเอียด ฉันต้องการที่จะเข้าใจสิ่งที่ดีกว่า $H(X,Y)$ วิธี.

João Víctor Melo avatar
au flag
ผู้เขียนที่บอกว่ามันคือสติน
Score:3
ธง in

ก่อนอื่นโปรดทราบว่าเครื่องหมายจุลภาคในความน่าจะเป็นคือตัวดำเนินการ AND; $$ \Pr[X = x , Y = y] = \Pr[X = x \ลิ่ม Y = y]$$ นี่เป็นสัญกรณ์ทั่วไปเพื่อทำให้การเขียนง่ายขึ้น

ตอนนี้เขียนอย่างชัดเจนเป็น

$$p_i = \sum_{j=1}^{n} r_{ij} = \Pr[X = x_i \wedge Y = y_0] + \Pr[X = x_i \wedge Y = y_1] + \cdots + \ ราคา[X = x_i \wedge Y = y_m]$$

ตั้งแต่ตัวแปรสุ่ม $X$ และ $Y$ เป็นอิสระแล้วนี่เป็นเพียงส่วนหนึ่งของเหตุการณ์ $x_i$ โดยตัวแปรสุ่ม $Y$.

ให้พิจารณาลูกเต๋าสองลูก หนึ่งมี $X$ และอีกอย่างคือ $Y$ เป็นตัวแปรสุ่มแทนค่าบนของลูกเต๋า โดยรวมแล้วมีค่าเท่ากันที่เป็นไปได้ 36 ค่าของการทอยลูกเต๋าสองลูก แก้ไขอันแรกให้พูด $3$ แล้ว

\begin{align}\Pr(X=3) = & \Pr(X=3,Y=1)+\ & \Pr(X=3,Y=2)+\ & \Pr(X=3,Y=3)+\ & \Pr(X=3,Y=4)+\ & \Pr(X=3,Y=5)+\ & \Pr(X=3,Y=6)\ = &\frac{1}{36}+ \frac{1}{36}+ \frac{1}{36}+ \frac{1}{36}+ \frac{1}{36} +\frac{ 1}{36} = \frac{1}{6} \end{แนว}


$H(X,Y)$ เป็นจริง เอ็นโทรปีร่วม และสูตรถูกกำหนดโดย (และ AND อีกครั้ง);

$$H(X,Y) = -\sum_{x\in\mathcal X} \sum_{y\in\mathcal Y} P(x,y) \log_2[P(x,y)]$$

ในบริบทของเรานี่คือ

$$H(X,Y) = -\sum_{x\in X} \sum_{y\in Y} P(X=x,Y=y) \log_2[P(X=x,Y=y)] $$

$H(X,Y)$ เป็นการประเมินพร้อมกันของ $X$ และ $Y$ และนั่นเท่ากับการประเมินครั้งแรก $X$ แล้วให้ค่าของ $X$ ประเมินการ $Y$

$$H(X,Y)= H(X|Y)+H(Y)=H(Y|X)+H(X) $$

พิสูจน์นานหน่อย;

\begin{จัด} H(X,Y) & = â \sum_{i=1}^n \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \log \big( \Pr(X= x_i,Y =y_j) \ใหญ่)\ & = â \sum_{i=1}^n \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \log \big( \Pr(X=x_i) \Pr(Y |X = y_j|x_i) \ใหญ่)\ & = â \sum_{i=1}^n \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \big[ \log \big( \Pr(X=x_i) \ ใหญ่) + \log \big( \Pr(Y|X = y_j|x_i) \big) \big] \ & = â \sum_{i=1}^n \left( \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \right) \log \big( \Pr(X= x_i) \ใหญ่) \ & - \sum_{i=1}^n \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \log \left( \Pr(Y|X = y_j|x_i) \right) \ & = ส(X) + ส(ย|X) \end{แนว}

João Víctor Melo avatar
au flag
สิ่งนี้ไม่ควรเป็น $\Pr(X=x_i) \Pr(X|Y = x_i|y_j)$ ?
kelalaka avatar
in flag
เรากำลังพูดถึงบรรทัดไหน
João Víctor Melo avatar
au flag
บรรทัดที่สองต่อจาก "Proving this bit long;"
kelalaka avatar
in flag
$\Pr(X \wedge Y) = \Pr(Y | X) \Pr(X) = \Pr(X | Y) \Pr(Y)$
João Víctor Melo avatar
au flag
แต่คุณรู้ได้อย่างไรว่าพวกเขาเท่ากัน?
kelalaka avatar
in flag
[ความน่าจะเป็นแบบมีเงื่อนไขเป็นสัจพจน์?](https://en.wikipedia.org/wiki/Conditional_probability#As_an_axiom_of_probability)?
João Víctor Melo avatar
au flag
ให้เรา [ดำเนินการสนทนาต่อในการแชท](https://chat.stackexchange.com/rooms/132829/discussion-between-joao-victor-melo-and-kelalaka)
Score:1
ธง sa

เอนโทรปีไม่ได้ขึ้นอยู่กับว่า "ป้ายกำกับ" หรือค่าของตัวแปรสุ่มคืออะไร แต่เป็นคุณสมบัติเฉพาะของการแจกแจงเท่านั้น หลังจากที่คุณใช้ $P(x), P(y), P(x,y)$ ฯลฯ ในสูตรไม่ได้ $x,y$.

เมื่อคุณเข้าใจสิ่งนี้ ชุดของความน่าจะเป็น $P(x,y)$ คือทั้งหมดที่คุณต้องใช้และใช้คำจำกัดความดั้งเดิมของเอนโทรปีสำหรับตัวแปรสุ่มตัวเดียว หากต้องการ ให้กำหนดตัวแปรสุ่มแบบเวกเตอร์ $z=(x,y)$ และคำนวณค่าเอนโทรปีเป็น $$ -\sum_{z} P(z) \log P(z) $$ ซึ่งเหมือนกับการคำนวณ $$ -\sum_{x,y} P(x,y) \log P(x,y) $$ นี่ก็หมายความว่าเอนโทรปีร่วมของตัวแปรสุ่มจำนวนหนึ่ง $H(x_1,\ldots,x_n)=H(p_1,\ldots,p_n):=H_0$ กับ $P(x_i)=p_i,$ เหมือนกับเอนโทรปีของการจัดลำดับใหม่ (การเรียงสับเปลี่ยน) ของการแจกแจงร่วม ดังนั้นนี่หมายความว่า

$$ H(p_{\sigma(1))},p_{\sigma(2)},\ldots,p_{\sigma(n)})=H_0 $$ สำหรับการเรียงสับเปลี่ยนทั้งหมด $\sigma:\{1,\ldots,n\}\rightarrow \{1,\ldots,n\}.$

โพสต์คำตอบ

คนส่วนใหญ่ไม่เข้าใจว่าการถามคำถามมากมายจะปลดล็อกการเรียนรู้และปรับปรุงความสัมพันธ์ระหว่างบุคคล ตัวอย่างเช่น ในการศึกษาของ Alison แม้ว่าผู้คนจะจำได้อย่างแม่นยำว่ามีคำถามกี่ข้อที่ถูกถามในการสนทนา แต่พวกเขาไม่เข้าใจความเชื่อมโยงระหว่างคำถามและความชอบ จากการศึกษาทั้ง 4 เรื่องที่ผู้เข้าร่วมมีส่วนร่วมในการสนทนาด้วยตนเองหรืออ่านบันทึกการสนทนาของผู้อื่น ผู้คนมักไม่ตระหนักว่าการถามคำถามจะมีอิทธิพลหรือมีอิทธิพลต่อระดับมิตรภาพระหว่างผู้สนทนา