ก่อนอื่นโปรดทราบว่าเครื่องหมายจุลภาคในความน่าจะเป็นคือตัวดำเนินการ AND; $$ \Pr[X = x , Y = y] = \Pr[X = x \ลิ่ม Y = y]$$ นี่เป็นสัญกรณ์ทั่วไปเพื่อทำให้การเขียนง่ายขึ้น
ตอนนี้เขียนอย่างชัดเจนเป็น
$$p_i = \sum_{j=1}^{n} r_{ij} = \Pr[X = x_i \wedge Y = y_0] + \Pr[X = x_i \wedge Y = y_1] + \cdots + \ ราคา[X = x_i \wedge Y = y_m]$$
ตั้งแต่ตัวแปรสุ่ม $X$ และ $Y$ เป็นอิสระแล้วนี่เป็นเพียงส่วนหนึ่งของเหตุการณ์ $x_i$ โดยตัวแปรสุ่ม $Y$.
ให้พิจารณาลูกเต๋าสองลูก หนึ่งมี $X$ และอีกอย่างคือ $Y$ เป็นตัวแปรสุ่มแทนค่าบนของลูกเต๋า โดยรวมแล้วมีค่าเท่ากันที่เป็นไปได้ 36 ค่าของการทอยลูกเต๋าสองลูก แก้ไขอันแรกให้พูด $3$ แล้ว
\begin{align}\Pr(X=3) = & \Pr(X=3,Y=1)+\
& \Pr(X=3,Y=2)+\
& \Pr(X=3,Y=3)+\
& \Pr(X=3,Y=4)+\
& \Pr(X=3,Y=5)+\
& \Pr(X=3,Y=6)\
= &\frac{1}{36}+ \frac{1}{36}+ \frac{1}{36}+ \frac{1}{36}+ \frac{1}{36} +\frac{ 1}{36} = \frac{1}{6}
\end{แนว}
$H(X,Y)$ เป็นจริง เอ็นโทรปีร่วม และสูตรถูกกำหนดโดย (และ AND อีกครั้ง);
$$H(X,Y) = -\sum_{x\in\mathcal X} \sum_{y\in\mathcal Y} P(x,y) \log_2[P(x,y)]$$
ในบริบทของเรานี่คือ
$$H(X,Y) = -\sum_{x\in X} \sum_{y\in Y} P(X=x,Y=y) \log_2[P(X=x,Y=y)] $$
$H(X,Y)$ เป็นการประเมินพร้อมกันของ $X$ และ $Y$ และนั่นเท่ากับการประเมินครั้งแรก $X$ แล้วให้ค่าของ $X$ ประเมินการ $Y$
$$H(X,Y)= H(X|Y)+H(Y)=H(Y|X)+H(X) $$
พิสูจน์นานหน่อย;
\begin{จัด}
H(X,Y) & = â \sum_{i=1}^n \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \log \big( \Pr(X= x_i,Y =y_j) \ใหญ่)\
& = â \sum_{i=1}^n \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \log \big( \Pr(X=x_i) \Pr(Y |X = y_j|x_i) \ใหญ่)\
& = â \sum_{i=1}^n \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \big[ \log \big( \Pr(X=x_i) \ ใหญ่) + \log \big( \Pr(Y|X = y_j|x_i) \big) \big] \
& = â \sum_{i=1}^n \left( \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \right) \log \big( \Pr(X= x_i) \ใหญ่) \
& - \sum_{i=1}^n \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \log \left( \Pr(Y|X = y_j|x_i) \right) \
& = ส(X) + ส(ย|X)
\end{แนว}