পজিটিভ ডেফিনিট ম্যাট্রিক্স
Positive Definite Matrices
অপ্টিমাইজেশনের ভিত্তি
≈ ৯ মিনিট
কোন function-এর minimum আছে? কোন quadratic bowl-আকৃতির? উত্তরের কেন্দ্রে PD matrix। Covariance, kernel, Hessian — ML-এর সর্বত্র।
সংজ্ঞা
PSD: xᵀAx ≥ 0।
সমতুল্য চরিত্র
- সব eigenvalue > 0 (PD), ≥ 0 (PSD)।
- Cholesky: A = LLᵀ।
- সব leading principal minor > 0 (Sylvester)।
- A = BᵀB কোনো full-rank B-এর জন্য।
জ্যামিতি
f(x) = ½xᵀAx − bᵀx + c। A PD হলে f একটি bowl — একটিমাত্র global minimum।
ML-এ উদাহরণ
- Covariance Σ সবসময় PSD।
- Kernel matrix PSD (Mercer)।
- Hessian PD at strict local min।
- Fisher Information PSD।
Convexity-র সাথে
Twice differentiable f convex ⟺ Hessian PSD সর্বত্র। Strictly convex ⟺ PD।
Operation
- A, B PD হলে A + B PD।
- A PD হলে A⁻¹ PD।
- Bᵀ A B PSD।
- AB সাধারণভাবে PD নয়।
Numerical চেক
- Cholesky চেষ্টা — fail হলে PD নয়।
- Eigenvalue compute।
- Sylvester — ছোট matrix-এ।
A = [[0, 1], [-1, 0]] — ৯০° ঘূর্ণনের জেনারেটর।
eᴬᵗ-এর সংজ্ঞা: Σ (At)ᵏ/k! ।
A² = -I, A³ = -A, A⁴ = I — চক্রাকার।
তাই eᴬᵗ = I + At − I·t²/2! − At³/3! + … = (cos t)I + (sin t)A।
মানে eᴬᵗ = [[cos t, sin t], [-sin t, cos t]] — ঘূর্ণন ম্যাট্রিক্স!
Differential equation dx/dt = Ax-এর সমাধান: x(t) = eᴬᵗx(0) — এই সব ODE সমাধানের ভিত্তি।
মূল ভাবনা
- 1.PD ⟺ xᵀAx > 0 ⟺ সব eigenvalue > 0।
- 2.Cholesky A = LLᵀ।
- 3.Covariance, kernel, Hessian — সব PSD/PD।
- 4.PD Hessian = strict convex, unique min।
নিজেকে যাচাই করো
প্রশ্নে ক্লিক করে উত্তর দেখো — তবে আগে নিজে চেষ্টা করো।
প্রশ্ন 1।Covariance কেন PSD?
প্রশ্ন 2।PD-র determinant?
প্রশ্ন 3।Cholesky কেন দ্রুত চেক?
প্রশ্ন 4।যদি A diagonalizable হয় (A = PDP⁻¹), eᴬ = ?
প্রশ্ন 5।কেন matrix exponential continuous-time linear system-এ গুরুত্বপূর্ণ?
ইন্টারেক্টিভ কুইজ
মূল ভাবনার উপর দ্রুত যাচাই — সঠিক বিকল্পটি বাছাই করো।