ল্যাগ্রেঞ্জ মাল্টিপ্লায়ার

মূল ধারণা

g(x) = 0 শর্তে f(x) optimize করতে চাইলে সমাধান করো:

λ-ই Lagrange multiplier।

Lagrangian

∇L = 0 (x ও λ উভয়ের সাপেক্ষে) সমাধান করলেই optimum পাওয়া যায়।

জ্যামিতিক ব্যাখ্যা

• g = 0 হলো একটি curve/surface।
• f-এর level curve বরাবর হাঁটলে f পরিবর্তন হয় না।
• Optimum-এ f-এর level curve g-এর সাথে tangent — তাই gradient সমান্তরাল।

ছোট উদাহরণ

x + y = 1 শর্তে f = x² + y² minimize:

• ∇f = [2x, 2y], ∇g = [1, 1]।
• 2x = λ, 2y = λ → x = y।
• x + y = 1 → x = y = ½। Min মান = ½।

একাধিক শর্ত ও inequality

• একাধিক gᵢ = 0: ∇f = Σ λᵢ ∇gᵢ।
• Inequality gᵢ ≤ 0 → KKT conditions (Karush–Kuhn–Tucker)।
• SVM-এর dual formulation এখান থেকেই আসে।

AI-প্রসঙ্গ

• SVM: margin maximization with constraints।
• PCA: ‖w‖ = 1 শর্তে wᵀCw maximize → top eigenvector।
• Maximum entropy model, regularization-এর dual রূপ।