ব্যাকপ্রোপাগেশন

Chain rule — মূল হাতিয়ার

এক ভেরিয়েবলে সরল গুণ। বহু ভেরিয়েবলে Jacobian গুণ।

একটি layer-এর backward

Forward: z = Wx + b, h = σ(z)। Loss L upstream gradient ∂L/∂h জানা থাকলে:

• ∂L/∂z = ∂L/∂h ⊙ σ′(z) (element-wise)।
• ∂L/∂W = (∂L/∂z) xᵀ।
• ∂L/∂b = ∂L/∂z।
• ∂L/∂x = Wᵀ (∂L/∂z) — আগের layer-এ পাঠানো।

অ্যালগরিদম

• ১. Forward pass — সব intermediate activation save করো।
• ২. Output-এ ∂L/∂ŷ গণনা।
• ৩. শেষ layer থেকে শুরু করে পেছনে এগোও।
• ৪. প্রতিটি layer-এ ∂L/∂W, ∂L/∂b সঞ্চয় করো।
• ৫. ∂L/∂x পেছনের layer-এ পাঠাও।

কেন এত দক্ষ

Naive পদ্ধতিতে প্রতিটি প্যারামিটারের জন্য আলাদা derivative গণনা = O(n²) কাজ। Backprop সব gradient একসাথে এক backward pass-এ গণনা করে — forward pass-এর সমান খরচে।

Autodiff

• PyTorch: dynamic graph (define-by-run)।
• JAX: functional, jit-compiled।
• TensorFlow: static + eager hybrid।
• সবাই backprop-এর উপর দাঁড়ানো।

সাধারণ সমস্যা

• Vanishing gradient: σ′ ≈ 0 হলে পেছনে যেতে যেতে gradient মিলিয়ে যায়।
• Exploding gradient: gradient হঠাৎ বিশাল।
• সমাধান: ReLU, BatchNorm, residual connections, gradient clipping।