গ্রেডিয়েন্ট ডিসেন্ট

Update নিয়ম

• θ — parameters (ওজন)।
• η — learning rate (পদক্ষেপের আকার)।
• ∇f — বর্তমান বিন্দুতে gradient।

Learning rate-এর ভূমিকা

• η খুব ছোট → অসম্ভব ধীর।
• η ঠিকঠাক → মসৃণ অবরোহণ।
• η খুব বড় → oscillation বা diverge।

Variants

• **Batch GD** — পুরো ডেটাসেটে gradient। সঠিক, কিন্তু ধীর।
• **SGD** — একটি নমুনায় gradient। দ্রুত, কিন্তু noisy।
• **Mini-batch SGD** — সমঝোতা; বাস্তবে সবচেয়ে ব্যবহৃত।
• **Momentum** — বেগ সংরক্ষণ করে saddle ও ravine পার করা।
• **Adam** — adaptive η + momentum; default optimizer।

কোথায় থামবে

• ‖∇f‖ ≈ 0 → critical point।
• Local minimum, saddle, বা (বিরল) global minimum।
• Convex হলে: যেকোনো local = global।

AI-প্রসঙ্গ

• প্রতিটি neural net training = mini-batch SGD-এর variant।
• LR scheduling, warmup, cosine decay — চলমান গবেষণা।
• AdamW — LLM training-এর standard।