র‍্যান্ডম ম্যাট্রিক্স তত্ত্ব

Random Matrix Theory

এলোমেলো ম্যাট্রিক্সেও লুকিয়ে আছে নিয়ম

≈ ১২ মিনিট

একটি বিশাল ম্যাট্রিক্স তৈরি করো — যার প্রতিটি entry এলোমেলো (Gaussian)। এর eigenvalue কোথায় থাকবে? অবাক করা উত্তর: একটি নির্দিষ্ট আকারে — semicircle, Marchenko–Pastur। এলোমেলোতারও গণিত আছে। এবং এই গণিত-ই ব্যাখ্যা করে — কেন বিশাল neural network কাজ করে।

RMT কী?

Random Matrix Theory: যখন matrix-এর entry random variable, তখন eigenvalue, singular value-এর distribution কেমন হয় তার অধ্যয়ন। শুরু পদার্থবিদ্যায় (Wigner, পারমাণবিক নিউক্লিয়াসের energy level), এখন ML-এর কেন্দ্রে।

Wigner Semicircle Law

একটি N × N symmetric matrix নাও, যার প্রতিটি entry স্বাধীন Gaussian (mean 0, variance 1)। N বড় হলে eigenvalue-এর distribution একটি অর্ধবৃত্তের আকার ধারণ করে।

ρ (λ) = \frac{1}{2 π} 4 - λ^{2}, ∣ λ ∣ \leq 2

Wigner semicircle: scaled eigenvalue-এর density।

Marchenko–Pastur Law

X একটি N × P random matrix। Sample covariance C = (1/N) XᵀX-এর eigenvalue distribution ratio c = P/N-এর উপর নির্ভর করে।

ρ (λ) = \frac{( λ _{+} - λ ) ( λ - λ _{-} )}{2 π c λ}

λ± = (1 ± √c)²। বাইরের eigenvalue = signal।

Deep Learning-এ সংযোগ

Initialization: random weight-এর spectrum প্রশিক্ষণের প্রথম step নির্ধারণ করে।
NN Jacobian-এর singular value spectrum gradient flow বোঝায় — vanishing/exploding-এর গভীর কারণ।
Hessian-এর eigenvalue: bulk + outlier। Loss landscape-এর geometry।
Neural Tangent Kernel (NTK): infinite-width network = RMT-এর সাহায্যে বিশ্লেষণযোগ্য।
Double descent ঘটনার ব্যাখ্যা — Marchenko–Pastur singularity-তে।

Universality

অদ্ভুত সত্য: entry-এর সঠিক distribution অনেক সময় গুরুত্বপূর্ণ নয়। N বড় হলে spectrum একই universal আকার ধারণ করে — Gaussian হোক বা uniform। এটি RMT-কে শক্তিশালী করে।

Free Probability

Random matrix-এর জন্য classical probability-এর বদলে free probability — যেখানে যোগ ও গুণের জন্য নতুন convolution (free convolution)। উন্নত NN বিশ্লেষণের ভাষা।

মূল ভাবনা

1.Random matrix-এর spectrum-এর নিজস্ব নিয়ম আছে।
2.Wigner semicircle ও Marchenko–Pastur দুটি কেন্দ্রীয় সূত্র।
3.Bulk = noise, outlier = signal।
4.Deep learning-এর initialization, Hessian, NTK — সব RMT।
5.Universality: detail মুছে যায়, structure থেকে যায়।

নিজেকে যাচাই করো

প্রশ্নে ক্লিক করে উত্তর দেখো — তবে আগে নিজে চেষ্টা করো।

প্রশ্ন 1।Wigner semicircle কোন matrix-এর জন্য?

উত্তর:বড় symmetric random matrix — Gaussian entry।

প্রশ্ন 2।Marchenko–Pastur কেন PCA-তে গুরুত্বপূর্ণ?

উত্তর:Noise bulk আর signal spike আলাদা করতে — কত principal component আসলে অর্থবহ।

প্রশ্ন 3।Universality মানে?

উত্তর:Entry-এর সঠিক distribution গুরুত্বপূর্ণ নয় — large-N limit-এ spectrum একই আকার নেয়।

ইন্টারেক্টিভ কুইজ

মূল ভাবনার উপর দ্রুত যাচাই — সঠিক বিকল্পটি বাছাই করো।

প্রশ্ন 1।“র‍্যান্ডম ম্যাট্রিক্স তত্ত্ব” অধ্যায়ের মূল ভাবনাগুলোর মধ্যে নিচের কোনটি অন্তর্ভুক্ত?

প্রশ্ন 2।“র‍্যান্ডম ম্যাট্রিক্স তত্ত্ব” অধ্যায়ের মূল ভাবনাগুলোর মধ্যে নিচের কোনটি অন্তর্ভুক্ত?

প্রশ্ন 3।“র‍্যান্ডম ম্যাট্রিক্স তত্ত্ব” অধ্যায়ের মূল ভাবনাগুলোর মধ্যে নিচের কোনটি অন্তর্ভুক্ত?

প্রশ্ন 4।“র‍্যান্ডম ম্যাট্রিক্স তত্ত্ব” অধ্যায়ের মূল ভাবনাগুলোর মধ্যে নিচের কোনটি অন্তর্ভুক্ত?

উত্তর দেওয়া হয়েছে: 0/4