ম্যানিফোল্ড লার্নিং

Manifold কী?

Manifold = একটি স্থান যা প্রতিটি বিন্দুর কাছে সমতল (Euclidean) দেখায়, কিন্তু পুরো scale-এ বাঁকানো হতে পারে। পৃথিবীর পৃষ্ঠ — প্রতিটি ছোট অংশ সমতল মনে হয়, কিন্তু পৃথিবী গোলক।

PCA-এর সীমা

PCA = linear manifold (subspace) ধরে। কিন্তু ডেটা যদি একটি Swiss roll-এর মতো বাঁকানো থাকে, PCA তাকে সমতল করতে পারে না — Euclidean দূরত্ব ভুল উত্তর দেয়।

Geodesic Distance

Manifold-এ দুটি বিন্দুর প্রকৃত দূরত্ব = পৃষ্ঠ বরাবর সবচেয়ে ছোট পথ (geodesic), straight line নয়। পৃথিবীতে ঢাকা থেকে নিউইয়র্ক — সরলরেখা পৃথিবীর ভিতর দিয়ে যাবে; geodesic = great circle।

ক্লাসিক্যাল অ্যালগরিদম

• Isomap: k-NN graph → graph-এ shortest path = geodesic → classical MDS।
• LLE (Locally Linear Embedding): প্রতিটি বিন্দু = প্রতিবেশীর linear combination, কম-dimension-এ সংরক্ষণ।
• Laplacian Eigenmaps: graph Laplacian-এর smallest eigenvector।
• Diffusion Maps: random walk-এর transition matrix-এর eigenstructure।
• t-SNE: high-D ও low-D distribution-এর KL divergence কমানো — visualization-এর রাজা।
• UMAP: topological data analysis থেকে অনুপ্রাণিত, t-SNE-র চেয়ে দ্রুত।

Spectral Graph Theory-এর ভূমিকা

অধিকাংশ manifold পদ্ধতি একটি graph তৈরি করে এবং তার Laplacian L = D − W-এর eigendecomposition করে। ছোট eigenvalue → মসৃণ embedding। লিনিয়ার অ্যালজেব্রা এখানেও।

Deep Learning-এর সাথে সম্পর্ক

• Autoencoder = শেখা nonlinear manifold।
• VAE = একটি probability distribution latent manifold-এ।
• Diffusion model: ডেটা manifold-এ ফেরার পথ শেখে।
• Representation learning-এর গভীর লক্ষ্য — manifold আবিষ্কার করা।