Technology
Foundation Model Engineering
Model-i öyrətməkdən agentic sistemlərə qədər
Foundation Model Engineering
Model-i öyrətməkdən agentic sistemlərə qədər
Model-ləri yalnız API-dən çağırmaqla kifayətlənməyən AI mühəndisləri üçün fundamental və praktik bələdçi. Kitab neural network-lərin necə öyrəndiyindən, transformer-dən, pretraining və post-training-dən başlayır. Sonra open-source model-lərin spesifik sahələr üçün train edilməsinə, RAG-a, agentic və AI dəstəkli araşdırma sistemlərinin dizaynına, oradan da multimodal və world model kimi irəli istiqamətlərə keçir. Hər mərhələ əvvəlkinin üzərinə qurulur.
8 fəsil64 dəq oxuYenilənib: 2026-11-01
0% oxunub
Mündəricat
- 1.1Tensor-lar: hər şey ədəd massividir
- 1.2Model parametrləşdirilmiş funksiyadır
- 1.3Loss: səhvi bir ədədlə ifadə etmək
- 1.4Gradient descent: aşağı enmək
- 1.5Backpropagation: gradient-i necə hesablamalı
- 1.6Optimizer-lər: SGD-dən AdamW-yə
- 1.7Learning rate schedule, batch size və gradient clipping
- 1.8Overfitting və regularization
- 1.9Initialization və normalization
- 1.10Minimal training loop
- 1.11Tapşırıqlar
- 2.1Representation nədir
- 2.2Embedding: diskret şeyləri vektora çevirmək
- 2.3Oxşarlığı ölçmək
- 2.4word2vec: context-dən məna
- 2.5Contextual embedding-lər
- 2.6Contrastive learning: oxşarlığı birbaşa öyrətmək
- 2.7Mətn embedding model-ləri
- 2.8Ortaq multimodal fəzalar
- 2.9Ölçü, normalization və praktik qeydlər
- 2.10Növbəti addımlar üçün təməl
- 2.11Tapşırıqlar
- 3.1Problem: ardıcıllığı necə emal etməli
- 3.2Attention: Q, K, V
- 3.3Causal mask
- 3.4Multi-head attention
- 3.5Mövqe məlumatı: absolute-dan RoPE-a
- 3.6Residual stream və normalization
- 3.7Feed-forward: SwiGLU
- 3.8Decoder-only stack və logits
- 3.9KV cache
- 3.10Attention-un qiyməti və variantlar
- 3.11Mixture of Experts
- 3.12Tapşırıqlar
- 5.1Məqsəd: növbəti token və cross-entropy
- 5.2Compute-u hesablamaq: 6·N·D
- 5.3Scaling law-lar
- 5.4Compute-optimal niyə hər şey deyil
- 5.5İşlənmiş nümunə: büdcəni hesablamaq
- 5.6Yaddaş: GPU-ya nə sığır
- 5.7Mixed precision
- 5.8Parallelism: işi GPU-lar arasında bölmək
- 5.9Instabillik: loss spike-ları
- 5.10Base model nəyi bacarır, nəyi yox
- 5.11Tapşırıqlar
- 8.1Evaluation niyə ən çətin hissədir
- 8.2Perplexity və tapşırıq metrikləri
- 8.3Əsas metriklər
- 8.4Benchmark ailələri və saturation
- 8.5Contamination
- 8.6LLM-as-judge
- 8.7İnsan qiymətləndirməsi və pairwise müqayisə
- 8.8Öz eval set-inizi qurmaq
- 8.9Statistik əhəmiyyət və variance
- 8.10Eval-driven development
- 8.11Fundament tamamlandı
- 8.12Tapşırıqlar