Building Large Language Models from Scratch Design, Train, and Deploy LLMs with PyTorch
-
- Taschenbuch ausgewählt
- eBook
-
Sprache:Englisch
55,99 €
UVP
64,19 €
inkl. gesetzl. MwSt.,
Beschreibung
Produktdetails
Einband
Taschenbuch
Erscheinungsdatum
28.04.2026
Abbildungen
XXV, 530 p. 1382 illus.
Verlag
ApressSeitenzahl
530
Maße (L/B/H)
25,4/17,8/3 cm
Gewicht
1032 g
Auflage
1. Auflage
Sprache
Englisch
EAN
9798868822964
Starting from the essentials, you’ll learn how to set up your environment with Python and PyTorch, manage datasets, and implement critical fundamentals such as tensors, embeddings, and gradient descent. You’ll then progress through the architectural heart of modern models, covering RMS normalization, rotary positional embeddings (RoPE), scaled dot-product attention, Grouped Query Attention (GQA), Mixture of Experts (MoE), and SwiGLU activations, each explored in depth and built step by step in code. As you advance, the book introduces custom CUDA kernel integration, teaching you how to optimize key components for speed and memory efficiency at the GPU level—an essential skill for scaling real-world LLMs. You’ll also gain mastery over the phases of training that define today’s leading models:
Pretraining - Building general linguistic and semantic understanding.
Midtraining - Expanding domain-specific capabilities and adaptability.
Supervised Fine-Tuning (SFT) - Aligning behavior with curated, task-driven data.
Reinforcement Learning from Human Feedback (RLHF) - Refining responses through reward-based optimization for human alignment.
The final chapters guide you through dataset preparation, filtering, deduplication, and training optimization, culminating in model evaluation and real-world prompting with a custom TokenGenerator for text generation and inference.
By the end of this book, you’ll have the knowledge and confidence to architect, train, and deploy your own transformer-based models, equipped with both the theoretical depth and practical expertise to innovate in the rapidly evolving world of AI.
What You’ll Learn
How to configure and optimize your development environment using PyTorch
The mechanics of tokenization, embeddings, normalization, and attention mechanisms.
How to implement transformer components like RMSNorm, RoPE, GQA, MoE, and SwiGLU from scratch.
How to integrate custom CUDA kernels to accelerate transformer computations.
The full LLM training pipeline: pretraining, midtraining, supervised fine-tuning, and RLHF.
Techniques for dataset preparation, deduplication, model debugging, and GPU memory management.
How to train, evaluate, and deploy a complete GPT-like architecture for real-world tasks.
Who this book is for:
Software developers, data scientists, machine learning engineers and AI enthusiasts looking to build their models from scratch.
Ein neues Kapitel für Ihre Bücher
Ein neues Kapitel für Ihre Bücher
Schenken Sie Ihren alten Schätzen ein zweites Leben und erhalten Sie dafür eine Thalia Geschenkkarte.
Noch keine Bewertungen vorhanden
Verfassen Sie die erste Bewertung zu diesem Artikel
Helfen Sie anderen Kundinnen und Kunden durch Ihre Meinung.
Kurze Frage zu unserer Seite
Vielen Dank für Ihr Feedback
Wir nutzen Ihr Feedback, um unsere Produktseiten zu verbessern. Bitte haben Sie Verständnis, dass wir Ihnen keine Rückmeldung geben können. Falls Sie Kontakt mit uns aufnehmen möchten, können Sie sich aber gerne an unseren Kund*innenservice wenden.
zum Kundenservice