Разбираю LLM, агентские инструменты и инфру, которую сам запускаю
vLLM, SGLang, llama.cpp, Codex, OpenCode, железо, бенчи и всё, что обычно всплывает, когда начинаешь это реально трогать.
Последний разбор
Как профилировать llama.cpp: три инструмента, которые находят реальный боттлнек
Как профилировать llama.cpp на GPU: GGML_SCHED_DEBUG, nsys и отладка CUDA graphs. Три инструмента, три реальных боттлнека и порядок, в котором их искать.
Raw Input
Последние разборы
Движки инференса LLM и локальное AI-железо (2026)
Локальный инференс LLM начинается не с выбора движка, а с железа, формы нагрузки и модели обслуживания: для большинства это llama.cpp (портативность, GGUF, широчайший охват моделей) или vLLM (когда надо обслуживать пользователей), на Mac - MLX, в датацентре - SGLang/TensorRT-LLM, а ExLlamaV2/V3 остаются нишевым выбором энтузиаста ради скорости на одной потребительской RTX, потому что реальная производительность упирается в пропускную способность памяти, KV-кэш, межсоединения и планировщик, а не в объём VRAM
Tensor parallel vs pipeline parallel vs data parallel: как LLM делится между несколькими GPU
Tensor parallel vs pipeline parallel vs data parallel: чем отличаются виды параллелизма при инференсе LLM на нескольких GPU и как выбрать TP, PP или DP под своё железо.
Сколько VRAM нужно для LLM: как посчитать веса, KV cache и overhead
Сколько VRAM нужно для LLM? Считаем по формуле: память под веса, KV cache и overhead, как влияют квантизация, длина контекста и batch size — и что делать, если модель не влезает в видеокарту.
Что под капотом
Темы, которые тут чаще всего всплывают
Inference
vLLM, SGLang, KV cache, serving, бенчи и всё, что начинает болеть под нагрузкой.
Agents
Codex, OpenCode, Claude Code, MCP, skills и реальные workflows с агентами.
Local Inference
llama.cpp, локальные модели, кванты, контекст, VRAM и всё, что всплывает при запуске дома.
Homelab / Ops
Железо, GPU, сети, туннели, локальный инференс и всё, что работает ровно до первого reboot.