ИИ на 35 млрд параметров на ноутбуке с 15 ГБ ОЗУ — прямо с SSD

Может ли модель с 35 миллиардами параметров работать на ноутбуке всего с 15 ГБ оперативной памяти? Я собрал Edge0 на Windows, запустил оба уровня модели локально, записал показания счетчиков ОЗУ/SSD/ВОЗМОЖ, проверил код и выходные данные JSON, а также сравнил его с обычным llama.cpp, используя те же веса, адаптер и настройки. 8-битная модель декодировала примерно 30,8 токенов/с. 35-битная модель работала примерно с 7–10 токенов/с, при этом ее веса загружались с SSD. Надежного лидера по скорости в Windows не было: результат менялся в зависимости от размера контекста и порядка выполнения. Мы также расшифровали описанный в статье алгоритм предварительного маршрута, чтение на один токен вперед и восстановление LoRA с помощью библиотечной аналогии. Результат в 20,4 токенов/с и 2,9 ГБ активной памяти, приведенный в статье, получен от Apple Silicon/MLX. Сборка для Windows использует пропатченный llama.cpp и не воспроизводит этот обученный алгоритм предварительного маршрута. РАЗДЕЛЫ 00:00 35-битная модель на 15 ГБ ОЗУ? 00:53 Статья об Edge0 01:28 Библиотека и «стена памяти» 03:08 Почему очевидные исправления застопорились 04:28 Предмаршрутизатор и восстановление LoRA 06:56 Что на самом деле доказывает статья 08:31 Тесты на реальных ноутбуках с Windows 12:36 Что мы узнали 13:37 Попробуйте сами ИСХОДНЫЕ ДАННЫЕ И ЗАГРУЗКИ Статья: https://arxiv.org/abs/2609.18063 Код: https://github.com/Edge0-AI/Edge0 Примечания по сборке для Windows: https://github.com/Edge0-AI/Edge0/tree/main/windows 35-битная модель: https://huggingface.co/Edge0/Edge0-35B-A3B-preview 8-битная модель: https://huggingface.co/Edge0/Edge0-8B-A1B-preview Тестовая машина: видеокарта RTX 4060 для ноутбука (8 ГБ видеопамяти), 15,3 ГБ ОЗУ, SSD KIOXIA NVMe 1 ТБ. Декодирование и обработка подсказок — отдельные измерения. Проверки короткого кода/JSON не являются полноценным бенчмарком качества. Записанные графики счетчиков показывают реальные запуски, а не запись экрана в реальном времени. В озвучке используется мой клонированный голос. Иллюстрации в библиотеке — пояснительные метафоры. #Edge0 #LocalAI #LLM Получить GPU Runpod: https://get.runpod.io/pe48 Получить Hostinger: https://www.hostg.xyz/SHJiu Купон "PROMPT" на скидку 10% 🔗 Свяжитесь со мной: Электронная почта → prompt.engineer48.alerts@gmail.com Ko-fi → https://ko-fi.com/promptengineer Patreon → https://www.patreon.com/PromptEngineer975 Записаться на звонок → https://calendly.com/prompt-engineer48/call GitHub → https://github.com/PromptEngineer48 Веб-сайт → https://promptengineer48.com/