Бесплатный Kaggle-ноутбук с 32GB VRAM для запуска 27B модели прямо из OpenCode

Бесплатный ноутбук Kaggle с ускорителем GPU T4 x2 заявляет 32 GB VRAM. В этом видео он используется, чтобы поднять плотную модель на 27B в её 8-битной квантизации и отдать её по интернету редактору, который работает на обычной машине с Windows, без карты оплаты, без аккаунта на какой-либо платной платформе и без локального GPU. Каждая цифра здесь измерена в этой же сессии: четыре ступени квантизации, прогнанные на двух картах, предел одной карты, который и заставляет брать обе, время загрузки и подъёма файла на 29.0 GB, три секунды на получение публичного хостнейма и полный тайминг одной настоящей задачи по коду, отправленной из клиента, от первого токена до готового файла. Рецепт по шагам: Подтвердить аккаунт Kaggle, чтобы появились переключатели ускорителя и интернета, затем создать ноутбук с GPU T4 x2 и включённым интернетом. Распаковать готовые архивы бинарников и рантайма llama.cpp под CUDA, поправить путь поиска библиотек и убедиться, что обе карты Tesla T4 видны. Выбрать квантизацию на Hugging Face и скачать 8-битный GGUF в большой временный оверлей внутри ноутбука. Запустить на нём llama-server с полной выгрузкой на GPU и фиксированным контекстом 32768 токенов, затем проверить эндпоинты health и models локально. Открыть этот порт быстрым туннелем Cloudflare и считать сгенерированный хостнейм. Написать на своей машине конфиг OpenCode с кастомным OpenAI-совместимым провайдером, направленным на туннель. Проверить список моделей через туннель и в выборе моделей клиента, затем отправить настоящую задачу по коду и прочитать тайминги сервера. 0:00 27B на бесплатном железе: что получилось и почему одной T4 мало 0:40 Замеры четырёх квантизаций на двух T4: 13.90, 10.17 и 8.64 токенов в секунду 2:03 Kaggle: подтверждаем аккаунт, включаем GPU T4 x2 и интернет 2:35 Ставим llama.cpp из готовых CUDA-архивов и видим обе карты 3:16 Выбираем квант на Hugging Face и качаем 8-битный GGUF в ноутбук 4:32 Поднимаем llama-server с контекстом 32768 и читаем страшный лог 5:11 Отдаём порт наружу быстрым туннелем Cloudflare 5:46 Конфиг OpenCode на Windows и настоящая задача по коду с таймингами #Kaggle #llamacpp #OpenCode #нейросети #бесплатныйGPU #локальныеМодели