Мы собрали свой ИИ-сервер: 2x RTX 5060 Ti (32 ГБ VRAM) для Qwen 27B | Полный процесс сборки

Мы создали собственный сервер искусственного интеллекта в Бангалоре для запуска Shishya, нашей бесплатной платформы для подготовки к экзаменам с ИИ-репетитором, на открытых моделях вместо платного облачного API. В этом журнале сборки описан каждый этап: измерение реального использования, выбор модели, расчеты видеопамяти, планирование покупки, что именно мы приобрели, сборка, стресс-тест и программный стек. СБОРКА Процессор: AMD Ryzen 5 5600 (6 ядер) Материнская плата: Gigabyte B550 UD AC Память: 32 ГБ DDR4 (2 x 16 ГБ) Хранилище: PNY CS1030 1 ТБ NVMe Видеокарты: 2 x Asus Dual RTX 5060 Ti 16 ГБ = 32 ГБ видеопамяти Блок питания 1000 Вт, ИБП 2 кВА, корпус с системой вентиляции Итого: около 2,6 лакх рупий, включая НДС МОДЕЛИ Qwen3.8 27B (Apache 2.0): основная модель. Около 18 ГБ в 4-битном режиме; гибридное внимание поддерживает кэш ключ-значение только в 16 из 64 слоев, около 64 КБ на токен, поэтому для 32 000 токенов контекста требуется около 2 ГБ. gpt-oss 20B (Apache 2.0): вторая модель из другого семейства, используется для перекрестной проверки ответов. IndicTrans2 (MIT, AI4Bharat / IIT Madras): перевод на хинди и телугу. Сравнение на бумаге: Gemma 4 31B и Sarvam 30B. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ Ollama / vLLM для обслуживания моделей, шлюз LiteLLM (один адрес в стиле OpenAI, ключи и ограничения для каждой команды) с бесплатным облачным резервным хранилищем, работающим с теми же открытыми моделями, Open WebUI для чата и Grafana для мониторинга. ТРИ УРОКА 1. Измерьте свое использование перед покупкой оборудования. 2. Произведите расчеты VRAM: веса + кэш KV. 3. Протестируйте каждую видеокарту перед оплатой: реальный объем памяти, стресс-тест и сканирование памяти. Следующий эпизод: сравнение результатов решения собственных экзаменационных вопросов Шишьи, Qwen 27B на обеих картах против gpt-oss 20B + Qwen 9B, с подсчетом баллов и скорости. РАЗДЕЛЫ 0:00 Почему мы создали собственный сервер ИИ 0:29 Шаг 1: Измерьте перед покупкой 0:55 Шаг 2: Выбор модели 1:29 Шаг 3: Расчеты VRAM 1:58 Шаг 4: Планирование покупки 2:32 Шаг 5: Что мы фактически купили 3:18 Шаг 6: Сборка 3:51 Шаг 7: Стресс-тест 4:07 Шаг 8: Программный стек 4:31 Что дальше Показатели индекса интеллекта: Искусственный анализ, октябрь 2026 г. Озвучено голосом ИИ (Сарвам Бульбул, индийский английский). Surge Software Solutions, Бангалор. #AIServer #LocalLLM #RTX5060Ti #Qwen #SelfHostedAI Изучайте ИИ с Surge Software Solutions: Shishya, бесплатный репетитор по ИИ и пробные тесты: https://shishya.in Tensorpath, 20-дневный онлайн-курс по ИИ с тренером: https://tensorpath.in Surge Software Solutions, Бангалор: https://surgesoftware.co.in