Можно ли запустить локальный ИИ за $1000 в 2026 году?
Isogram — инструмент, создавший карту в этом видео: https://datawithmicah.gumroad.com/l/Isogram В 2020 году вышла подержанная RTX 3090, и она до сих пор остается лучшей картой для запуска ИИ на собственном компьютере, потому что ни одна карта, выпущенная с тех пор, не имеет 24 гигабайт памяти менее чем за тысячу долларов. Один вопрос, на который даны ответы в четырех частях: что на самом деле можно купить за тысячу долларов, что на ней помещается, чего стоит результат бенчмарка к тому моменту, когда она попадает к вам на стол, и какая работа выдерживает это. Что в ней содержится: Почему память определяет ответ, а скорость — нет, и что происходит, когда файл модели не помещается на гигабайт. Я измерил оба варианта на этом компьютере: модель, которая помещается, начинает запись за 0,20 секунды, та, которая выпадает, ждет 5,03 секунды до первого слова, а затем работает примерно вчетверо медленнее. Четыре ступени ниже тысячи долларов, с учетом памяти на каждой: ноутбук, который у вас уже есть, за бесценок, подержанная RTX 3060 с двенадцатью гигабайтами за 220 долларов, Mac mini с шестнадцатью гигабайтами за 650 долларов, подержанная RTX 3090 с двадцатью четырьмя гигабайтами за 700 долларов. Почему двадцать четыре гигабайта — это ступень, где меняется вид работы, и что делает тридцать миллиардов специалистов, чего не может сделать плотная модель того же размера: тридцать миллиардов параметров в памяти, примерно десятая часть из которых считывается за слово. Что на самом деле измеряет SWE-bench, и три вычета, которые никто не указывает рядом с результатом: веса уменьшены до четверти размера, проект сокращен, чтобы освободить место, и цикл, который сдается после десяти попыток, тогда как опубликованный результат составил сто. Три вида работы, которые сохраняются, четвертый вид, который никто не может купить по этой цене, и сколько стоит машина, которая его вмещает. РАЗДЕЛЫ 0:00 Карта, которая всё ещё побеждает 0:24 Почему бы просто не взять её в аренду 0:34 Первое: вы покупаете гигабайты 1:20 Подходит или ползёт 1:34 Второе: что помещается на каждой ступеньке 2:09 Модель, которая ведёт себя больше, чем есть на самом деле 2:27 Третье: счёт — это не счёт 2:48 Три вычета 3:15 Четвёртое: что покупает половина от пятидесяти одного 3:53 Что не покупает тысяча 4:26 Порядок выполнения 4:55 Изограмма ЧТО КУПИТЬ И УСТАНОВИТЬ NVIDIA GeForce RTX 3090: https://www.nvidia.com/en-us/geforce/graphics-cards/30-series/rtx-3090-3090ti/ NVIDIA GeForce RTX 3060: https://www.nvidia.com/en-us/geforce/graphics-cards/30-series/rtx-3060-3060ti/ Apple Mac mini: https://www.apple.com/mac-mini/ Ollama: https://ollama.com/ LM Studio: https://lmstudio.ai/ Qwen3-Coder на Ollama: https://ollama.com/library/qwen3-coder
Название:
Можно ли запустить локальный ИИ за $1000 в 2026 году?
Категория:
Разное