Маленькие языковые модели | Open source, локальный ИИ, SLM | Podlodka Podcast #468

Что делать, чтобы рынок ИИ не захватили монополисты, и мы все не стали радикально зависимы от OpenAI, Anthropic и других корпораций? Научиться работать с локальным ИИ! Чтобы разобраться в теме мы позвали Ивана Ямщикова из Pleias, и поговорили про то, как устроены маленькие языковые модели. Занятный факт: пока мы писали выпуск, вышла новость о том, что Nvidia в партнерстве с Pleias выпустила открытый датасет в рамках проекта Nvidia Nemotron. Почему открытые датасеты важны для маленьких моделей – тоже обсудили в выпуске! Полезные ссылки: — YouTube-канал Ивана https://www.youtube.com/channel/UC0tXFLOZREynjWf7BhFJHLQ — Статьи про различные аспекты маленьких языковых моделей https://arxiv.org/pdf/2409.06857 https://github.com/UbiquitousLearning/SLM_Survey https://arxiv.org/pdf/2411.03350 https://arxiv.org/pdf/2402.13116 https://research.nvidia.com/labs/lpr/slm-agents/ — Книга “от 0 к 1” https://www.goodreads.com/book/show/18050143-zero-to-one — Новость про mRNA вакцину для собаки https://www.theaustralian.com.au/business/technology/tech-boss-uses-ai-and-chatgpt-to-create-cancer-vaccine-for-his-dying-dog/news-story/ — Про Qwen https://arxiv.org/abs/2601.11061 — Анонс коллаборации Pleias и Nvidia https://huggingface.co/datasets/nvidia/Nemotron-Personas-France https://investor.nvidia.com/news/press-release-details/2026/NVIDIA-Expands-Open-Model-Families-to-Power-the-Next-Wave-of-Agentic-Physical-and-Healthcare-AI/default.aspx 👉Предложить себя в подкаст https://a37921.webask.io/211d3eec0 Тайм-коды: 00:00 О чём выпуск? 07:03 Преимущества маленьких моделей 11:21 Классификация моделей 19:21 Мотивация использования маленьких моделей 27:49 Минусы независимых моделей ИИ 55:46 Как создаются маленькие модели? 01:06:15 Дистиляция знаний 01:14:19 Прунинг в нейронных сетях 01:19:22 Common Corpus 01:26:26 Выбор между дистиляцией и обучением с нуля 01:35:02 С чего начать работу с языковыми моделями? 01:39:14 Заключение