GPU и акселераторы для нейросетей / Тензорные компиляторы / Инференс LLM
В новом выпуске «Битовых масок» главной темой стали нейросети — и, конечно же, системное программирование и аппаратная разработка в этой области. К Елене Лепилкиной и Антону Афанасьеву присоединился Андрей Камаев. Андрей стартовал в ИИ-разработке с популярнейшей библиотеки компьютерного зрения OpenCV еще в те времена, когда этим занималась независимая компания Itseez. Затем он продолжил карьеру в Intel, а сейчас является экспертом по разработке ПО искусственного интеллекта YADRO. В ходе выпуска Андрей рассказал об истории развития современных нейросетей и осветил текущий рынок «железа» для ИИ. После этого разговор перешел к специфике разработки LLM «изнутри» и завершился полезными советами для тех, кто только начинает искать место разработчика и боится конкуренции с нейросетями. Основные темы подкаста: как сфера искусственного интеллекта пришла к LLM и другим современным концепциям; как устроены гонки на рынке больших языковых моделей сегодня; как поделен рынок «железа» для тренировки LLM; почему в лидеры ИИ-железа не вышла AMD; почему сложно сделать специальный аппаратный акселератор для LLM, как для криптовалюты; что особенного в компиляторах для нейросетей; почему любая нейросеть — это вредный джинн; что важно разработчикам-джунам для успешной конкуренции с LLM. Тайм-коды: 00:01:56 - Развитие компьютерного зрения и библиотеки OpenCV 00:12:27 - Революции в развитии искусственного интеллекта 00:24:13 - Почему трудно тренировать большие языковые модели 00:29:13 - Как строятся большие языковые модели 00:34:47 - Жизненный цикл современных LLM 00:38:48 - Два мировых игрока на рынке «железа» для ИИ 00:44:51 - Перспективы специальных аппаратных акселераторов для LLM 00:53:50 - ИИ-акселераторы в мобильных устройствах 01:02:38 - Универсальные подходы к аппаратным продуктам для ИИ 01:17:32 - Развитие искусственного интеллекта и акселераторов в России 01:19:02 - Компиляторы для нейросетей 01:54:38 - Глобальные проблемы повсеместного внедрения нейросетей 02:10:38 - LLM в системном программировании и аппаратной разработке 02:15:32 - Как разработчикам-джунам конкурировать с нейросетями на рынке труда
В новом выпуске «Битовых масок» главной темой стали нейросети — и, конечно же, системное программирование и аппаратная разработка в этой области. К Елене Лепилкиной и Антону Афанасьеву присоединился Андрей Камаев. Андрей стартовал в ИИ-разработке с популярнейшей библиотеки компьютерного зрения OpenCV еще в те времена, когда этим занималась независимая компания Itseez. Затем он продолжил карьеру в Intel, а сейчас является экспертом по разработке ПО искусственного интеллекта YADRO. В ходе выпуска Андрей рассказал об истории развития современных нейросетей и осветил текущий рынок «железа» для ИИ. После этого разговор перешел к специфике разработки LLM «изнутри» и завершился полезными советами для тех, кто только начинает искать место разработчика и боится конкуренции с нейросетями. Основные темы подкаста: как сфера искусственного интеллекта пришла к LLM и другим современным концепциям; как устроены гонки на рынке больших языковых моделей сегодня; как поделен рынок «железа» для тренировки LLM; почему в лидеры ИИ-железа не вышла AMD; почему сложно сделать специальный аппаратный акселератор для LLM, как для криптовалюты; что особенного в компиляторах для нейросетей; почему любая нейросеть — это вредный джинн; что важно разработчикам-джунам для успешной конкуренции с LLM. Тайм-коды: 00:01:56 - Развитие компьютерного зрения и библиотеки OpenCV 00:12:27 - Революции в развитии искусственного интеллекта 00:24:13 - Почему трудно тренировать большие языковые модели 00:29:13 - Как строятся большие языковые модели 00:34:47 - Жизненный цикл современных LLM 00:38:48 - Два мировых игрока на рынке «железа» для ИИ 00:44:51 - Перспективы специальных аппаратных акселераторов для LLM 00:53:50 - ИИ-акселераторы в мобильных устройствах 01:02:38 - Универсальные подходы к аппаратным продуктам для ИИ 01:17:32 - Развитие искусственного интеллекта и акселераторов в России 01:19:02 - Компиляторы для нейросетей 01:54:38 - Глобальные проблемы повсеместного внедрения нейросетей 02:10:38 - LLM в системном программировании и аппаратной разработке 02:15:32 - Как разработчикам-джунам конкурировать с нейросетями на рынке труда