Почему ИИ не хватает памяти даже с тысячами GPU?

Почему искусственному интеллекту не хватает памяти, даже если у него тысячи мощнейших GPU? В этом видео разберёмся, почему современные нейросети упираются не только в вычислительную мощность, но и в скорость передачи данных. Что такое HBM, зачем её размещают рядом с AI-чипами, почему огромные модели приходится распределять между множеством ускорителей и как память превращается в одно из главных узких мест современных дата-центров. Поговорим о пропускной способности памяти, KV-кэше, распределённых вычислениях, задержках между GPU и о том, почему даже самый быстрый процессор бесполезен, если данные не успевают до него добраться. И главное — разберём, почему следующая гонка в искусственном интеллекте идёт уже не только за более мощными чипами, а за тем, насколько быстро система умеет перемещать информацию.