Can Open Models Keep Up With OpenAI and Anthropic? | Nathan Lambert

Партнер a16z Лиша Ли беседует с исследователем ИИ и основателем Trillium Натаном Ламбертом о том, насколько устойчив разрыв между передовыми лабораториями ИИ и открытыми моделями. Натан утверждает, что OpenAI и Anthropic обладают структурными преимуществами в вычислительных ресурсах, капитале и способности внедрять новые парадигмы обучения, но лаборатории открытых моделей, особенно в Китае, продемонстрировали замечательную способность не отставать. Они обсуждают, насколько это зависит от квалификации специалистов, а насколько — от технических кадров, почему вычислительные ресурсы остаются серьезным ограничением и как данные, среды обучения с подкреплением и постобработка все больше влияют на прогресс моделей. Они также обсуждают новую некоммерческую исследовательскую лабораторию Натана, Trillium, и ее планы по открытию тех областей исследований ИИ, которые все сложнее изучать извне. Это включает в себя выпуск сред обучения с подкреплением и документирование того, как ИИ фактически используется для автоматизации исследований в области ИИ, с целью демистификации рекурсивного самосовершенствования и предоставления исследователям и политикам более четкого представления о том, что могут и чего не могут делать передовые системы. Временные метки: 00:00 - Введение 00:58 - Вычислительные ресурсы, данные и таланты 08:48 Нехватка вычислительных ресурсов и дискуссия о дистилляции 14:57 Является ли дистилляция просто конкуренцией? 19:24 Открытые и закрытые системы в разных временных масштабах 25:00 Прогресс в передовых технологиях на самом деле связан с данными 31:29 Что будет строить Trillium 38:05 Демистификация RSI 44:32 Может ли открытый исходный код предварительно обучать? 49:32 Системы безопасности и рои агентов Ресурсы: Узнайте больше о Trillium: https://trilliumlabs.org/ Рассылка Натана Ламберта: https://www.interconnects.ai/ Будьте в курсе событий: Если вам понравился этот эпизод, обязательно поставьте лайк, подпишитесь и поделитесь им с друзьями! Найдите a16z на LinkedIn: https://www.linkedin.com/company/a16z Слушайте шоу a16z на Spotify: https://open.spotify.com/show/5bC65RDvs3oxnLyqqvkUYX Слушайте шоу a16z на Apple Podcasts: https://podcasts.apple.com/us/podcast/a16z-podcast/id842818711 Обратите внимание, что представленная здесь информация носит исключительно ознакомительный характер; она НЕ должна рассматриваться как юридическая, деловая, налоговая или инвестиционная консультация, а также не должна использоваться для оценки каких-либо инвестиций или ценных бумаг; и не предназначена для инвесторов или потенциальных инвесторов в какие-либо фонды a16z. a16z и ее аффилированные лица могут иметь инвестиции в обсуждаемые компании. Более подробную информацию можно найти по ссылке: http://a16z.com/disclosures.