Саймон и его 9 братьев и сестёр попадают в параллельную вселенную - GEN-2 + SteosVoice #neurocamp

Домашняя работа № 6 для NeuroCamp в JCenterS. Видеоряд сгенерирован с помощью бесплатного Gen-2 от Runway, озвучка тоже сгенерирована с помощью бесплатного Telegram бота SteosVoice. Короткий фильм создан на основе моих домашних работ 3 и 4, в которых с помощью ChatGPT-3.5 я сгенерировал сценарий, который шаг за шагом трансформировался (по заданию) от "Сэм попал в параллельную вселенную к родителям, которые выжили в автокатастрофе" к "Саманта, потерявшая родителей в автокатастрофе, попала в параллельную вселенную, где встретилась с выжившими родителями и неким мальчиком Сэмом..." к "Саймон и его 9 братьев и сестёр, потерявших родителей в автокатастрофе, попадают в параллельную вселенную, в которой встречают выживших родителей, а также неких Сэма и Саманту из других параллельных вселенных". Далее на основе этого сценария в Stable Diffusion была создана раскадровка из 5 кадров (ссылка ниже). Домашние работы 5.1-5.3 не были связаны с этой историей. А вот в домашней работе 6 к ней возвратились. Перед тем, как начать генерировать видео, на основе 5 кадров я создал "раскадровку" текста в Canvas в бесплатном Obsidian, создав 5 блоков с фразами на каждый созданный акт. Затем через Telegram бот SteosVoice на основе текста были сгенерированы звуковые дорожки (голос выбрал далеко не сразу, лучшим для мальчика оказался голос Сяо, а в тексте в нужных местах я ставил запятые для пауз или наоборот их убирал, если пауза была лишняя, а также ставил перед гласными знак "+" для ударения, если слова произносились неверно, и убирал дефисы, если они создавали неверное произношение). Каждому аудиофайлу я давал название под раскадровку, например: "2-й блок, 3-й кадр". Это помогло быстрее смонтировать конечное видео. Пять кадров, сгенерированных в Stable Diffusion в домашней работе № 4, я использовал в качестве референсов в Gen-2, но некоторые видео приходилось создавать с нуля, чтобы видеоряд был интереснее и чтобы было чем заполнить пробелы под повествование, ведь Gen-2 пока что создаёт видео по 4 секунды, а голосовая дорожка чаще была длиннее (иногда на монтаже их приходилось уменьшать, если видеоряда не хватало даже с замедлением видео). Каждому видео я также, как и для аудио, давал название под раскадровку, чтобы было удобнее монтировать. На всё про всё было использовано 100 бесплатных секунд из 105 выданных в Gen-2 (при регистрации дают 525 кредитов, где 5 кредитов равны 1 секунде). Ссылка на сценарий, созданный в бесплатном ChatGPT-3.5 и раскадровку из 5 кадров, созданную в бесплатном Stable Diffusion в модели Deliberate 2 (использовался Automatic1111 в бесплатном GoogleColab): https://www.figma.com/file/zYGzqvLSOpbBWZE4XRfM6N/Homework-3-&-4-for-NeuroCamp-(2023)?type=whiteboard&node-id=0:1&t=Nfxy5cKbdUy3hsd9-1 Монтаж был сделан в бесплатном Blender последней версии. Однако даже со всеми этими облачными вычислениями и несложным монтажом в конце ноутбук еле-еле всё это выдерживал и всячески меня проклинал троттлингом процессора. Но ничего, справился! Итого по тому, что было использовано: 1. Подробное планирование всей работы: Canvas и обычные заметки в Obsidian, 2. Сценарий: я и ChatGPT-3.5, 3. Раскадровка: Stable Diffusion (модель Deliberate 2 в Automatic1111 в GoogleColab) и Paint.NET (когда нужно было вставить один референс в другой для генерации нужной композиции в режиме img2img), 4. Аудиодорожка: бот SteosVoice в Telegram, 5. Видеоряд: Gen-2 от Runway, 6. Монтаж: Blender. Спасибо ребятам из NeuroCamp в JCenterS за бесплатное обучение, время и огромное терпение к ученикам! #neurocamp #gen2 #stablediffusion #deliberate #chatgpt #steosvoice #jcenters #txttovideo