Своим опытом делится режиссер монтажа Мерилин Кулла.
Генерация видео — это не съемка видео человеком, поэтому необходимо давать нейросети последовательные и подробные задачи. Нужно писать один промпт для каждого кадра и ни в коем случае не пытаться создать сразу несколько кадров за один промпт.
В бесплатных и даже платных нейросетях один кадр длится обычно 5–8 секунд. Старайтесь сбалансировать каждый кадр по длительности и смысловому наполнению.
Нейросеть обычно неплохо рисует животных в мультяшном стиле. Это хороший старт, чтобы попрактиковаться с составлением промптов и понять, как работает искусственный интеллект.
Если вы описываете конкретную локацию, прикрепите фотографию, чтобы нейросеть точнее воспроизвела ее в видео.
Обязательно указывайте, какой план вам нужен: общий, средний, деталь и т. п. Движется ли камера (если да, то как), или она статична? Куда должен быть направлен фокус?
Даже если вы не умеете профессионально рисовать, набросайте схематичную картину того, как будет выглядеть ваше будущее видео. Или попросите это сделать нейросеть!
Мне стало интересно создать видео только с помощью нейросети. Для этого я использовала сервис Pixverse. Для создания видео хронометражем в полминуты я использовала восемь промптов.
The front camera is medium-sized, slightly tilted up, stable frame: a small town in Norway, in the foreground of the left side there are one-story red houses, on the right side there is a lake, they are separated by a small path. The path leads to the mountains, which are in the background. The houses are decorated with garlands. It’s winter, it’s snowing, there are small snowdrifts on the houses and on the street. The lights are slowly starting to come on in the windows of the houses.
Фронтальная камера, среднеформатная. Она слегка наклонена вверх. Стабильный кадр: небольшой городок в Норвегии, на переднем плане слева — одноэтажные красные дома, справа — озеро, их разделяет небольшая тропинка. Тропинка ведет к горам, которые видны на заднем плане. Дома украшены гирляндами. Зима, идет снег, на крышах домов — снег, а на улице – небольшие сугробы. В окнах домов постепенно загорается свет.
The front camera is close-up sized, slightly tilted up, stable frame: a fireplace with logs burning in it. The fire burns in the back, the flames slowly rising upward. Focus on the logs.
Фронтальная камера, крупный план. Кадр стабильный. Камин, в котором горят поленья. Огонь горит сзади, пламя медленно поднимается вверх. Фокус на поленьях.
Сamera is detailed sized: a wooden house, a kitchen, a detailed red tin mug. A white snowflake is painted on the mug. The mug is on a wooden table. tea is poured into it from a teapot. there is a light steam coming from the tea.
Деталь. Деревянный дом, кухня, детально прорисованная красная жестяная кружка. На кружке нарисована белая снежинка. Кружка стоит на деревянном столе. В нее наливают чай из чайника. От чая идет легкий пар.
Cinematic movie scene, wide angle, a man with grey hair holds a coffee mug in one hand, dimly lit interiors. Mug is red tin. A white snowflake is painted on the mug.
Кинематографический кадр. Широкоугольный объектив. Мужчина с седыми волосами держит в руке кофейную кружку. Интерьер позади него тускло освещен. Кружка в руках — красная жестяная. На кружке нарисована белая снежинка.
The front camera is close-up sized, slightly tilted up, stable frame: evening, the wooden frame of the window is out of focus, there is a beautiful winter forest outside the window, it is snowing. The focus is on this forest. There is a candle in the foreground out of focus, it is burning.
Фронтальная камера снимает крупным планом, слегка наклонена вверх. Кадр стабильный. Вечер, деревянная рама окна не в фокусе, за окном красивый зимний лес, идет снег. Фокус на этом лесу. На переднем плане (не в фокусе) горит свеча.
Camera is detailed sized: winter, evening, forest, in the frame on the right side there is a large fir branch with needles. There is some snow on the branch. the branch swings easily from the light wind.
Деталь. Зима, вечер, лес, в кадре справа большая еловая ветка с иголками. На ветке немного снега. Ветка качается от легкого ветра.
The front camera is medium-sized, slightly tilted up, stable frame: winter, cold evening, snow, forest. men’s feet in winter shoes are walking along the path. the legs go in the opposite direction from the camera. the path goes to the right side of the frame. after each step there are footprints in the snow.
Фронтальная камера, среднеформатная. Камера слегка наклонена вверх, кадр стабильный: зима, холодный вечер, снег, лес. Ноги мужчины в зимней обуви идут по тропинке. Ноги идут в противоположном направлении от камеры. Тропинка уходит в правую часть кадра. После каждого шага на снегу остаются следы.
The front camera is general sized, slightly tilted up: winter, evening, lazy lake with beautiful patterns on the ice. in the background there are mountains with a snow-covered forest. The camera slowly slides forward on the ice.
Фронтальная камера общего плана, слегка наклонена вверх: зима, вечер, озеро с красивыми узорами на льду. На заднем плане — горы и заснеженный лес. Камера медленно скользит вперед по льду.
С помощью Suno я решила создать музыку для получившегося видео. Мне хотелось, чтобы музыка получилась рождественской и ассоциировалась у слушателя с новогодними мотивами.
Create music for the Christmas screensaver of the program about a trip to Lapland. Use the following instruments: bells, organ, lute. It should be atmospheric. Add the sounds of deer hooves, sleighs.
Создай музыку для рождественской заставки программы о путешествии в Лапландию. Используй следующие инструменты: колокольчики, орган, лютня. Музыка должна быть атмосферной. Добавь звуки оленьих копыт, саней.
Сначала я задала другой промпт, попробовав указать не только атмосферу и инструменты, но и конкретные аккорды. Однако музыка получилась слишком динамичной и вообще не ассоциировалась с зимой, поэтому я решила остановиться на промпте выше.
С помощью ChatGPT я написала текст для озвучки.
Ты — известный блогер, который снимает атмосферные и мотивирующие ролики на английском языке о разных периодах в жизни человека. Твоя задача — написать текст хронометражем 30 секунд, который рассуждает о том, что зима и год близятся к концу. Аудитория должна почувствовать мотивацию.
Я хотела, чтобы в тексте было больше рассуждений про возможности и про итоги года, и попросила нейросеть сделать на этом акцент.
Этот вариант мне понравился больше. Я попросила нейросеть сократить текст и убрать первое (слишком общее) предложение.
Кроме текста, нейросеть выдала небольшой сценарий. Я попросила нейросеть его убрать, а затем вывести отдельно текст вместо сценария.
В Hedra я сделала озвучку будущего видео. Промптом стал текст, который я получила на прошлом этапе. Я хотела использовать мужской голос, а по интонации — спокойный и медитативный.
As the year draws to a close, we’re given a rare chance: to look back, to see how far we’ve come. The challenges we faced, the victories — big or small — they’ve shaped us.
But winter isn’t just for reflection. It’s for dreaming. It’s a reminder that, even in stillness, growth happens. There’s time to rewrite your story, time to plant the seeds of what’s to come.
So, as the snow falls, ask yourself: What do you want to create next?
В редакторе я затем убрала видеоряд и оставила только звуковую дорожку, которая мне и была нужна. В бесплатной версии Hedra нет большого функционала: можно выбрать мужской или женский голос, а также язык и даже акцент (американский, британский и пр.). За раз можно сгенерировать только маленький фрагмент текста, поэтому мне пришлось разбить озвучку на три части.
Субтитры я сделала с помощью встроенного ИИ в Adobe Premiere Pro, который анализирует аудио и создает субтитры.
После загрузки видео надо выбрать кнопку «Субтитры» и решить, где они будут располагаться. Adobe Premier Pro транскрибирует речь и на ее основе выдает субтитры, которые можно разбить любым образом: по слову или нескольким словам или предложениям. Я выбрала, чтобы у меня показывалось по два слова. Остальные параметры — цвет, обводку, шрифт и размер — можно также выбрать самостоятельно.
Это удобно, если видео большое и не хочется каждый раз создавать слои для создания субтитров. С автоматической транскрибацией и субтитрами это получается в разы быстрее.
Вот так выглядит секвенция итогового проекта, где все было сделано с помощью ИИ. Сводилось по схеме: видеоряд, озвучка, музыка и наложенные субтитры.
Получившееся видео можно посмотреть ниже.