На этой неделе Meta анонсировала MusicGen, свою новую модель искусственного интеллекта, которая генерирует новую музыку из текстовых подсказок. Искусственный интеллект также можно применить к существующей песне.
Что вам нужно знать
- Модель была обучена примерно 20 000 часов музыки, в том числе около 10 000 треков;
- Также было использовано около 390 000 треков музыкальных инструментов из Shutterstock и Pond5;
- Языковая модель с открытым исходным кодом доступна на GitHub;
- ИИ позволяет пользователю составить описание типа музыки, которую он хочет создать, например стиль, мелодию, инструменты и другие параметры;
- «MusicGen производит высококачественные сэмплы, которые лучше всего соответствуют мелодии заданной гармонической структуре, придерживаясь при этом текстового описания», — описывает Meta;
- Компания заявляет, что MusicGen работает лучше, чем другие аналогичные модели, такие как MusicLM от Google.
В сообщении в Twitter Феликс Кройк, инженер-исследователь ИИ в Meta, показал возможности использования MusicGen.
Читать далее:
- Тейлор Свифт в Бразилии: в виртуальной очереди более 2 млн человек
- Как улучшить звук в Spotify на iPhone и Mac
- Как улучшить звук в Spotify на Android и Windows?
Представляем MusicGen: простая и управляемая модель создания музыки. MusicGen можно запросить по тексту и мелодии. Мы выпускаем код (MIT) и модели (CC-BY NC) для открытых исследований, воспроизводимости и музыкального сообщества.
Феликс Кройк, инженер-исследователь ИИ в Meta.
MusicGen построен на основе звукового токенизатора EnCodec. В отличие от предыдущей работы, MusicGen представляет собой одноэтапный преобразователь LM, в котором используются эффективные шаблоны чередования токенов, что устраняет необходимость каскадирования нескольких моделей (например, иерархически или повышающей дискретизации). pic.twitter.com/QNca0U6XMD
— Феликс Кройк (@FelixKreuk) 9 июня 2023 г.
Феликс объясняет, что MusicGen построен с аудио-токенизатором EnCodec и использует API Hugging Face, который позволяет пользователям тестировать модель онлайн.
В статье Meta объяснила, что протестировала три версии инструмента с 300 миллионами, 1,5 миллиардами и 3,3 миллиардами параметров. В отзывах компания обнаружила, что пользователи предпочитают версию среднего класса из 1,5 млрд.
Мета говорит, что песни, используемые при обучении инструмента, выпущены в соответствии с юридическими соглашениями с правообладателями.
Новая модель музыкального языка конкурирует с MusicLM, недавно выпущенным Google. Meta сравнила производительность MusicGen с MusicLM и другими подобными моделями, такими как Riffusion и Mousai. Нажмите здесь и послушайте разницу.
При участии The Decoder, TechXplore и Gizmodo.
Смотрели новые видео на YouTube от Olhar Digital? Подписывайтесь на канал!
Сообщение Вы сможете создавать музыку с помощью нового ИИ Meta; послушать примеры впервые появились на Olhar Digital.