PAUTINKAAudio Motion System 1.0
Движение в runtime от аудио, детерминированная Choreography, переиспользуемые ресурсы Dialogue Curve и смешивание Animation Sequence для Unreal Engine.
Обзор
AMS превращает анализ аудио в переиспользуемые данные и управление во время выполнения. Редактор предоставляет четыре специализированных рабочих пространства, а runtime-модули — компоненты, ресурсы, вспомогательные Blueprint-функции и C++ интерфейсы.
Предпросмотр предназначен для быстрой проверки и настройки; в готовом проекте результат используется через переиспользуемые ресурсы и runtime-компоненты.
Техническая информация
Установка
AudioMotionSystem в [Project]/Plugins/.Intermediate или Saved между разными компьютерами.
Быстрый старт
Connect Audio Motion или с заранее созданного Audio Motion Clip.Управление от голоса
Motion от музыки
Отключает глобальное перемещение.
Используйте для движения на месте.Использует запланированную траекторию.
Используйте, когда последовательность должна перемещаться.Использует стабилизированный глобальный путь траектории.
Используйте, когда запланированное перемещение нужно стабилизировать.
Скалярный выход
Создайте Audio Motion Dialogue Curve если требуется одно предварительно рассчитанное скалярное значение для Blueprint или параметра материала.
Во время выполнения используется предварительно рассчитанная кривая; повторять анализ в редакторе не требуется.
Connect Dialogue Curve Asset создаёт или переиспользует компонент Audio Motion Dialogue Curve на целевом Actor и запускает его с настройками ресурса.
Текущее скалярное значение доступно через Get Dialogue Curve Value. Если вывод в материал включён, то же значение записывается в выбранный скалярный параметр.
Animation Sequence + Dialogue
Строит Source-to-Target mapping по референсной иерархии и геометрии.
Нативные анимации целевого Rig не проходят retargeting.Берёт Auto за основу и позволяет заменить или очистить неверные mappings.
Используйте для нестандартных или сомнительных случаев.Переиспользует сохранённый Retarget Profile для известной пары Source / Target.
Лучше всего для повторяющейся production-работы.
Архитектура
AudioMotionRuntimeRuntimeОценка аудио, компоненты, Blueprint-хелперы, ресурсы, mapping и данные Choreography.Игра + редакторAudioMotionAnimationRuntimeRuntime-нода управления AnimGraph.Системы анимацииAudioMotionEditorРедакторОкно Tools, фабрики ресурсов, Preview, authoring, Bake и Animation Mixer.Только EditorAudioMotionRuntime и, при необходимости, AudioMotionAnimation. Не добавляйте AudioMotionEditor зависимость в shipping runtime-код.Runtime-модуль добавляет компактные файлы AMS Vocabulary и view из Content/AMSData как NonUFS runtime-зависимости.
*.amsvocab.json
*.amsvocabz
*.amsview.jsonПоддерживаемые build-правилами runtime папки Vocabulary в проекте также могут быть добавлены при наличии.
Основные ноды интеграции
Blueprint-хелперы создают или переиспользуют AMS-компоненты на целевом Actor. Обязательные входы проверяются; при ошибке настройки возвращается None / nullptr.
UAudioMotionComponent*Создаёт или переиспользует основной Audio Motion Component, подготавливает путь Voice Sound, перестраивает Dialogue bindings, подключает целевой Rig-компонент и запускает обработку.
UAudioMotionComponent*Подключает baked Audio Motion Clip к целевому Actor. Воспроизведение исходного аудио для этого пути не требуется.
UAudioMotionComponent*Настраивает основной компонент для обработки от музыки, используя выбранный SoundWave как Background Music. Обработка может продолжаться независимо от источника Voice.
UAudioMotionComponent*Подключает Voice Sound и независимую Background Music к одному Audio Motion Component. После остановки Voice компонент продолжает обработку, чтобы музыкальный путь не прерывался.
UAudioMotionComponent*Находит первый Audio Motion Component на целевом Actor. Возвращает None, если такого компонента нет.
UAudioMotionDialogueCurveComponent*Создаёт или переиспользует компонент Dialogue Curve и передаёт его скалярный выход в Blueprint и, по умолчанию, в скалярный параметр материала.
UAudioMotionDialogueCurveComponent*Создаёт или переиспользует компонент Dialogue Curve и применяет полностью созданный ресурс: source sound, baked-кривую, response-настройки, loop, material target, material slot и имя параметра.
UAudioMotionPulseComponent*Создаёт или переиспользует компактный скалярный Audio Pulse component. Источником может быть Voice, общая энергия музыки, частотные полосы, onset, beat или пользовательский канал Audio Motion.
Управление во время выполнения
Заголовок: AudioMotionComponent.h · Модуль: AudioMotionRuntime
SetAudioSource(UAudioComponent*)Задаёт вход Audio Component и обновляет состояние источника.SetSourceSound(USoundWave*)Задаёт источник SoundWave.SetSourceClip(UAudioMotionClip*)Задаёт baked Audio Motion Clip как источник.StartProcessing(bool)Запускает вычисление; при необходимости сбрасывает время воспроизведения.StopProcessing(bool)Останавливает вычисление; при необходимости останавливает исходное аудио.ResetProcessing(float)Сбрасывает состояние процессора на указанное время.PushEnvelopeValue(float)Передаёт ручное значение envelope для режима Manual Envelope.EvaluateAtTime(float,float)Вычисляет результат для явно заданных времени и envelope.EvaluateSourceAtTime(float)Вычисляет текущий настроенный источник в указанное время.ApplyExternalFrame(FAudioMotionFrame,bool)Применяет готовый frame и при необходимости автоматические bindings.RefreshAutomaticConnection()Повторно определяет автоматическое подключение runtime-цели.ResetAutomaticBindings()Очищает кешированное состояние автоматических bindings.SetTargetSkeletalMesh(...)Явно задаёт целевой Rig-компонент для runtime.GetChannelValue(EAudioMotionChannel)Читает одно значение из текущего frame.GetPlaybackTimeSeconds()Возвращает текущее основное время воспроизведения.GetSourceDurationSeconds()Возвращает длительность настроенного источника, если она доступна.IsProcessing()Возвращает состояние обработки.SetBackgroundMusic(...)Задаёт независимый SoundWave для Background Music.PlayBackgroundMusic(float)Запускает Background Music с указанного локального времени.StopBackgroundMusic()Останавливает Background Music.SetBackgroundMusicVolume(float)Обновляет громкость Background Music.IsBackgroundMusicPlaying()Возвращает состояние воспроизведения Background Music.On Frame UpdatedOn Speech Value UpdatedOn Speech StartedOn Speech StoppedЗаголовок: AudioMotionPulseComponent.h · Модуль: AudioMotionRuntime
Читает выбранный канал AMS или отдельный звук, преобразует его через диапазоны Input/Output со сглаживанием attack/release, при необходимости пишет значение в динамический скаляр материала и выдаёт threshold-событие.
StartPulse()Запускает tick и оценку источника.StopPulse(bool)Останавливает оценку; при необходимости останавливает standalone audio.SetStandaloneSound(USoundWave*,bool)Меняет standalone-источник и при необходимости сразу запускает его.GetPulseValue()Возвращает текущее скалярное значение.On Pulse Value UpdatedOn PulseЗаголовок: AudioMotionDialogueCurveComponent.h · Модуль: AudioMotionRuntime
Наследуется от Audio Motion Pulse Component. При назначении Curve Asset его baked-кривая становится скалярным источником, а настройки playback/material копируются в компонент.
SetCurveAsset(UAudioMotionDialogueCurveAsset*,bool)Назначает ресурс и при необходимости запускает его source sound.GetDialogueCurveValue()Возвращает текущее скалярное значение baked-кривой.Публичные заголовочные файлы
Добавляйте только тот модуль, который реально использует ваш код.
PublicDependencyModuleNames.AddRange(new[]
{
"AudioMotionRuntime",
"AudioMotionAnimation" // only when your runtime animation module needs FAnimNode_AudioMotion
});AudioMotionEditor только из Editor-модуля. Никогда не добавляйте зависимость shipping runtime-модуля от AMS Editor.UAudioMotionComponentAudioMotionComponent.hОсновной runtime-вычислитель: выбор источника, часы обработки, вычисление frame, автоматическое подключение, фоновая музыка и чтение каналов.UAudioMotionBlueprintLibraryAudioMotionBlueprintLibrary.hСтатический вспомогательный слой для Blueprint Connect-нод; также вызывается напрямую из C++.UAudioMotionProfileAudioMotionProfile.hPrimary Data Asset с настройками envelope, Dialogue, музыки и вычисления.UAudioMotionBindingProfileAudioMotionBindingProfile.hPrimary Data Asset для target mapping. Публичные helpers: FindDialogueRole, EnsureDialogueRoles, RebuildDialogueBindings.UAudioMotionClipAudioMotionClip.hBaked-кривые Dialogue. EvaluateChannel, EvaluateFrame, BuildFromFrames, ClearClip, IsEmpty.UAudioMotionDialogueCurveAssetAudioMotionDialogueCurveAsset.hПереносимый ресурс скалярной кривой. EvaluateCurve и GetSourceSound.UAudioMotionPulseComponentAudioMotionPulseComponent.hКомпонент скалярной реакции на аудио с выводом в материал и trigger-событиями.UAudioMotionDialogueCurveComponentAudioMotionDialogueCurveComponent.hПроизводный от Pulse компонент, вычисляющий baked Dialogue Curve asset.FAudioMotionDialogueProcessorAudioMotionDialogueProcessor.hДетерминированный процессор Dialogue. Reset(seed), Evaluate(...).FAudioMotionMusicAnalyzerAudioMotionMusicAnalyzer.hHelper анализа музыки для вычисления SoundWave или Audio Component.FAudioMotionFrameAudioMotionTypes.hОбщий контейнер frame. GetChannel / SetChannel плюс значения каналов Dialogue и музыки.UAMSMotionDataSubsystemAMSMotionDataSubsystem.hSubsystem движка, загружающий компактные данные Vocabulary. ReloadData, GetVocabulary, GetDefaultVocabulary, GetVocabularyIds.UAMSMotionVocabularyAMSMotionVocabulary.hМетаданные Vocabulary и ссылки Motion. FindMotion, GetMotionCount, ValidateVocabulary.UAMSMotionClipAMSMotionClip.hИзмеренные данные Motion Unit: вычисление track, применение pose, проверка authoring и метаданные переходов.UAMSMotionLibraryAMSMotionLibrary.hБиблиотека кандидатов для Planner, построенная из данных Vocabulary и Book.UAMSPerformanceBookAMSPerformanceBook.hData Asset политики / грамматики Choreography. Встроенные helpers Book, проверка и family rules.FAMSPerformancePlannerAMSPerformancePlanner.hДетерминированный статический интерфейс BuildPlan: Book/Library + Analysis + Planner Settings → Motion Sequence.UAMSMotionSequenceAMSMotionSequence.hЗапланированная Choreography sequence: нормализация duration/time, вычисление pose, сборка и проверка compiled track.UAMSRigProfileAMSRigProfile.hПрофиль Rig Mapping: разрешение mapping, построение по reference hierarchy, ручные overrides, проверка и reference scale.FAnimNode_AudioMotionAnimNode_AudioMotion.hRuntime AnimGraph control node. По умолчанию читает frame из связанного Audio Motion Component.#include "AudioMotionBlueprintLibrary.h"
#include "AudioMotionComponent.h"
UAudioMotionComponent* ConnectAMS(
AActor* TargetActor,
UAudioMotionProfile* Profile,
UAudioMotionBindingProfile* BindingProfile,
USoundWave* VoiceSound)
{
return UAudioMotionBlueprintLibrary::ConnectAudioMotion(
TargetActor,
Profile,
BindingProfile,
VoiceSound,
nullptr,
true,
false);
}#include "AudioMotionDialogueCurveAsset.h"
float ReadDialogueCurve(
const UAudioMotionDialogueCurveAsset* CurveAsset,
float TimeSeconds)
{
return CurveAsset
? CurveAsset->EvaluateCurve(TimeSeconds, false)
: 0.0f;
}Ресурсы и типы данных
Настройки envelope, Dialogue, анализа музыки и частоты вычисления.
Mappings цели и созданные Dialogue bindings.
Переиспользуемые baked-кривые каналов по frame.
Source SoundWave, одна baked-скалярная кривая и настройки материала.
Rig Mapping, ручные overrides, данные топологии и reference scale.
Метаданные Vocabulary и ссылки на Motion Units.
Библиотека кандидатов Planner, построенная из данных Vocabulary и Book.
Правила/грамматика выбора, используемые Planner.
Запланированные записи Choreography и необязательный compiled track.
Editor-ресурс с переиспользуемым Source/Target Mapping и настройками translation.
EAudioMotionModeEAudioMotionInputModeEAudioMotionChannelEAudioMotionPulseSourceEAudioMotionTransformChannelEAudioMotionTargetTypeEAudioMotionDialogueRoleEAudioMotionDialogueTargetTypeEAMSRigProfileKindEAMSMotionSequenceModeEAMSTrajectoryModeEAMSMotionCurveModeEAMSMotionActionKindEAMSMotionPathKindEAMSMotionDirectionEAMSMotionLevelEAMSMotionTimeQualityEAMSMotionForceQualityEAMSMotionFlowQualityEAMSSupportState
Точные C++ идентификаторы сохранены для корректности API. В редакторе основные production-роли Dialogue отображаются нейтральными названиями.
FAudioMotionFrameFAudioMotionMusicSettingsFAudioMotionEnvelopeSettingsFAudioMotionDialogueSettingsFAudioMotionValueMappingFAudioMotionDialogueTargetConfigFAudioMotionDialogueRoleTargetFAudioMotionMorphBindingFAudioMotionMaterialScalarBindingFAudioMotionSceneBindingFAMSPerformanceAnalysisFAMSPerformancePlannerSettingsFAMSRigSlotMappingFAMSRigManualOverrideFAMSMotionKeyFAMSMotionTrack
Безопасность ресурсов
AMS использует настроенный Output Folder как корень. Ресурсы, зависящие от Mesh, сохраняются в папке с именем выбранного Rig Mesh.
/Game/AudioMotion/
SK_MyRig/
Profiles/
Clips/
Animations/
Retarget/
Choreography/
RigProfiles/
Generated/
DialogueCurves/Созданные итоговые ресурсы используют уникальное именование Unreal и не перезаписывают существующие ресурсы незаметно.
Ресурсы Dialogue Curve общие и не привязаны к конкретному Rig Mesh.
Совместимость
Устранение неполадок
Убедитесь, что плагин включён в проекте и редактор был перезапущен после активации. Также проверьте, что пакет соответствует версии Unreal Engine проекта.
Проверьте данные анализа Voice Sound, выбор Profile/Binding Profile, целевой Rig Mesh и автоматические назначения. Перед rebuild или Bake исправьте отсутствующие или подозрительные mappings.
Проверьте Rig Profile. Перейдите в Custom Mapping, возьмите автоматическую базу, исправьте только неверные строки, нажмите Validate и Apply, затем пересоберите compiled Choreography track.
Следуйте сообщению статуса редактора. Когда AMS включит необходимые настройки анализа, сохраните SoundWave и дайте Unreal перестроить аудиоданные перед повторным Analyze + Build + Compile.
Убедитесь, что material output включён, скалярный параметр существует, Material Slot указан верно, а Target Component Name либо соответствует нужному mesh-компоненту, либо оставлен пустым, чтобы AMS использовал первый подходящий компонент.
Используйте режим Custom, начните с Auto Mapping, замените или очистите только неверные строки и сохраните Retarget Profile, если пара Source/Target будет использоваться снова.
Установите/используйте исходный пакет AMS именно для этой версии движка и пересоберите с поддерживаемым компилятором/инструментарий сборки. Не используйте Binaries или Intermediate от другой версии движка.
Pautinka
Укажите версию Unreal Engine, версию AMS, где проявляется проблема — Editor Preview / Runtime / Bake, точные шаги воспроизведения и соответствующий фрагмент Unreal Log.
Для проблем Mapping или Animation Mixer также укажите тип Source/Target Rig и использованный режим Auto, Custom или Profile.
Authoring в Editor, переиспользуемые ресурсы, интеграция Blueprint и публичные C++ runtime API в одном production-рабочий процесс.
