PAUTINKAAudio Motion System 1.0
Рух у runtime від аудіо, детермінована Choreography, багаторазові ресурси Dialogue Curve і змішування Animation Sequence для Unreal Engine.
Огляд
AMS перетворює аналіз аудіо на багаторазові дані та керування під час виконання. Редактор надає чотири спеціалізовані робочі простори, а runtime-модулі — компоненти, ресурси, допоміжні Blueprint-функції та C++ інтерфейси.
Попередній перегляд призначений для швидкої перевірки й налаштування; у готовому проєкті результат використовується через багаторазові ресурси та runtime-компоненти.
Технічна інформація
Встановлення
AudioMotionSystem у [Project]/Plugins/.Intermediate або Saved між різними комп’ютерами.
Швидкий старт
Connect Audio Motion або із заздалегідь створеного Audio Motion Clip.Керування від голосу
Motion від музики
Вимикає глобальне переміщення.
Використовуйте для руху на місці.Використовує заплановану траєкторію.
Використовуйте, коли послідовність має переміщуватися.Використовує стабілізований глобальний шлях траєкторії.
Використовуйте, коли заплановане переміщення потрібно стабілізувати.
Скалярний вихід
Створіть Audio Motion Dialogue Curve якщо потрібне одне попередньо обчислене скалярне значення для Blueprint або параметра матеріалу.
Під час виконання використовується попередньо обчислена крива; повторювати аналіз у редакторі не потрібно.
Connect Dialogue Curve Asset створює або повторно використовує компонент Audio Motion Dialogue Curve на цільовому Actor та запускає його з налаштуваннями ресурсу.
Поточне скалярне значення доступне через Get Dialogue Curve Value. Якщо вивід у матеріал увімкнено, те саме значення записується у вибраний скалярний параметр.
Animation Sequence + Dialogue
Будує Source-to-Target mapping за референсною ієрархією та геометрією.
Нативні анімації цільового Rig не проходять retargeting.Бере Auto за основу й дозволяє замінити або очистити неправильні mappings.
Використовуйте для нестандартних або сумнівних випадків.Повторно використовує збережений Retarget Profile для відомої пари Source / Target.
Найкраще для повторюваної production-роботи.
Архітектура
AudioMotionRuntimeRuntimeОцінка аудіо, компоненти, Blueprint-хелпери, ресурси, mapping і дані Choreography.Гра + редакторAudioMotionAnimationRuntimeRuntime-нода керування AnimGraph.Системи анімаціїAudioMotionEditorРедакторВікно Tools, фабрики ресурсів, Preview, authoring, Bake та Animation Mixer.Лише EditorAudioMotionRuntime і, за потреби, AudioMotionAnimation. Не додавайте AudioMotionEditor залежність у shipping runtime-код.Runtime-модуль додає компактні файли AMS Vocabulary та view з Content/AMSData як NonUFS runtime-залежності.
*.amsvocab.json
*.amsvocabz
*.amsview.jsonПідтримувані build-правилами runtime папки Vocabulary у проєкті також можуть бути додані за наявності.
Основні ноди інтеграції
Blueprint-хелпери створюють або повторно використовують AMS-компоненти на цільовому Actor. Обов’язкові входи перевіряються; при помилці налаштування повертається None / nullptr.
UAudioMotionComponent*Створює або повторно використовує основний Audio Motion Component, готує шлях Voice Sound, перебудовує Dialogue bindings, підключає цільовий Rig-компонент і запускає обробку.
UAudioMotionComponent*Підключає baked Audio Motion Clip до цільового Actor. Відтворення вихідного аудіо для цього шляху не потрібне.
UAudioMotionComponent*Налаштовує основний компонент для обробки від музики, використовуючи вибраний SoundWave як Background Music. Обробка може тривати незалежно від джерела Voice.
UAudioMotionComponent*Підключає Voice Sound і незалежну Background Music до одного Audio Motion Component. Після зупинки Voice компонент продовжує обробку, щоб музичний шлях не переривався.
UAudioMotionComponent*Знаходить перший Audio Motion Component на цільовому Actor. Повертає None, якщо такого компонента немає.
UAudioMotionDialogueCurveComponent*Створює або повторно використовує компонент Dialogue Curve і передає його скалярний вихід у Blueprint та, за замовчуванням, у скалярний параметр матеріалу.
UAudioMotionDialogueCurveComponent*Створює або повторно використовує компонент Dialogue Curve і застосовує повністю створений ресурс: source sound, baked-криву, response-налаштування, loop, material target, material slot та ім’я параметра.
UAudioMotionPulseComponent*Створює або повторно використовує компактний скалярний Audio Pulse component. Джерелом може бути Voice, загальна енергія музики, частотні смуги, onset, beat або користувацький канал Audio Motion.
Керування під час виконання
Заголовок: AudioMotionComponent.h · Модуль: AudioMotionRuntime
SetAudioSource(UAudioComponent*)Задає вхід Audio Component і оновлює стан джерела.SetSourceSound(USoundWave*)Задає джерело SoundWave.SetSourceClip(UAudioMotionClip*)Задає baked Audio Motion Clip як джерело.StartProcessing(bool)Запускає обчислення; за потреби скидає час відтворення.StopProcessing(bool)Зупиняє обчислення; за потреби зупиняє вихідне аудіо.ResetProcessing(float)Скидає стан процесора на вказаний час.PushEnvelopeValue(float)Передає ручне значення envelope для режиму Manual Envelope.EvaluateAtTime(float,float)Обчислює результат для явно заданих часу та envelope.EvaluateSourceAtTime(float)Обчислює поточне налаштоване джерело у вказаний час.ApplyExternalFrame(FAudioMotionFrame,bool)Застосовує готовий frame і за потреби автоматичні bindings.RefreshAutomaticConnection()Повторно визначає автоматичне підключення runtime-цілі.ResetAutomaticBindings()Очищає кешований стан автоматичних bindings.SetTargetSkeletalMesh(...)Явно задає цільовий Rig-компонент для runtime.GetChannelValue(EAudioMotionChannel)Читає одне значення з поточного frame.GetPlaybackTimeSeconds()Повертає поточний основний час відтворення.GetSourceDurationSeconds()Повертає тривалість налаштованого джерела, якщо вона доступна.IsProcessing()Повертає стан обробки.SetBackgroundMusic(...)Задає незалежний SoundWave для Background Music.PlayBackgroundMusic(float)Запускає Background Music із вказаного локального часу.StopBackgroundMusic()Зупиняє Background Music.SetBackgroundMusicVolume(float)Оновлює гучність Background Music.IsBackgroundMusicPlaying()Повертає стан відтворення Background Music.On Frame UpdatedOn Speech Value UpdatedOn Speech StartedOn Speech StoppedЗаголовок: AudioMotionPulseComponent.h · Модуль: AudioMotionRuntime
Читає вибраний канал AMS або окремий звук, перетворює його через діапазони Input/Output зі згладжуванням attack/release, за потреби записує значення в динамічний скаляр матеріалу та видає threshold-подію.
StartPulse()Запускає tick та оцінку джерела.StopPulse(bool)Зупиняє оцінку; за потреби зупиняє standalone audio.SetStandaloneSound(USoundWave*,bool)Змінює standalone-джерело й за потреби одразу запускає його.GetPulseValue()Повертає поточне скалярне значення.On Pulse Value UpdatedOn PulseЗаголовок: AudioMotionDialogueCurveComponent.h · Модуль: AudioMotionRuntime
Успадковується від Audio Motion Pulse Component. Після призначення Curve Asset його baked-крива стає скалярним джерелом, а налаштування playback/material копіюються в компонент.
SetCurveAsset(UAudioMotionDialogueCurveAsset*,bool)Призначає ресурс і за потреби запускає його source sound.GetDialogueCurveValue()Повертає поточне скалярне значення baked-кривої.Публічні заголовкові файли
Додавайте лише той модуль, який реально використовує ваш код.
PublicDependencyModuleNames.AddRange(new[]
{
"AudioMotionRuntime",
"AudioMotionAnimation" // only when your runtime animation module needs FAnimNode_AudioMotion
});AudioMotionEditor лише з Editor-модуля. Ніколи не додавайте залежність shipping runtime-модуля від AMS Editor.UAudioMotionComponentAudioMotionComponent.hОсновний runtime-обчислювач: вибір джерела, годинник обробки, обчислення frame, автоматичне підключення, фонова музика та читання каналів.UAudioMotionBlueprintLibraryAudioMotionBlueprintLibrary.hСтатичний допоміжний шар для Blueprint Connect-нод; також викликається напряму з C++.UAudioMotionProfileAudioMotionProfile.hPrimary Data Asset з налаштуваннями envelope, Dialogue, музики та обчислення.UAudioMotionBindingProfileAudioMotionBindingProfile.hPrimary Data Asset для target mapping. Публічні helpers: FindDialogueRole, EnsureDialogueRoles, RebuildDialogueBindings.UAudioMotionClipAudioMotionClip.hBaked-криві Dialogue. EvaluateChannel, EvaluateFrame, BuildFromFrames, ClearClip, IsEmpty.UAudioMotionDialogueCurveAssetAudioMotionDialogueCurveAsset.hПереносний ресурс скалярної кривої. EvaluateCurve і GetSourceSound.UAudioMotionPulseComponentAudioMotionPulseComponent.hКомпонент скалярної реакції на аудіо з виводом у матеріал і trigger-подіями.UAudioMotionDialogueCurveComponentAudioMotionDialogueCurveComponent.hПохідний від Pulse компонент, що обчислює baked Dialogue Curve asset.FAudioMotionDialogueProcessorAudioMotionDialogueProcessor.hДетермінований процесор Dialogue. Reset(seed), Evaluate(...).FAudioMotionMusicAnalyzerAudioMotionMusicAnalyzer.hHelper аналізу музики для обчислення SoundWave або Audio Component.FAudioMotionFrameAudioMotionTypes.hСпільний контейнер frame. GetChannel / SetChannel плюс значення каналів Dialogue і музики.UAMSMotionDataSubsystemAMSMotionDataSubsystem.hSubsystem рушія, що завантажує компактні дані Vocabulary. ReloadData, GetVocabulary, GetDefaultVocabulary, GetVocabularyIds.UAMSMotionVocabularyAMSMotionVocabulary.hМетадані Vocabulary та посилання Motion. FindMotion, GetMotionCount, ValidateVocabulary.UAMSMotionClipAMSMotionClip.hВиміряні дані Motion Unit: обчислення track, застосування pose, перевірка authoring і метадані переходів.UAMSMotionLibraryAMSMotionLibrary.hБібліотека кандидатів для Planner, побудована з даних Vocabulary і Book.UAMSPerformanceBookAMSPerformanceBook.hData Asset політики / граматики Choreography. Вбудовані helpers Book, перевірка та family rules.FAMSPerformancePlannerAMSPerformancePlanner.hДетермінований статичний інтерфейс BuildPlan: Book/Library + Analysis + Planner Settings → Motion Sequence.UAMSMotionSequenceAMSMotionSequence.hЗапланована Choreography sequence: нормалізація duration/time, обчислення pose, збірка та перевірка compiled track.UAMSRigProfileAMSRigProfile.hПрофіль Rig Mapping: розв’язання mapping, побудова за reference hierarchy, ручні overrides, перевірка та reference scale.FAnimNode_AudioMotionAnimNode_AudioMotion.hRuntime AnimGraph control node. За замовчуванням читає frame з пов’язаного Audio Motion Component.#include "AudioMotionBlueprintLibrary.h"
#include "AudioMotionComponent.h"
UAudioMotionComponent* ConnectAMS(
AActor* TargetActor,
UAudioMotionProfile* Profile,
UAudioMotionBindingProfile* BindingProfile,
USoundWave* VoiceSound)
{
return UAudioMotionBlueprintLibrary::ConnectAudioMotion(
TargetActor,
Profile,
BindingProfile,
VoiceSound,
nullptr,
true,
false);
}#include "AudioMotionDialogueCurveAsset.h"
float ReadDialogueCurve(
const UAudioMotionDialogueCurveAsset* CurveAsset,
float TimeSeconds)
{
return CurveAsset
? CurveAsset->EvaluateCurve(TimeSeconds, false)
: 0.0f;
}Ресурси та типи даних
Налаштування envelope, Dialogue, аналізу музики та частоти обчислення.
Mappings цілі та створені Dialogue bindings.
Багаторазові baked-криві каналів за frame.
Source SoundWave, одна baked-скалярна крива та налаштування матеріалу.
Rig Mapping, ручні overrides, дані топології та reference scale.
Метадані Vocabulary та посилання на Motion Units.
Бібліотека кандидатів Planner, побудована з даних Vocabulary і Book.
Правила/граматика вибору, які використовує Planner.
Заплановані записи Choreography та необов’язковий compiled track.
Editor-ресурс із багаторазовим Source/Target Mapping і налаштуваннями translation.
EAudioMotionModeEAudioMotionInputModeEAudioMotionChannelEAudioMotionPulseSourceEAudioMotionTransformChannelEAudioMotionTargetTypeEAudioMotionDialogueRoleEAudioMotionDialogueTargetTypeEAMSRigProfileKindEAMSMotionSequenceModeEAMSTrajectoryModeEAMSMotionCurveModeEAMSMotionActionKindEAMSMotionPathKindEAMSMotionDirectionEAMSMotionLevelEAMSMotionTimeQualityEAMSMotionForceQualityEAMSMotionFlowQualityEAMSSupportState
Точні C++ ідентифікатори збережено для коректності API. У редакторі основні production-ролі Dialogue відображаються нейтральними назвами.
FAudioMotionFrameFAudioMotionMusicSettingsFAudioMotionEnvelopeSettingsFAudioMotionDialogueSettingsFAudioMotionValueMappingFAudioMotionDialogueTargetConfigFAudioMotionDialogueRoleTargetFAudioMotionMorphBindingFAudioMotionMaterialScalarBindingFAudioMotionSceneBindingFAMSPerformanceAnalysisFAMSPerformancePlannerSettingsFAMSRigSlotMappingFAMSRigManualOverrideFAMSMotionKeyFAMSMotionTrack
Безпека ресурсів
AMS використовує налаштований Output Folder як корінь. Ресурси, що залежать від Mesh, зберігаються в папці з ім’ям вибраного Rig Mesh.
/Game/AudioMotion/
SK_MyRig/
Profiles/
Clips/
Animations/
Retarget/
Choreography/
RigProfiles/
Generated/
DialogueCurves/Створені підсумкові ресурси використовують унікальне іменування Unreal і не перезаписують наявні ресурси непомітно.
Ресурси Dialogue Curve спільні й не прив’язані до конкретного Rig Mesh.
Сумісність
Усунення неполадок
Переконайтеся, що плагін увімкнено в проєкті й редактор перезапущено після активації. Також перевірте, що пакет відповідає версії Unreal Engine проєкту.
Перевірте дані аналізу Voice Sound, вибір Profile/Binding Profile, цільовий Rig Mesh та автоматичні призначення. Перед rebuild або Bake виправте відсутні чи підозрілі mappings.
Перевірте Rig Profile. Перейдіть у Custom Mapping, візьміть автоматичну базу, виправте лише неправильні рядки, натисніть Validate й Apply, потім перебудуйте compiled Choreography track.
Дотримуйтесь повідомлення статусу редактора. Коли AMS увімкне потрібні налаштування аналізу, збережіть SoundWave і дайте Unreal перебудувати аудіодані перед повторним Analyze + Build + Compile.
Переконайтеся, що material output увімкнено, скалярний параметр існує, Material Slot вказано правильно, а Target Component Name або відповідає потрібному mesh-компоненту, або залишено порожнім, щоб AMS використав перший відповідний компонент.
Використовуйте режим Custom, почніть з Auto Mapping, замініть або очистіть лише неправильні рядки та збережіть Retarget Profile, якщо пара Source/Target використовуватиметься знову.
Встановіть/використовуйте вихідний пакет AMS саме для цієї версії рушія та перебудуйте з підтримуваним компілятором/інструментарій збірки. Не використовуйте Binaries або Intermediate від іншої версії рушія.
Pautinka
Вкажіть версію Unreal Engine, версію AMS, де проявляється проблема — Editor Preview / Runtime / Bake, точні кроки відтворення та відповідний фрагмент Unreal Log.
Для проблем Mapping або Animation Mixer також вкажіть тип Source/Target Rig і використаний режим Auto, Custom або Profile.
Authoring в Editor, багаторазові ресурси, інтеграція Blueprint і публічні C++ runtime API в одному production-робочий процес.
