Je l’utilise principalement sous Adobe After Effects mais il a été pensé pour être utilisé sur d’autres logiciels lorsque j’en aurai besoin. Il existe de nombreux logiciels et plug-ins de “lip sync” mais aucun ne correspondaient à mes besoins (actuels et à venir...) alors j’ai développé le mien.
Télécharger VAK01.exe (version 1.0)
Il est de votre responsabilité de scanner ce fichier avec un antivirus à jour AVANT son utilisation sur votre machine.
Le téléchargement via votre navigateur pourrait être bloqué pour des raisons de sécurité. A vous d'insister pour réussir à le charger. Votre navigateur Internet et Windows peuvent déclarer ce fichier potentiellement dangereux car non "signé" électroniquement.
Dans sa version 1, VAK se base uniquement sur l’amplitude du signal sonore pour déclencher l’animation de bouche. Je travaille sur une version 2 qui permettra - en plus - de distinguer les phonèmes (sons) pour afficher une image de bouche différente à chaque son prononcé.
D’expérience, l’amplitude seule suffit dans 90% des cas si on affiche une animation de bouches ouvertes constituée de 3 ou 4 images différentes. C’est le cas des séries TV où on ne s'embête pas des sons réels, sans même parler des doublages qui ne respectent pas les sons d'origine et marchent très bien quand même…
Comment utiliser VAK (version 1) :
Au démarrage, vous devez sélectionner la voix à analyser. Le fichier doit être au format .wav et idéalement ne contenir aucun autre son. Un enregistrement propre en studio est évidemment recommandé. Il est vivement conseillé de travailler avec des fichiers courts (moins de 5 mn), quitte à découper votre enregistrement en plusieurs fichiers. L’analyse de ce fichier n'étant pas instantanée, un fichier trop long sera difficile à manipuler dans le logiciel.Cliquez sur le bouton “open .wav” :
Si le fichier est stéréo, seul le canal de gauche sera utilisé. Privilégiez un codage sur 16 bits et un échantillonnage “standard” : 22 khz, 44.1 khz, 48 khz, etc.
Une fois le fichier choisi et chargé, le logiciel calcule automatiquement quand la voix démarre et quand elle s’arrête tout au long de l’audio. Le logiciel affiche la courbe sonore, crée des images clefs et les affiche :
Les barres vertes indiquent les moments où la voix est présente (avec les réglages en cours). Les triangles verts indiquent les images clefs où la voix démarre. Les rectangles rouges indiquent les images clefs où la voix s’arrête :
Le premier paramètre à régler est la vitesse de votre animation dans votre logiciel final (After Effects par exemple). Par exemple, si votre animation finale sera à 24 images par seconde, vous devez choisir 24 dans le réglage “FPS” :
Le réglage “Display mode” permet de choisir l’approximation utilisée pour l’affichage de la courbe sonore. En effet, tout affichage graphique d’un son est une approximation (elle peut donc être légèrement différente d’un logiciel à l’autre). Le réglage “Max” est par exemple le plus proche de celui utilisé dans After Effects. Faites des essais pour trouver celui le plus proche de votre logiciel d’animation utilisé.
Le réglage “Amplitude level” est le plus important. C’est le seuil à partir duquel le son est considéré comme silencieux ou au contraire comme du dialogue. Toute valeur en dessous de ce seuil est considérée comme du silence, toute valeur au-dessus comme de la voix active. Une valeur trop haute risque de rendre tout le discours silencieux, une valeur trop basse fera disparaître trop de silences dans le dialogue. La valeur par défaut - 5 % - est idéale chez moi avec un enregistrement propre réalisé en studio.
Le réglage “Minimum duration” permet d’éviter les “faux positifs” en fixant une durée minimum (de silence ou de dialogue) pour changer d’état et créer une nouvelle image clé. Une valeur trop élevée ne laisserait passer que les parties “longues” de dialogue ; une valeur trop basse pourrait considérer des bruits parasites comme des dialogues. La valeur par défaut - 5 frames - est idéale chez moi avec un enregistrement propre réalisé en studio.
Le réglage “Keyframe offset” permet de décaler toutes les images clés, frame par frame, pour les avancer ou les reculer. Cela revient au même de les faire glisser ensuite dans le logiciel d’animation.
Le réglage “OFF key value” représente la valeur qui sera transmise au logiciel d’animation dans les images clefs indiquant le début d’un silence. Le réglage “ON key value” représente la valeur qui sera transmise au logiciel d’animation dans les images clefs indiquant le début d’un son/phrase/mot.
Comment choisir ces valeurs ?
Ces deux valeurs sont liées à votre logiciel d’animation final et de l’utilisation des images clefs dans ce logiciel. Si par exemple ces images clefs sont utilisées pour régler l’opacité d’un calque (représentant la bouche animée qui parle), vous devez mettre la valeur OFF à O et la valeur ON à 100 (puisque ce sont des pourcentages). Si vous utilisez ces images clefs dans un menu (par exemple un “dropdown menu” personnalisé d'un "Effects" dans After Effects), les valeurs doivent être le positionnement du choix dans ce menu, “0” pour la valeur OFF et “1” pour la valeur ON, par exemple.
Attention, After Effects n’acceptera que les valeurs numériques (des chiffres) et pas du texte (pas de “yes” et “no” par exemple).
Exporter les images clefs vers After Effects
L’export vers AE se fait via le presse-papier (CTRL+C / CTRL+V …). Il faut donc ouvrir AE en parallèle de VAK.Afin de correctement exporter les images clefs (et parce que AE demande un format particulier de copier/coller) vous devez d’abord, dans After Effects, sélectionner le calque/layer/properties où vous souhaitez coller les images clefs puis le coller dans le presse-papier (CTRL+C).
Puis revenez dans VAK et cliquez sur le bouton “Import AE layer”.
Les boutons d’export deviennent alors accessibles. Vous pouvez remplir le presse-papier soit avec toutes les images clefs, ou uniquement les images ON ou OFF, via un des trois boutons disponibles.
Ensuite retournez dans After Effects, sélectionnez le calque/layer/properties où utiliser les images clefs et coller-les (CTRL+V). Les images clefs apparaissent à partir du positionnement de la tête de lecture en cours.
Vous pouvez désormais modifier chaque image clef individuellement si nécessaire; Sauvegardez votre projet AE et fermez VAK. Si vous souhaitez travailler sur un autre son, redémarrez VAK et recommencez le processus.
Exporter les images clefs vers d’autres logiciels
Vous voudriez pouvoir exporter ces images clefs vers votre logiciel ? Contactez-moi et j’essaierai de rajouter cette possibilité : VAK@HenriBlum.com
Aucun commentaire:
Enregistrer un commentaire