DATAMOSHING ET TRANSORMATION VIDEO

INTRODUCTION

Dans le cadre de ce cours et celui de vidéographie j'ai voulu tester différentes manières de dégrader, faire glitcher de courtes vidéos ou leur apporter des effets visuels originaux qui ne passait pas par les logiciels de montage classique. Le but était d'obtenir un résultat relativement aléatoire et unique, que j'allais ensuite articulé dans un montage de quatre minutes environ, mélangeant des vidéos sans effets particulier avec du datamoshing et de la surimpression pour mon projet de fin de quadrimestre en vidéographie. J'ai utilisé comme support vidéo des images que j'ai pris dans l'IGN de la Cambre et dans la Forêt de Soignes.

OUTILS DE DATAMOSHING

Audacity:

C'est le logiciel que j'ai le moins utilisé et avec lequel j'ai le moins expérimenté. Je ne pense pas qu'il soit nécessaire de beaucoup développé sur le processus, car d'autres articles du wiki l'expliquerons mieux que moi. Ce que je peux rajouter c'est que j'ai remarqué que une fois la vidéo corrompu exporté du logiciel, VLC et Premiere Pro ne les lisent pas de la même manière, et ne donne pas la même glitch sur la même vidéo.

Une vidéo datamoshée lue sur VLC

Cette même vidéo sur Premiere

Avidemux

C'est le logiciel que j'ai le plus utilisé pour le datamoshing, c'est à l'origine un logiciel libre de montage vidéo mais il peut être détourné pour dégrader des fichier vidéo de deux manière différentes. Tout d'abord il est important de téléchargé la version 2.5 du logiciel, c'est la seul qui peut permettre des glitch.

Importez votre vidéo dans le logiciel, vous devriez arriver devant une interface comme celle ci

avidemux.jpg

Ensuite il est nécessaire de changer plusieurs paramètres sur la vidéo via le logiciel, changez le format de “copy” a “MPEG 4 ASP (Xvid)” et cliquez sur configure.

capture_d_ecran_2023-01-05_151628.jpg

Vous arriverez sur plusieurs onglets, allez dans “frame” et changez l'intervalle maximum des I-frame en y rentrant le plus de 9 possible, comme ceci

capture_d_ecran_2023-01-05_151754.jpg

Vous exporter ensuite le fichier, ce qui devrait vous donner un fichier semblable a ça: capture_d_ecran_2023-01-05_153615.jpg

vous réimportez le fichier dans Avidemux, et c'est maintenant que l'on peut y apporter des modifications qui vont donner au datamoshing.

Le logiciel Avidemux reconnait sur les vidéos trois catégories d'images différentes, les B-frames et les P-frames qui sont respectivement une image sur deux, et les I-Frames qui sont les image de transition, c'est à dire, l'image juste après un cut dans un plan. Les deux manières de faire du datamoshing avec Avidemux consistent à, soit supprimer une I-frame, soit multiplier une P-frame.

Supprimer une I-frame

Le type de frame d'une image est affiché en bas, au centre du moniteur principal, vu que les I-frame sont plus rare, si le logiciel en détecte dans votre vidéo il est possible d'aller directement dessus en se déplaçant avec la flèche du haut de votre clavier.

capture_d_ecran_2023-01-05_154900.jpg

Une fois que vous êtes dessus, selectioner la frame avec le petit bouton A et la frame suivante avec le petit bouton B et supprimer les. Une fois les frames supprimées, si vous exportez la vidéo, le premier plan et le second viendront fusionner l'un dans l'autre en glitchant sur la vidéo.

Voici un exemple de ce que cela peut donner

Multiplier une P-frame

Cela repose plus où moins sur le même principe, sauf que, vous allez sélectionnez d'abord une p-frame avec le bouton A, puis la B-frame après celle-ci avec le bouton B, vous faites ensuite ctrl-c ctrl-v et avancez frame par frame et faites ctrl-v autant que vous le souhaitez pour multiplier la frame. Cela fait faire un glitch qui mélange la fixité de l'image et le mouvement de la vidéo qui donne une impréssion de pixels qui coulent ou fondent.

Quelques exemples

Attention La plus parts des logiciels de montage ne lise pas les vidéos dégradé via Avidemux, je conseil donc de les ouvrir sur VLC et d'utiliser un logiciel d'enregistrement d'écran si vous souhaitez faire du montage avec. Voilà, pour Avidemux, il est important de savoir que vu qu'on forme du glitch, tout ne fonctionne pas toujours comme prévu, il donc important de tester plusieurs fois, avec plusieurs vidéo pour avoir une multitude de résultats et choisir celui que l'on préfère. Il est possible que j'ai omis quelque détails, j'ai mis dans les sources de cette article en fin de page, un tutoriel très complet qui explique tout en détail, je vous conseil de le suivre si vous voulez être certain de réussir votre datamoshing.

AUTRES OUTILS DE MODIFICATION DE VIDEO

ffmpeg

J'ai utilisé ffmpeg pour convertir un les mouvements d'un fichier vidéo en vecteurs grâce au code suivant

ffplay\

   -flags2 +export_mvs\
   -i "video.mp4" \
   -vf \
   "
      split[original],
      codecview=mv=pf+bf+bb[vectors],
      [vectors][original]blend=all_mode=difference128,
      eq=contrast=7:brightness=-0.3,
      scale=720:-2
   "

J'ai eu beaucoup de mal à utiliser ce logiciel car je ne suis pas du tout familier avec les commandes, je recommande de passer par Linux plutôt que Microsoft pour le logiciel. Si vous y arrivez, sachez que la convertion en vecteurs se fait en direct, ce n'est pas un fichier que vous pourrez enregistrer, je suis encore une fois passer par un logiciel d'enregistrement d'écran pour garder mon résultat.

Cela donne un effet d'abstraction de la réalité, où certaines formes sont encore très légèrement reconnaissables

Echelle basée sur le contenu - Photoshop

L'outil échelle basée sur le contenu ou content aware scale sur Photoshop est un outil de déformation qui permet de modifier le format d'une image tout en conservant chaque éléments de l'image, les déformants pour s'adapter. C'est un effet qui a la particularité d'être assez comique lorsqu'il est appliquer sur un visage, il est présent dans beaucoup de memes par exemple. C'est un outil photoshop, il est donc penser pour les images, mais il existe un moyen de l'appliquer à des vidéos, plus précisément des GIF. Photoshop peut lire les GIF, il faut convertir la vidéo que l'on souhaite transformé en GIF, ensuite il existe un script créer par un indépendant qui permet d'appliquer l'effet échelle basée sur la contenu sur un GIF, ce script est téléchargeable ici :

https://neilblr.com/post/42948042669

Il va appliquer une modification progressive à chaque image. Attention cela peut prendre du temps, surtout si le GIF est long

De mon côté, j'ai décidé de l'appliquer sur des parties du corps, des mains surtout, car je trouvais que l'effet de déformation déreangeant était intéressant

CONCLUSION

J'ai donc utilisé l'ensemble de ses outils dans pour faire un montage sur une bande son déjà existante dans le cadre d'un exercice imposé, la bande son m'évoquant une ambiance anxiogène de dégradation psychologique, je suis passé par le datamoshing et les autres outils de transformation pour retranscrire cette sensation en images.

Voici un lien vers le projet fini pour ceux que ça intéresse

https://youtu.be/pKsR0ov1q5U

Sources

Tuto datamoshing sur Avidemux (eng) https://youtu.be/FnG5M5xJ-hg

Tuto Echelle basée sur le contenu (fr) https://youtu.be/R9IDCwHUFx0