Le projet de modernisation de ShortWave.STUDIO

Jusqu'ici, c'était de l'artisanat à domicile

Parmi les contenus produits et publiés par ShortWave.STUDIO, on trouve 1 type de contenu vidéo :
« OPTOg ».

Auparavant, sous le nom de « Ping », il s'agissait surtout de contenus de type talk-show.
Puis nous avons commencé à créer des contenus qui ne rentraient plus dans ce cadre, d'où le changement de nom.

Mais je m'égare.

Jusqu'ici, nos contenus vidéo étaient fabriqués à la main.
Le déroulement était le suivant.

1. Écrire un script en japonais
2. Le traduire en anglais avec l'aide de l'IA
3. Créer les images et les voix principales dans HeyGen à partir du script
4. Créer les éléments nécessaires, comme les miniatures, en utilisant en partie l'IA
5. Ouvrir le logiciel de montage, importer les éléments créés et monter la vidéo
6. Exporter, puis publier sur YouTube, le site, etc.

…Un processus tout à fait ordinaire, en somme. C'est ainsi que nous travaillions.

Nous utilisions bien l'IA pour les traductions et la création d'éléments,
mais la majeure partie de la production restait manuelle. De l'artisanat à domicile, au sens propre.

Le moment était venu

Au début, cela nous convenait. Créer du contenu est plaisant en soi.

Cependant, le temps et les efforts nécessaires pour 1 vidéo étaient considérables.
Avec le temps et l'évolution de notre situation, l'obstacle psychologique à la création augmentait d'année en année.

Heureusement, le processus de production suivait des schémas bien définis.
Les ressources utilisées, la structure des pistes et les réglages à appliquer étaient déjà organisés en modèles.

En clarifiant et en vérifiant « comment automatiser ce que font les humains »,
nous avions de bonnes chances de réduire fortement le travail nécessaire.

Le moment tombait bien : nous disposons désormais de GPT-6 Astra d'OpenAI et de Fable 5.1 d'Anthropic.
Il semblait possible de leur confier les recherches détaillées, l'étude des solutions et leur mise en œuvre.

Nous avons donc décidé d'entamer cette modernisation, que nous voulions réaliser depuis longtemps mais remettions toujours à plus tard.

Commencer par faire le point

Il fallait d'abord définir une orientation et clarifier les besoins. Ce qu'on appelle la définition des exigences.

Nous avons d'abord posé un principe essentiel : ne pas chercher à tout automatiser.
L'automatisation se limiterait aux « tâches d'exécution », tandis que les tâches relevant de la « création » resteraient humaines.

Ces 2 principes formeraient un « axe immuable », et nous automatiserions autant que possible dans ce cadre.
Toutefois, en comparant les efforts nécessaires aux résultats obtenus, nous ne mettrions en œuvre que ce qui en valait le coût.

Il y a bien sûr beaucoup de détails, mais voilà l'essentiel.

Après avoir transmis ces principes et le détail du travail réel à l'IA, puis lui avoir demandé plusieurs plans de réalisation,
nous avons retenu une approche « combinant MCP, UXP et manipulation de l'interface ».

Mise en œuvre et vérification

Nous créons les éléments principaux avec le service HeyGen.
Or ce service proposait un MCP.

Les essais ont montré qu'il couvrait la plupart des actions que nous effectuions à la main.
Il semblait donc possible d'en automatiser presque toutes les étapes.

Mais Premiere Pro ne dispose d'aucun mécanisme permettant à l'IA d'en automatiser les manipulations.
Pour automatiser le montage, il faut donc un intermédiaire…

Après diverses recherches, nous avons décidé d'installer une application appelée « Premiere Pro MCP ».

https://premiere-pro-mcp.com

Cette application utilise MCP pour faire le lien entre l'IA et Premiere Pro.
Il existe différents produits de ce genre ; si cela vous intéresse, allez y jeter un œil.

Mais là encore, ce n'était pas parfait…
En poursuivant nos recherches, nous avons découvert qu'un certain nombre de choses restaient impossibles.

Nous avons finalement choisi de combiner aussi une implémentation UXP maison et de véritables manipulations du navigateur par Codex,
afin d'automatiser l'ensemble.

Ce qu'on peut faire et ce qu'on ne peut pas faire

Après bien des péripéties, nous avons mis en œuvre des skills d'automatisation répartis en 2 parties.
Le processus est devenu le suivant.

1. Écrire un script en japonais
2. Le traduire en anglais avec l'aide de l'IA
3. Le skill n° 1 lit le script, crée les images et les voix, puis les télécharge automatiquement
4. Créer les éléments nécessaires, comme les miniatures, en utilisant en partie l'IA
5. Le skill n° 2 ouvre le logiciel de montage, traite et place les éléments selon les règles prévues
6. Reprendre la main dans le logiciel une fois les éléments placés et les traitements initiaux effectués, puis ajuster les détails
7. Exporter, puis publier sur YouTube, le site, etc.

Les étapes 3 et 5 ci-dessus sont les tâches automatisées.
Automatiser ces parties fastidieuses à réaliser à la main a grandement facilité le travail.

À titre indicatif, voici la répartition des responsabilités à l'échelle du processus complet.

・Ce que font l'IA et l'automatisation

• Générer les images et les voix dans HeyGen
• Télécharger et organiser les éléments générés
• Vérifier la correspondance entre sous-titres et répliques
• Extraire des scènes candidates
• Importer et placer les éléments dans Premiere
• Effectuer les traitements initiaux définis
• Exécuter les autres tâches standard répétables

・Ce que font les humains

• Concevoir les projets
• Écrire les scripts
• Assurer l'ensemble de la mise en scène
• Régler chaque élément en détail et appliquer les effets
• Ajuster les sous-titres
• Vérifier et corriger les traitements effectués par l'IA
• Décider que l'œuvre est terminée

« Ne pas l'avoir fait » ne signifie pas « ne pas avoir pu le faire »

Cette automatisation laisse encore pas mal de tâches manuelles.
Nous les avons laissées ainsi délibérément, après avoir évalué le rapport entre coût et bénéfice évoqué au début.

Par exemple…

• On peut l'automatiser, mais un humain le fait plus vite
• Il faut prendre des décisions au cas par cas
• Les résultats ne sont pas stables
• Cela consomme trop de crédits d'IA
• Il y a beaucoup d'ambiguïté
• C'est réalisable, mais sa mise en œuvre coûterait trop cher
• C'est une partie que je voulais faire moi-même

Voilà les types de raisons pour lesquelles nous avons renoncé à automatiser certaines parties.

En réorganisant la structure des vidéos, nous pourrions sans doute étendre davantage l'automatisation.
Il semblait même possible de tout automatiser…

Mais si nous le faisions, ce ne serait plus ShortWave.STUDIO.

Un système qui grandit

Ce système vient tout juste d'être lancé et n'est peut-être pas encore parfait.
Mais les outils internes de ce genre sont faits pour être améliorés au fil de leur utilisation.

Nous souhaitons le faire évoluer à partir de nos impressions et de ce que nous apprenons en créant des contenus,
pour mettre en place un environnement de production encore plus efficace.