Deep learning for modeling time-varying audio effects with control parameters

Abstract

Le son unique des appareils audio emblématiques est très prisé des musiciens, ingénieurs du son et passionnés de matériel vintage. Leur modélisation numérique est un domaine de recherche très actif : elle offre portabilité, flexibilité et réduction des coûts, les rendant accessibles à un plus large public tout en assurant leur préservation. Cependant, capturer leurs spécificités sonores reste complexe en raison de leurs comportements non linéaires et variant dans le temps. Traditionnellement, la modélisation d’effets audio utilise des méthodes dites “boîte blanche", déduisant des équations à partir des schémas électroniques. Ces approches exigent une connaissance pointue des circuits, un travail analytique fastidieux et un une charge de calcul notable. Au cours de la dernière décennie, les méthodes “boîte grise" et “boîte noire" ont émergé. Elles requièrent peu de connaissances des circuits cibles, et s’appuient sur des mesures d’entrée-sortie. En particulier, l’apprentissage profond suscite un vif intérêt et est très étudié. Cependant, concevoir des réseaux de neurones capables de reproduire des effets audio complexes et respectant les contraintes pour un usage en temps réel reste un défi majeur. Cette thèse explore l’apprentissage profond pour la modélisation “boîte noire" d’effets audio, en ciblant les systèmes dépendant du temps ou variant dans le temps, et l’intégration de contrôles utilisateur. Nous traitons d’abord les effets dépendant du temps à travers la compression dynamique de plage. Pour capturer efficacement les dépendances temporelles longues, nous proposons l’architecture SPTMod (Series-Parallel Temporal Modulation). Celle-ci sépare le traitement en un chemin de modulation et un chemin audio. Un défi majeur réside dans l’initialisation des états internes, qui crée des écarts entre l’entraînement et l’inférence. Nous introduisons un réseau de prédiction d’état (SPN) estimant ces états initiaux à partir des signaux passés. Couplée à la rétropropagation tronquée dans le temps, cette approche accélère l’entraînement et améliore la précision en inférence. Un test d’écoute confirme la haute fidélité perceptuelle de nos modèles par rapport à l’effet cible. Nous étendons ensuite ce cadre aux effets variant dans le temps, où les paramètres internes évoluent indépendamment du signal d’entrée, souvent pilotés par un oscillateur basse fréquence. Il est difficile de les modéliser car l’apprentissage supervisé impose une stricte synchronisation de phase. Nous adaptons notre modèle en SPTVMod (Series-Parallel Time-Varying Modulation), y ajoutant des convolutions avec dilatation pour un meilleur traitement fréquentiel, et un discriminateur pour un entraînement antagoniste. Nous utilisons un entraînement en deux étapes : un réseau antagoniste génératif apprend d’abord la forme de modulation sans synchronisation stricte ; puis le SPN est introduit afin d’ajuster le modèle de façon supervisée, réussissant à synchroniser l’oscillation interne du modèle sur l’audio cible. Nous modélisons également un magnétophone à bande, et adaptons le modèle pour réduire les artefacts de repliement de spectre dû aux non-linéarités. Enfin, nous intégrons les paramètres utilisateur pour garantir la fidélité du modèle sur tout son espace de contrôle. Ajouter ces contrôles requiert une méthode de conditionnement tel que le conditionnement additif ou affine. La stratégie de peuplement de l’espace des paramètres de contrôle est cruciale. Nous menons une vaste expérience montrant qu’une stratégie “best candidate", utilisant une norme L1 ou une quasi-norme, surpasse l’échantillonnage par loi uniforme à taille du jeu de données égale. L’observation des courbes de compression et des réponses transitoires apprises par les modèles confirme que ces derniers interpolent avec succès l’espace des paramètres de contrôle, sans présenter de comportements anormaux.