Kaleidosmusic è un progetto musicale-artistico per la creazione di video dall’aspetto psichedelico, ma strutturati secondo una logica di mappatura dello spettro sonoro su quello visivo. L’obiettivo non è infatti quello di replicare modelli già ampiamente diffusi, ma di permettere ai fruitori di fare un’esperienza percettiva basata sulla sinestesia reciproca tra musica e immagini (e viceversa). In altre parole, l’obiettivo (forse un pò ambizioso) è quello di far “vedere” i suoni e “sentire” i colori attraverso una percezione combinata ma sempre coerente.
Cosa non è Kaleidosmusic
Prima di introdurre qualche elemento legato al funzionamento dell’algoritmo, vorrei premettere ciò che Kaleidosmusic non è:
- Un sistema per produrre video con variazioni casuali di colori (e.g., mutazioni continue di un plasma)
- Un modello per indurre ipnosi o stati alterati di coscienza
- Un modello per veicolare messaggi subliminali di alcun tipo
Quali sono i principi fondamentali di Kaleidosmusic
Senza entrare in dettagli eccessivamente tecnici, l’algoritmo di Kaleidosmusic è basato su alcuni passi fondamentali che sono implementati in Python, Scipy e Librosa. Il primo consiste nell’analisi spettrale delle frequenze contenute in campioni stereo di durata fissa. Assumendo di avere un brano musicale M, esso viene discretizzato in una sequenza A contenente N campioni ai:
Ciascun campione ai è composto da una tupla (ai1,ai2) contenente i date dei due canali stereo. A questo punto, i due canali contentente una serie temporale vengono ricampionati e sovrapposti (da stereo, la serie diventa mono) e preparati per essere sottoposti a SDFT (Short-time Discrete Fourier Trasform) attraverso un processo di windowing:
I frammenti ottenuti da ciascuna finestra vengono quindi sottoposti a FFT (Fast Fourier Transform) per ricavarne lo spettro in frequenza F:
A questo punto, l’algoritmo effettua una mappatura tra i picchi di frequenza sonora e le corrispondenti frequenze dello spettro di luce visibile. I picchi del campione corrispondono alle note dominanti e agli armonici di ordine superiore indotti da quest’ultime, come mostrato in figura:
Attraverso una serie di filtraggi, i picchi vengono combinati e pesati in base alla loro importanza relativa e il risultato viene trasformato in un fotogramma dell’animazione finale (che sarà in sincronia perfetta con l’audio).
Attenzione
I video generati tramite l’algoritmo di Kaleidosmusic contengono variazioni cromatiche molto rapide che coprono lo spettro compreso tra il rosso e il violetto. L’effetto prodotto può essere pertanto pericoloso per tutti i soggetti che soffrono di epilessia, di disturbi psicotici o di qualsiasi altra patologia neuropsichiatrica che può esacerbarsi attraverso la stimolazione visiva violenta. Di conseguenza, in tutti questi casi, se ne sconsiglia assolutamente la visione!
Esempi di Kaleidosmusic
Tutti i video vengono solitamente pubblicati sia sul mio canale YouTube che nella sezione dei post. Qui ci sono alcuni esempi.
F. Chopin – Waltz in La min. B150 Postumo
Se ti piace il mio lavoro, puoi sempre fare una donazione per supportare la mia attività. Basta un caffè! E non dimenticarti di iscriverti alla mia newsletter settimanale!
