Download Visualización - Sonificación : Del sonido a la imagen y viceversa

Visualización - Sonificación : Del sonido a la imagen y viceversa
José Manuel Berenguer
Temario / Programa
1. Revisión de herramientas computacionales
La primera sesión del taller se dedica a la descripción y familiarización con el sistema :
Max, con sus extensiones de tratamiento de sonido (MSP) e imagen (Jitter), así como la
forma de crear objetos nuevos especializados en tareas específicas en JavaScript. Esas
cuestiones relativas a la estructura del lenguaje de programación Max, se
complementan con la implementación en ese entorno de algunas herramientas
fundamentales de análisis, síntesis y tratamiento de sonido, así como de análisis de
imagen, en concreto, los objetos cv (computer vision) liberados por IBM e
implementados en MaxMSP-Jitter por Jean Marc Pelletier. Esta sesión terminará con
una introducción a la sonificación basada un ejercicio de aplicación práctica elemental
de las herramientas estudiadas con la finalidad de generar sonido a partir de la
información contenida en las imágenes.
MaxMSP-Jitter
http://www.cycling74.com
JavaScript en Max :
https://cycling74.com/docs/max5/vignettes/js/javascriptinmax.html
CV para jitter
http://jmpelletier.com/cvjit/
2. Sonido en función de datos
La segunda sesión es completamente práctica y se dedica a la generación de sonido a
partir de los datos obtenidos por diversos dispositivos de uso generalizado, como los
GPS y la Internet y otros de acceso más difícil como son los datos de elevación
terrestre obtenidos y difundidos por la NASA y los procedentes de la evolución del
campo magnético terrestre proporcionados por el satélite Dynamic Explorer.
Carnivore
http://r-s-g.org/carnivore/
http://r-s-g.org/carnivore/download/CarnivorePE_Mac_v3.tar.gz
http://r-s-g.org/carnivore/download/CarnivorePE_Win_v3.zip
http://sonoscop.net/jmb/pub/carnivore.zip
SRTM/NASA
http://www2.jpl.nasa.gov/srtm/
http://sonoscop.net/jmb/cantodepiedra/index.html
http://dds.cr.usgs.gov/srtm/
http://www.sonoscop.net/jmb/pub/def.zip
Ondas de plasma
http://www-pw.physics.uiowa.edu/plasma-wave/tutorial/intro.html
http://sonoscop.net/jmb/pw/cassini.zip
3. Generación de Imagen en función de sonido
Una vez estudiados los métodos de generación de sonido, se dedica la tercera sesión a
la generación de imágenes a partir de las características formales de los sonidos. Por
eso, hablaremos de formas de visualización de parámetros musicales, así como de
visualización de parámetros sonoros. Gracias al análisis de esos parámetros por medio
de descriptores especiales, aplicaremos esos datos al comportamiento de imágenes
fijas, en movimiento y en 3D. Además realizaremos un ejemplo de codificación de
datos musicales en matrices bidimensionales y QR
fiddle~
http://vud.org/max/
descriptores zsa
http://www.e--j.com/index.php/download-zsa/
QR
https://createqrcode.appspot.com
4. Generación conjunta de sonido e imagen
Sonido e imagen pueden ser generados a partir de los mismos procesos de datos o de
los mismos comportamientos generativos. En esta cuarta jornada estudiaremos la
forma de aplicar comportamientos abstractos, como algunas series y funciones
famosas, fractales, autómatas celulares y matrices de Conway, así como diversas
superficies paramétricas al comportamiento conjunto de la imagen y el sonido.
http://es.wikipedia.org/wiki/Juego_de_la_vida
http://paulbourke.net/
http://sonoscop.net/jmb/pub/bittoriomacoswxp.zip
5. Agentes computacionales
La complejidad se genera a menudo a partir de la interacción entre elementos simples
de características similares. Durante la quinta jornada, estudiaremos las forma de
emplear el entorno de programación Max para la generación de comportamientos
sonoros simples e individuales pero cuya interdependencia se traduce en la generación
de complejidad. Veremos como implementar boids, muelles, luciérnagas y algoritmos
genéticos.
http://www.red3d.com/cwr/boids/
https://cycling74.com/toolbox/singer-boids/
http://www.sonoscop.net/jmb/pub/lucymx.zip
http://www.sonoscop.net/jmb/pub/lucyxp.zip