Sound Toys – Una tendencia de apps en pro de la exploración sonora

En los medios digitales, los sound toys son aplicaciones interactivas basadas en sonido, muchas veces con contenido visual, que involucran interacciones compositivas en tiempo real con las cuales se puede jugar[9]. Los sound toys comparten un vínculo muy estrecho con asuntos relacionados a la música algorítmica y experimental, el arte, la síntesis en tiempo real, y los dispositivos móviles. El objetivo de un sound toy es permitir la creación y la manipulación de sonidos. Es importante aclarar que a diferencia de los juegos tradicionales, los juguetes sonoros o musicales no tienen reglas, objetivos predeterminados, recompensas o narrativas de juego [1].

Balldroppings Soundtoy

Balldroppings Soundtoy

Los primeros sound toys eran aplicaciones para web. Un clásico ejemplo es balldroppings, en el cual caen bolas desde la parte superior de la pantalla y rebotan en las líneas que se dibujan con el mouse. Las bolas producen un sonido cuyo tono depende de la rapidez con que la pelota se está moviendo al golpear la línea. Otros juguetes sonoros experimentales para web están exhibidos en Soundtoys.net y CreativeApplications.net.

Por otro lado, está Electroplankton, un juguete de sonido interactivo de Nintendo DS lanzado en el 2005, que permite al usuario crear música algorítmica mientras interactúa con electroplanktons, usando intuitivamente la pantalla táctil y en alguno casos el micrófono. Las representaciones simbólicas de la música brindan una comprensión rápida de los controles compositivos, permitiendo al usuario crear composiciones de un buen nivel musical, incluso para los más novatos [10].  Su éxito impulsó una nueva tendencia en la escena de los videojuegos al promover este tipo de aplicaciones experimentales. Ya en esta época existe una gama relativamente amplia de sound toys para plataformas como smartphones y tabletas, las cuales se han convertido en herramientas poderosas para la exploración sonora.

Bloom – Una máquina de música infinita

Bloom fue inspirada en las ideas de Erik Satie (1866-1925), quien buscaba la composición eterna y la creación de música no-invasiva (denominada furniture music, o música de decoración) [4].

Esta aplicación creada en el 2008 por Brian Eno (pionero en música generativa, compositor de la música de Spore) y Peter Chilvers (músico y programador), es un juguete de música generativa ambiental que elevó los estándares de los sound toys para aplicaciones móviles, pues se trata de un juguete que permite crear música eternamente, que no se repite nunca. Como dice Ben Marshall en su artículo para The Guardian, Bloom podría considerarse como un album de Eno en el cual el oyente también es compositor [4]. La app fue diseñada exclusivamente para el iPhone, y fue desarrollada en Pure Data.

El sound toy consiste en una pantalla de color y un tono de sonido bajo. Al tocar la pantalla en diferentes puntos, suenan diferentes tonos que varían dependiendo de la posición. Luego los tonos se reproducen repetidamente en loop, creando un patrón único de música en tiempo real, que cambia gradualmente por sí mismo una vez que se deja de tocar. Mientras se reproduce la música, los tonos aparecen como manchas de color que poco a poco se desvanecen. Brian Eno ha continuado sacando soundtoys como Trope y Scape.

Aura flux

Aura flux también es una aplicación de música ambiental generativa para iOS, creada por la empresa Higefive. Fue desarrollada en Pure Data, y permite crear música en tiempo real, mediante la conexión de nodos y haciendo dibujos. Cada dibujo creado va a generar un paisaje sonoro único. 

Auraflux viene con 48 instrumentos, cuatro estaciones (tonalidades) y un ambiente de fondo que cambia constantemente. Los nodos tienen parámetros de pitch, trigger rate, decay, volumen, y la opción de agregar notas adicionales. La aplicación está programada de tal forma que no se produzcan disonancias fuertes o armonías extrañas.

RjDj

RjDj es diferente a todo. Crea música dinámicamente, y responde a la señal de entrada del micrófono. Todos los sonidos en el ambiente, como por ejemplo movimientos, risas, gritos, murmullos, tráfico de la calle, etc., se combinan para crear experiencias sonoras únicas. La aplicación fue creada para el iPhone, y fue desarrollada en Pure Data.

La aplicación contiene varias “escenas” que ofrecen diferentes formas de crear e interactuar con una selección de sonidos. Cada escena maneja la señal de entrada de una manera diferente. Por ejemplo, la escena Gridwalker reproduce una melodía intermitente de 8 bits que cambia constantemente, dependiendo de lo fuerte o suave del nivel de entrada. Por otro lado, WorldQuantizer re-utiliza los sonidos que encuentra para crear un patrón rítmico mas orgánico.

Lo más interesante de la aplicación es que cualquiera puede crear y presentar sus propias escenas en Pure Data para ser presentadas en las futuras versiones de RjDj.

Mi Sound Toy

Finalmente quisiera compartir un prototipo de un sound toy que hice. Es una aplicación audiovisual interactiva para web, que produce texturas sonoras abstractas de manera generativa. El sound toy lo desarrollé en Processing, trabajé sobre un sketch que ya existía que se llama Acoustic Swarm, y el concepto fue basado en la sinestesia y la correspondencia entre colores, estados de ánimo y sonidos. Mi objetivo principal era crear una aplicación que me permitiera hacer composiciones sonoras y visuales a la vez y que existiera algún tipo de coherencia entre sonido y color.

El juguete consiste arrastrar partículas circulares a la ventana principal, donde producen sonidos y se empiezan a llamar entre sí. Una partícula es un punto con un rango de audición. Una partícula emite sonidos cada vez que hay una o más partículas dentro de su rango de audición y cada vez que la partícula ha esperado suficiente tiempo. Las partículas también se “duermen” en ciertos momentos.

El sound toy tiene distintos estados de ánimo, que me sirvieron como puente para conectar sonido con color. Los estados son feliz, triste, ansioso, sexy, y dreamy. Por ejemplo, el estado ansioso va con colores neutros, el estado de ánimo triste va con colores azules oscuros, y el estado feliz va con colores amarillos. Según mi análisis (basado en asociaciones de marketing occidentales) el rojo se asocia con agresión, pasión, y amor, por lo cual decidí hacer un estado “sexy” que combinara un poco de todo eso. El estado de ánimo dreamy tiene un fondo azul claro y las partículas son rosadas.

Las escalas utilizadas para cada estado de ánimo se basan en los modos de la música: Jónico (feliz), Eólico (triste), Frigio (sexy) y Lidio (dreamy), y los colores de las partículas varían en función de la altura de las notas. Es decir, los sonidos más altos corresponden a colores más claros, y los sonidos más bajos a los colores más oscuros. El volumen de las partículas varía dependiendo de la posición. Finalmente, la duración del sonido varía dependiendo del tamaño del círculo: es decir, los círculos más grandes tienen notas con duraciones más largas que los círculos más pequeños. Sin embargo, debido a unos problemas técnicos, actualmente este aspecto se aplica sólo en los estados de ánimo ansioso y feliz.

El sound toy se encuentra en proceso de mejoramiento, pues los sonidos midi disponibles para Processing no son los más indicados.  Processing puede trabajar en conjunto con Max/Msp o Ableton Live, por lo cual, eventualmente los reemplazaré.

Como siempre, dudas y comentarios son bienvenidos, y espero que este post sirva de inspiración para crear sus propios sound toys.

Enlaces de interés:

Página de Andy Dolphin, experto en sound toys: Dysdar.org.uk

Libro para crear apps en Pure Data: Making Musical Apps

Página oficial de Golan Levin: Flong

Comunidad de Processing: Openprocessing.org

El post sobre música generativa de Diego Bocanegra

Gymnopedies 1-3 de Erik Satie para relajarse: Aquí

in C de Terry Riley para inspirarse (y estresarse): Aquí

Referencias

[1] Collins, Karen (2009). An Introduction to Procedural Audio in Video Games. Available from: http://uwaterloo.academia.edu/KarenCollins/Papers/198757/_An_Introduction_to_Procedural_Audi o_in_Video_Games._

[2] Ball Droppings:http://balldroppings.com

[3] Brian Eno’s Bloom Raises the Bar for Musical iPhone Apps

[4] Brian Eno’s Bloom: new album or ambient joke?

[5] iTunes Preview Bloom Description.

[6] Introducción a Pure Data (en Español) 

[7] RjDj – página oficial

[8] Experience Sonic Sensations With RjDj for iPhone

[9] Not A Dance de Peter Holzkorn 

[10]  Compositional Applications of a game engine – de Andy Dolphin

 

 

 

 

 

Etiquetado , , ,

3 pensamientos en “Sound Toys – Una tendencia de apps en pro de la exploración sonora

  1. Alejandro dice:

    primero que nada, ME ENCANTA TU BLOG, me lo lei todo en un dia, y aprendo mucho!… Es mi gran sueño componer musica para videojuegos, pero nose por donde empezar, toco la guitarra hace tiempo, y comenzare a estudiar composición el mes que viene… tengo tantas preguntas que hacerte, xD… espero que tengas tiempo para contestarlas.
    Como empezaste en esto del audio para videojuegos?
    hay algun libro (en español) sobre el tema, que pueda ayudarme a empezar en esto?
    Algun software en especial, que deba aprender a utilizar?
    ………….
    ademas agredecerte que te tomes el tiempo para compartir tus conocimientos con nosotros :)!

    • Hola Alejandro! Gracias! Me alegra mucho que te guste mi blog🙂 Bueno, ¿Cómo empecé? Pues.. luego de estudiar 5 años música con ingeniería de sonido, y de trabajar unos años, decidí hacer el máster en sonido para videojuegos, y ahora trabajo en esto.

      Pienso que es necesario aprender primero las bases de música y composición y luego sí enfocarte en hacer música para videojuegos…es decir… para correr hay que aprender primero a gatear y a caminar jajaj🙂

      Resulta que los medios como el cine y la tv, son lineales. Tienes una secuencia predeterminada, con unas imágenes y secuencias de eventos fijas, a las cuales les puedes sincronizar el sonido y ya está. Casi toda la música también es lineal… tiene un comienzo, un desarrollo y un fin. En los videojuegos esto no es así. No sabes de antemano qué va a suceder… no hay una secuencia lineal. Así es que toca hacer música para un medio no-lineal, pero para esto ya debes saber cómo hacer música de la manera tradicional, y para que luego puedas romper todas las “reglas”. Mientras tanto es bueno ir leyendo lo que más puedas sobre música para juegos…en internet hay mucha información, aunque la verdad no conozco libros de este tema en español… por eso comencé a escribir este blog. Si de verdad quieres aprender de este tema, es necesario saber inglés, porque hay muchísima información valiosa en internet. Además de aprender música e inglés, algo que te puede servir es aprender algo de programación….no es esencial, pero sí es un plus. Y bueno, mientras tanto te aconsejo que leas bien todo este blog, ya que menciono varios tips, software y links que te pueden ser muy útiles!!🙂

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: