Música generativa para videojuegos e interactividad– Parte 1

Edición especial por el autor invitado Diego Bocanegra.

Si usted ha leído anteriormente este o cualquier otro blog de audio para videojuegos, probablemente se habrá encontrado con que los autores repiten incesantemente que la gran diferencia entre hacer música y/o sonido para un videojuego, y hacerlos para una película o una serie de televisión, es que el actor y el espectador son la misma persona y por lo tanto su comportamiento es completamente impredecible. Esto, a pesar de ser probablemente el cliché más grande en la literatura de audio para videojuegos, es cierto; el reto más grande al cual se enfrentan tanto el diseñador de sonido, como el compositor de la música para un videojuego es la naturaleza interactiva del medio y consecuentemente la carencia de linealidad en su narrativa.

Esta incongruencia entre el carácter lineal de la música y la narrativa abierta hace que la labor del compositor y del diseñador de sonido para videojuegos sea considerablemente diferente a la de sus contrapartes del cine y la tv, y por lo tanto que sus herramientas y procedimientos también lo sean. Es justamente en esta disyuntiva donde la música generativa empieza gradualmente a ganar terreno y aunque todavía no se puede decir que ha sido ampliamente implementada en un gran número de títulos, ya se empiezan a vislumbrar algunos ejemplos interesantes que valdría la pena analizar.

Este tema puede llegar a ser bastante extenso, por lo tanto he decidido acotarlo y enfocarme principalmente en el ámbito de la música, sin embargo, estas técnicas y procedimientos pueden ser transferibles y aplicables al diseño sonoro y tienen también mucho que ofrecer en este campo. Intentaré donde pueda y sin extenderme mucho, proporcionar referencias que les permitan a quienes están más interesados en el campo del diseño sonoro ver algunas de las posibilidades que estas técnicas de composición tienen para ofrecerles.

De lo mecánico a lo orgánico

Empecemos por lo básico, ¿Qué es música generativa? La música generativa es una técnica de composición en la cual el compositor establece una serie de reglas a las cuales el intérprete, que bien puede ser humano o máquina, se debe ceñir para producir el resultado final. Si leyó con cuidado se habrá dado cuenta que está definición no explica nada, ya que de alguna manera toda composición funciona así. Por este motivo, es preciso agregar que la premisa esencial de la música generativa es que en su creación haya el mínimo posible de intervención humana, para así permitir que el resultado final emerja y se desarrolle por su propia cuenta. La idea es que el sistema establecido por el compositor, haciendo uso de aleatoriedad, probabilidades, decisiones lógicas y algoritmos matemáticos, imponga ciertos límites al caos de todos los sonidos posibles y de este proceso surja un resultado sonoro autónomo, emergente e impredecible.

El artista visual Matt Pearson en su libro Generative Art cita una frase del filósofo y monje taoísta Alan Watts que define muy acertadamente el espíritu del arte generativo en general, dice así:

“Desde el punto de vista de la filosofía taoísta las formas naturales no se hacen, crecen; y hay una diferencia radical entre lo orgánico y lo mecánico. Las cosas que se hacen, como las casas, los muebles y las máquinas, son un ensamblaje de partes puestas juntas, o moldeadas, como esculturas, desde afuera hacia adentro. Pero las cosas que crecen se moldean así mismas de adentro hacia fuera – no son ensamblajes de partes originalmente distintas; estas se fraccionan a sí mismas, elaborando su propia estructura desde la totalidad de sus partes, desde lo simple hacia lo complejo.”

Y Pearson complementa:

“El arte generativo no es algo que construimos con planos, materiales y herramientas. Por el contrario éste crece de manera similar a un árbol o una flor; sin embargo, sus semillas se siembran en la lógica y la electrónica en lugar del agua y la tierra. Es una propiedad emergente de los procesos más simples: las decisiones lógicas y las matemáticas. El arte generativo consiste en crear lo orgánico, a partir de lo mecánico.”

Si reflejamos estos profundos conceptos sobre lo que nos concierne, podríamos decir que la música determinística, en la cual el compositor define de antemano cada aspecto de la obra, es mecánica, ya que es un ensamblaje de partes cautelosamente acomodadas para crear el resultado exacto que el compositor desea, mientras que la música generativa es un organismo, que partiendo de unas premisas básicas, evoluciona y se moldea a sí mismo creando resultados muchas veces inesperados pero al mismo tiempo muy naturales y variados[4].

Así mismo, es fácil ver como el procedimiento composicional de un score determinístico o tradicional es un proceso de construcción que Watts describiría como de afuera hacia adentro. Un compositor idea, desarrolla y graba una gran cantidad de ideas musicales en el mundo real, que posteriormente combina e implementa en el motor del juego. En contraste, el proceso de producción de la música generativa es de adentro hacia fuera ya que las instrucciones a partir de las cuales surge la música residen en el código del juego, y es el sistema mismo quien en últimas toma las decisiones y realiza las operaciones que producirán la música que el jugador oye.

De lo orgánico al videojuego

Esta cualidad orgánica de la música generativa puede ser muy deseable en el caso de los videojuegos, donde nuestro mayor enemigo es la repetición y donde el carácter lineal de la música se enfrenta continuamente con la complejidad de la interactividad y de la narración no-lineal. Quién, como jugador, no se ha encontrado alguna vez con ese nivel imposible, en el cual pasamos tanto tiempo que la música se convierte en un insoportable loop que dura incrustado en nuestra mente durante semanas y que incluso, en ocasiones nos lleva a simplemente bajar el volumen — o en los juegos que se puede, a apagar la música. Esto tiene una explicación psicológica: es inevitable que nuestro cerebro reduzca el valor estético de los sonidos que percibimos una vez estos se tornan repetitivos. Como músicos y diseñadores de sonido lo último que queremos es que al producto en el que trabajamos con tanto esmero se le baje el volumen, y a pesar de que existen diferentes técnicas para evitar o reducir el problema de la repetición, la música generativa es sin duda una solución elegante que garantiza por encima de todo variedad a un costo mínimo en términos de memoria.

Otro factor que puede hacer de la música generativa una opción atractiva es el económico. El costo de un sólo minuto de música original puede estar fácilmente en el orden de los varios miles de dólares, por lo tanto no es difícil ver cómo para algunos juegos en los cuales se prevé que el jugador pase varias horas (que en un MMO, por ejemplo, pueden ser miles), esto podría convertirse en una gran carga para el presupuesto del proyecto; más aún si se tiene en cuenta que el audio no se caracteriza precisamente por ser el gran favorecido a la hora de repartir este pastel[3].

Por supuesto, diferentes procedimientos generan diferentes resultados y un sistema generativo nunca va a producir el mismo resultado que un compositor humano. Esto es especialmente crítico cuando se busca resaltar estéticamente un evento o reforzar algún aspecto emocional de la historia mediante la música, ya que en ocasiones los procedimientos generativos pueden producir resultados demasiado aleatorios o texturalmente planos y aburridos, e incluso pueden llegar a requerir de tantas reglas que sencillamente no tendría sentido hacer uso de ellos. Precisamente, una de las  funciones principales de la música, cuando es utilizada como soporte para otro medio (cine, tv, videojuegos, apps, etc.), es el manejo de la tensión y la expectativa, y por esta razón, al menos en el caso de los videojuegos, no basta simplemente con crear un sistema que genere una música de fondo, que aunque varíe continuamente, expresivamente no aporte nada. Idealmente, la música debe reforzar en alguna medida la acción y enriquecer la experiencia del jugador, por eso es esencial no solamente  evitar la repetición, sino lograr que la música reaccione de alguna manera a las acciones del jugador, al entorno virtual y al estado de ánimo del personaje[5][6].

Afortunadamente hay estrategias que permiten que esto sea posible, como por ejemplo, el uso de “meta-controles” para modificar algunos parámetros globales de la música. Esto permite que ciertas variables del juego tengan efecto sobre la textura y la dinámica de la música y de esta manera refleje estados de ánimo y acentúe momentos dramáticos importantes. El uso adecuado de estos controles permite además generar estructura, reforzar momentos y elementos trascendentales del juego, y abrir espacios para que el diseño sonoro brille por sí mismo cuando sea conveniente[5].

¿Qué juegos hacen uso de sistemas generativos?

Sin lugar a dudas el primer referente con el cual uno se encuentra es Spore. Este juego cuenta entre sus creadores con personalidades de la talla de Will Wright (diseñador de juegos como “Sim City” y “The Sims”) y Brian Eno (músico ex-integrante de Roxy Music, creador del género de Ambient Music, y gurú de la música generativa) ambos reconocidos por ser verdaderas autoridades en el tema de las técnicas de creación generativa.  Este juego es una verdadera obra de arte desde todas las perspectivas y en él se  mezclan de manera exquisita una gran diversidad de géneros de videojuegos. En Spore el jugador, comienza siendo una célula y evoluciona en diferentes criaturas, grupos y puede incluso crecer hasta convertirse en toda una civilización intergaláctica.

En esta charla ambos Wright e Eno discuten ampliamente el juego:

Igualmente Eno ha desarrollado junto con Peter Chilvers, Scape y Bloom, un par de sound toys para iPad que son igualmente interesantes. En esta entrevista explica de qué se tratan:

Sin embargo, Spore no es de ninguna manera el primer juego en exhibir técnicas de composición generativa. Existen ejemplos tan tempranos como Otocky(1987) creado por el diseñador japonés Toshio Iwai para la consola Family Computer Disk System. En Otocky el jugador puede disparar en 8 direcciones diferentes y cada una de ellas crea una nota musical diferente; dicha nota es cuantizada por el sistema al tempo del loop musical (o a alguna subdivisión de él) que suena al fondo. El jugador puede también seleccionar el instrumento que reproducirá el sonido de su arma. La aleatoriedad con la que aparecen los blancos a los cuales el jugador debe disparar hace que el resultado musical sea muy variado y difícilmente repetible.

Aunque muchos de ustedes ya lo saben o al menos lo intuyen, vale la pena resaltar que el sonido en consolas como el Family es fundamentalmente diferente al de las consolas de la actualidad. Debido a que en esa época los medios análogos para almacenar música eran tan costosos y delicados,  los computadores y las consolas de videojuegos se vieron obligados a optar por opciones más convenientes y económicas. La opción más óptima que encontraron fueron unos chips electrónicos que pudieran convertir en tiempo real, datos en ondas analógicas. Estos chips sintetizadores evolucionaron con el tiempo y alcanzaron altos niveles de sofisticación. Sin embargo, con la aparición de métodos de almacenamiento como el CD-ROM la calidad de sonido aumentó y el costo relativo en memoria se redujo (aunque en procesamiento aumentó). Esto provocó que el uso de chips sintetizadores cayera en desuso y el audio streaming se convirtiera desde entonces en la opción más conveniente [1].

Este hecho ha tenido cierto impacto en la percepción de la capacidad que tiene la tecnología de las consolas modernas para producir música generativa, ya que absolutamente todo el material sonoro del que se dispone es pregrabado. Sin embargo, existen algunos métodos ingeniosos que han permitido el uso de métodos generativos sin mayor problema. La aproximación granular y la utilización de samples cortos, incluso nota por nota, acorde por acorde, se han convertido  en prácticas comunes entre algunos compositores de videojuegos. El compositor Troels Brun Folmann, ganador del premio BAFTA a mejor score original en 2006 por su trabajo en Tomb Raider: Legend, define este procedimiento como “micro-scoring”. Brun considera que para que la música sea realmente adaptiva y generativa debe crearse en tiempo real, sin embargo, la cantidad de memoria RAM destinada al audio, incluso en las generaciones de consolas más recientes, es insuficiente; por esta razón propone una manera de mitigar esta deficiencia que consiste en cortar el score en fragmentos muy pequeños y reproducirlos de una manera que complemente la experiencia de juego[2].

Aunque un poco viejo, un buen ejemplo de este tipo de estrategia puede encontrarse en los juegos Creatures 2, Creatures 3 (1999) y Creatures: Docking Station. Para este juego, el compositor Peter Chilvers grabó varios samples de notas, acordes y arpegios cortos y creó un sistema generativo y adaptivo, en el cual diferentes variables como el estado de ánimo de las criaturas, o su simple presencia, tienen un efecto sobre el resultado musical. Chilvers, sin embargo, evita reforzar las acciones en el juego muy directamente y busca crear un sonido atmosférico que resalte el contenido emocional más que la acción[6].

¿Por dónde empiezo?

Asumo que los lectores de este blog tienen diferentes habilidades y niveles de conocimiento, sin embargo, si usted es nuevo en el tema le recomiendo que revise los tutoriales en http://algorithmiccomposer.com/

Estos tutoriales explican varias de las técnicas generativas más importantes en una gran variedad de herramientas entre las cuales se encuentran Max/MSP, Puredata, OpenMusic, CommonMusic y más.

Otra gran fuente, no solo en este tema sino en todo lo relacionado con audio para videojuegos es el libro The Game Audio Tutorial: A Practical Guide to Creating and Implementing Sound and Music for Interactive Games de Richard Stevens y Dave Raybould. En él se estudia por medio de ejemplos específicos en UDK la implementación de algunas técnicas generativas orientadas a la musicalización de videojuegos, haciendo énfasis tanto en el uso de meta-controles para generar curvas dramáticas sobre la música, como en algunas opciones de interactividad que permiten que el juego también se retroalimente de la música, para así crear una experiencia de juego mucho más completa y coherente.

Para quienes quieran profundizar más en el tema de la música generativa como tal, también recomiendo otra charla con el gran Brian Eno en la cual analiza ampliamente la evolución histórica y los cambios en el pensamiento que permitieron que un grupo importante de artistas acogieran procesos generativos como metodología principal para sus creaciones. ¡Muy inspiradora!

Igualmente vale la pena ver esta entrevista hecha a Curtis Roads, un músico e importante autor a quién se le atribuye el desarrollo de la síntesis granular.

Bibliografía

[1] Collins, K. (2008). Game sound: an introduction to the history, theory, and practice of video game music and sound design. MIT Press. p. 12.

[2] Latta, W. (2006) CDM Interview: Tomb Raider: Legend Composer Troels Brun Folmann on Adaptive “Micro-scoring” http://createdigitalmusic.com/2006/10/cdm-interview-tomb-raider-legend-composer-troels-brun-folmann-on-adaptive-micro-scoring/ [Last seen on 06/06/13]

[3]  Nutt, C. (2008) AGDC: A Generative Adaptive Music System for MMO Games.

http://gamasutra.com/php-bin/news_index.php?story=20249 [Last seen on 06/06/13]

[4] Pearson, M. (2011) Generative Art: A practical guide using Processing. Manning Publications; 1 edition.

[5] Stevens, R. , and Raybould, D. (2011) The Game Audio Tutorial: A Practical Guide to Creating and Implementing Sound and Music for Interactive Games. Focal Press.

[6] Anonymous (2002), The Music Behind Creatures. http://web.archive.org/web/20020614201723/http://www.creatures.co.uk/library/science/lib_science_musicbehind1.htm [Last seen on 06/06/13]

Etiquetado ,

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: