Performing the Immersive: Electroacoustic Music at the Threshold of Technology

César Rennó-Costa; Alyson Souza; Stefane Orichuela; João Anisio da Nobrega; Leonardo Pereira; Jonatas Manzolli; Cleber Campos

doi:10.33871/vortex.2026.14.11748

Autores/as

César Rennó-Costa Universidade Federal do Rio Grande do Norte https://orcid.org/0000-0003-0417-8108
Alyson Souza Universidade Federal do Rio Grande do Norte https://orcid.org/0000-0003-2706-7400
Stefane Orichuela Universidade Federal do Rio Grande do Norte https://orcid.org/0009-0008-6827-4282
João Anisio da Nobrega Universidade Federal do Rio Grande do Norte https://orcid.org/0009-0007-0599-8227
Leonardo Pereira Universidade Federal do Rio Grande do Norte https://orcid.org/0000-0003-0483-3010
Jonatas Manzolli Universidade Estadual de Campinas https://orcid.org/0000-0003-4257-7118
Cleber Campos Universidade Federal do Rio Grande do Norte https://orcid.org/0000-0003-2666-916X

DOI:

https://doi.org/10.33871/vortex.2026.14.11748

Palabras clave:

Interactive Systems Design, Human-AI Co-creation, Embodied Interaction, Interpretive Ecosystems, Audience Agency

Resumen

This discussion examines the emerging characteristics of immersive performance within the context of electroacoustic music, resulting from the integration of immersive technologies. The transformation of fixed-media (tape) compositions into interactive, explorable, and performable environments redefines creative roles and the notion of authorship between composer and performer. In this framework, the audience becomes an active participant, shaping the musical work in real time. Performance becomes an emergent process arising from the interaction between human agency and generative systems. These unpredictable outcomes open doors to new forms of aesthetic engagement. The focus shifts from the concept of a final product or finished work toward the dynamic development of the creative process itself. Each piece acquires its character through the creative possibilities it offers, its interactive design, and the quality of the experience it delivers. In this model, the artist's primary role is to design a world for collaborative musical performance.

Descargas

Los datos de descargas todavía no están disponibles.

Biografía del autor/a

César Rennó-Costa, Universidade Federal do Rio Grande do Norte

César Rennó-Costa es profesor asociado en el Instituto de la Metrópolis Digital (IMD) de la Universidad Federal de Río Grande del Norte (UFRN), donde coordina el Entorno Multidisciplinario de Bioinformática (BIOME). Ingeniero en informática con amplia experiencia en ingeniería del sonido y ciencias cognitivas, lleva más de dos décadas desarrollando paradigmas teóricos y tecnológicos en la intersección entre la música y la inteligencia artificial. Es investigador en el Centro de Conocimiento Avanzado en Tecnologías Inmersivas (AKCIT-IMD/UFRN) y exmiembro del Núcleo Interdisciplinario de Estudios del Sonido (NICS) de la UNICAMP. Su trabajo abarca la neurociencia computacional, las tecnologías de la salud y la ética de la IA, con un enfoque en el diseño de experiencias multisensoriales e instalaciones museísticas interactivas.

Alyson Souza, Universidade Federal do Rio Grande do Norte

Alyson Souza es profesor asociado e investigador en el IMD/UFRN, especializado en tecnologías inmersivas en los campos de las artes y la innovación. Se desempeña como coordinador del AKCIT-IMD/UFRN y dirige el Laboratorio de Realidades Adaptativas de la UFRN. Actualmente dirige el proyecto «Investigación de tecnologías inmersivas para el desarrollo de nuevas experiencias en las artes», una iniciativa enfocada en la creación de paradigmas creativos pioneros en realidad virtual y realidad mixta. Con un amplio portafolio en la intersección entre la estética y la tecnología, Souza ha desarrollado varias exposiciones inmersivas destacadas, entre ellas MedusoZoa, Peixes do Semiárido y Navegar Impreciso.

Stefane Orichuela, Universidade Federal do Rio Grande do Norte

Stefane Orichuela es estudiante de maestría en Ingeniería de Software en la UFRN y cuenta con una licenciatura en Tecnología de la Información con especialización en juegos digitales. Es investigadora en el AKCIT-IMD/UFRN, donde se dedica al desarrollo de aplicaciones de realidad virtual para la música y la cultura. Anteriormente fue violonchelista en la Orquesta Juvenil de la Armada de Brasil (2015–2018) y, en la actualidad, investiga la interacción persona-computadora, los entornos inmersivos multiusuario y la aplicación de la realidad virtual en contextos educativos y culturales.

João Anisio da Nobrega, Universidade Federal do Rio Grande do Norte

João Anísio Marinho da Nóbrega es investigador, desarrollador de videojuegos y estudiante de maestría en el Programa de Posgrado en Bioinformática (PPGbioinfo) de la UFRN. Se desempeña como jefe de equipo en AKCIT-IMD/UFRN, donde impulsa la creación de marcos de interacción espacial. Su investigación explora la percepción y la encarnación en la realidad virtual, con experiencia técnica en pseudo-háptica, seguimiento de manos desnudas y diseño de niveles utilizando los motores Godot y Unity. En 2026, su trabajo fue reconocido en el IEEE VR de Daegu, Corea del Sur, donde fue preseleccionado para el premio a la mejor demostración técnica.

Leonardo Pereira, Universidade Federal do Rio Grande do Norte

Leonardo M. Pereira es estudiante de maestría en la UFRN y colaborador del AKCIT-IMD/UFRN, del Lab TEAM y del proyecto 10 Dimensões. Con una licenciatura en Artes/Música y una certificación como técnico de guitarra, se dedica activamente a la interpretación, la composición y la producción cultural, con obras interpretadas en todo Brasil, Argentina, Colombia y España. Su investigación y sus publicaciones se centran en la intersección entre la música y la tecnología, la composición, la interpretación y la educación musical.

Jonatas Manzolli, Universidade Estadual de Campinas

Jônatas Manzolli es profesor titular, compositor e investigador que trabaja en la intersección entre el arte, la ciencia y la tecnología. Es investigador principal en el NICS (UNICAMP) y colabora con el Departamento de Ingeniería Informática de la Universidad de Coimbra y con el INET-md (DeCa) de la Universidad de Aveiro. Su trabajo se centra en la creatividad computacional, la escucha automática y la interpretación multimodal. Entre sus proyectos más destacados se encuentran «Ada: Intelligent Space» (Expo.02) y la «Multimodal Brain Orchestra». Becario Rockefeller y ganador del Premio Zeferino Vaz, es el compositor residente de 2026 para el proyecto SHORES de Europa Creativa.

Cleber Campos, Universidade Federal do Rio Grande do Norte

Cleber de Silveira Campos es profesor titular en la UFRN e investigador principal en el AKCIT-IMD/UFRN, y se especializa en interpretación musical y mediación tecnológica para la percusión. Ganador del Premio de Tesis de la CAPES (2013), su investigación se centra en los modelos de recursividad en la interpretación apoyada por la tecnología. Es coordinador del LAPER2ME (Laboratorio de Percusión e Interpretación Mediada por Recursos Tecnológicos) en la EMUFRN y lidera iniciativas internacionales, como el proyecto I-Jazz, que analiza el impacto de la innovación tecnológica en el jazz contemporáneo y brasileño.

Citas

BROCH, Vilbjørg. ES QC: Using mathematical quasicrystals to inform spatial audio. In: SPECULATIVE SOUND SYNTHESIS SYMPOSIUM, 2024, Graz. Proceedings [...]. Graz: Institute of Electronic Music and Acoustics (IEM), 2024.

CESPEDES-GUEVARA, Julian; EEROLA, Tuomas. Music Communicates Affects, Not Basic Emotions - A Constructionist Account of Attribution of Emotional Meanings to Music. Frontiers in psychology, Lausanne, v. 9, p. 215, 2018.

CHION, Michel. Audio-vision: sound on screen. New York: Columbia University Press, 2019.

DIXON, Steve. Digital Performance: A History of New Media in Theater, Dance, Performance Art, and Installation. Cambridge: MIT Press, 2015.

EMMERSON, Simon. Living electronic music. London: Routledge, 2017.

FIELDEN, Thomas. The Influence of the Pianoforte on Musical Progress. Proceedings of the Musical Association, London, v. 65, p. 91–107, jan. 1938.

FRAYLING, Christopher. Research in Art and Design. Royal College of Art Research Papers, London, v. 1, n. 1, p. 1–5, 1993.

GARITY, WM E.; HAWKINS, John NA. Fantasound. Journal of the Society of Motion Picture Engineers, New York, v. 37, n. 8, p. 127–146, 1941.

GRONOW, Pekka; SAUNIO, Ilpo. International history of the recording industry. London: A&C Black, 1999.

GVINIASHVILI, Mariam. Programme notes for FREE FLOW. In: PHONOS (UPF), Barcelona, 2022.

IVERSON, Jennifer. Invisible collaboration: The dawn and evolution of elektronische Musik. Music Theory Spectrum, Oxford, v. 39, n. 2, p. 200–222, 2017.

JUSLIN, Patrik N. Communicating emotion in music performance: A review and a theoretical framework. In: Music and emotion: Theory and research. Series in affective science. New York, NY, US: Oxford University Press, 2001. p. 309–337.

KAHN, Douglas. Noise, water, meat: a history of sound in the arts. Cambridge: MIT press, 1999.

LAKATOS, Mihály. Sights and sounds of big data: Ryoji Ikeda’s immersive installations. Acta Universitatis Sapientiae, Film and Media Studies, Cluj-Napoca, n. 18, p. 109–129, 2020.

LOMBARD, Matthew; DITTON, Theresa. At the Heart of It All: The Concept of Presence. Journal of Computer-Mediated Communication, Washington, DC, v. 3, n. 2, p. JCMC321, 1 set. 1997.

LE GROUX, Sylvain; MANZOLLI, Jonatas; VERSCHURE, Paul. Disembodied and Collaborative Musical Interaction in the Multimodal Brain Orchestra. In: CONFERENCE ON NEW INTERFACES FOR MUSICAL EXPRESSION (NIME), 2010, Sydney. Proceedings [...]. Sydney, Australia: NIME, 2010.

MANNING, Peter. Electronic and computer music. Oxford: Oxford University Press, 2013.

MANOVICH, Lev. The Language of New Media. Cambridge: MIT Press, 2002.

MURRAY, Janet H. Hamlet on the Holodeck: The Future of Narrative in Cyberspace. Cambridge, MA, USA: MIT Press, 1998.

OHGI, Hiromu et al. Transcending Boundaries: Unleashing Musical Expression through Immersive Sound Image and Reverberation Control System. In: AUDIO ENGINEERING SOCIETY CONVENTION, 155., 2023, New York. Proceedings [...]. New York: Audio Engineering Society, 2023.

ONDERDIJK, Kelsey E. et al. Concert experiences in virtual reality environments. Virtual Reality, London, v. 27, n. 3, p. 2383–2396, 2023.

PALMER, Caroline. Music Performance. Annual Review of Psychology, Palo Alto, v. 48, p. 115-138, 1997.

PFANZAGL-CARDONE, Edwin. DTS: X®. In: The art and science of 3D audio recording. Cham: Springer, 2023. p. 241–265.

RENNÓ-COSTA, César et al. Immersive Creativity: A Framework for Expressive and Creative Interaction in Virtual and Mixed Reality Inspired by Musical Thinking. Lausanne: Frontiers in Virtual Reality, 2026. p. 1-25.

RIDOUT, Sam. Freak out! At the acousmonium: François Bayle and the dynamics of the subject. French Cultural Studies, London, v. 36, n. 1, p. 79–94, 2025.

ROTHENBERG, David. Thousand-mile song: Whale music in a sea of sound. New York: Basic Books, 2008.

SALIMI, Mahsoo; PASQUIER, Philippe. Liminal Tones: Swarm Aesthetics and Materiality in Sound Art. In: TAN, Ying; SHI, Yuhui (orgs.). Cooperative Design, Visualization, and Engineering. Cham: Springer International Publishing, 2021. p. 182-191.

SCHAEFFER, Pierre. Étude aux chemins de fer. Cinq études de bruits, Studio d’Essai, Paris, v. 5, 1948.

SCHAEFFER, Pierre. Treatise on Musical Objects: An Essay across Disciplines. Berkeley: Univ of California Press, 2017.

SEASHORE, Carl E. Psychology of Music. New York, NY: McGraw-Hill, 1938.

SERGI, Gianluca. Knocking at the door of cinematic artifice: Dolby Atmos, challenges and opportunities. The New Soundtrack, Edinburgh, v. 3, n. 2, p. 107–121, 2013.

SLATER, Mel. Place illusion and plausibility can lead to realistic behaviour in immersive virtual environments. Philosophical Transactions of the Royal Society B: Biological Sciences, London, v. 364, n. 1535, p. 3549–3557, 12 dez. 2009.

STOROLLI, Wânia. The Forty Part Motet: A arquitetura sonora de Janet Cardiff. In: CONGRESSO DA ASSOCIAÇÃO NACIONAL DE PESQUISA E PÓS-GRADUAÇÃO EM MÚSICA (ANPPOM), 26., 2016, Belo Horizonte. Proceedings [...]. Belo Horizonte: ANPPOM, 2016.

TAYLOR, Benjamin. A history of the audience as a speaker array. In: INTERNATIONAL CONFERENCE ON NEW INTERFACES FOR MUSICAL EXPRESSION (NIME), 2017, Copenhagen. Proceedings [...]. Copenhagen: NIME, 2017.

THÉBERGE, Paul. Any sound you can imagine: Making music/consuming technology. Middletown: Wesleyan University Press, 1997.

THÉBERGE, Paul. The network studio: Historical and technological paths to a new ideal in music making. Social Studies of Science, London, v. 34, n. 5, p. 759–781, 2004.

THOMAS, James; HARDEN, Angela. Methods for the thematic synthesis of qualitative research in systematic reviews. BMC Medical Research Methodology, London, v. 8, n. 45, p. 1–10, 2008.

WANG, Ge. A history of programming and music. In: COLLINS, Nick; D'ESCRIVAN, Julio (ed.). The Cambridge companion to electronic music. 2. ed. Cambridge: Cambridge University Press, 2017. cap. 4. p. 55-71.

XAMBÓ, Anna; ROMA, Gerard. Performing audiences: Composition strategies for network music using mobile phones. In: INTERNATIONAL CONFERENCE ON NEW INTERFACES FOR MUSICAL EXPRESSION (NIME), 2020, Birmingham. Proceedings [...]. Birmingham: NIME, 2020.