Imagem sonora imersiva com arranjos circulares de transdutores espaçados em segmentos iguais

Jose Augusto Mannis; Igor Abdo Aguilar; Amanda Chang Rodrigues

doi:10.33871/vortex.2024.12.9752

Autores/as

Jose Augusto Mannis Universidade Estadual de Campinas https://orcid.org/0000-0002-9484-5674
Igor Abdo Aguilar Universidade Estadual de Campinas
Amanda Chang Rodrigues Universidade Estadual de Campinas https://orcid.org/0009-0004-0253-1478

DOI:

https://doi.org/10.33871/vortex.2024.12.9752

Palabras clave:

Audio inmersivo, Espacialización sonora, Paisaje sonoro, Grabación de sonido, Sonología

Resumen

Este artículo presenta el desarrollo de la investigación sobre grabación y reproducción de audio inmersivo multicanal que se realizó entre 2016 y 2020 en la Universidad Estatal de Campinas (Brasil), que resultó en arreglos circulares de transductores (micrófonos y altavoces) espaciados en segmentos iguales. La misma tecnología de captura de sonido multicanal inmersivo ya había sido formulada en 1991 por el ingeniero de sonido Michael Williams. Por caminos diferentes, los dos estudios llegaron a un resultado común. Reconociendo el mérito del hallazgo de Williams, este artículo detalla la trayectoria de la investigación brasileña, con comentarios complementarios ilustrando la potencia y riqueza de los fenómenos implicados en la resolución del problema. También se presenta el desarrollo de una herramienta de simulación acústica y auralización con aplicaciones en artes, comunicación, bioacústica, ecología y vigilancia medioambiental. Por último, se presentan composiciones musicales en audio espacial, destacando las facilidades expresivas de los recursos desarrollados.

Descargas

Los datos de descargas todavía no están disponibles.

Biografía del autor/a

Jose Augusto Mannis, Universidade Estadual de Campinas

Jose Augusto Mannis: Compositor, intérprete electroacústico, productor de radio, investigador en documentación musical, acústica e ingeniería de sonido. Es profesor en el Departamento de Música/IA/Unicamp. Sus composiciones abarcan música instrumental, música electroacústica, bandas sonoras para vídeo, cine, teatro y arte radiofónico. Ha trabajado con Ensemble de L'Itinéraire (París), Institut National de l'Audiovisuel - INA/GRM - Groupe de Recherches Musicales, La Grande Fabrique (Rouen), Espace Musical (Puce Muse) (París), Núcleo Hespérides-Música das Américas (São Paulo). Desde 2010 desarrolla proyectos de arte radiofónico y ecología sonora con Janete El Haouli. Actualmente coordina el Laboratorio de Acústica y Artes Sonoras - LASom/IA/Unicamp, y el Grupo de Estudios de Sonido y Procesos Creativos en el Instituto de Estudios Avanzados-IdEA/Unicamp y CNPq.

Igor Abdo Aguilar, Universidade Estadual de Campinas

Compositor, intérprete electroacústico, diseñador de sonido para juegos digitales, graduado en Música por la Unicamp. Actualmente realiza su maestría en el Programa de Posgrado en Música/IA/Unicamp, trabajando en investigación en sonología, acústica e ingeniería de sonido en el Laboratorio de Acústica y Artes Sonoras - LASom/IA/Unicamp. Sus composiciones abarcan la música instrumental, la electroacústica y las bandas sonoras para juegos digitales. Es miembro del Grupo de Estudios Sonoros y Procesos Creativos del Instituto de Estudios Avanzados - IdEA/Unicamp y del CNPq.

Amanda Chang Rodrigues, Universidade Estadual de Campinas

[Amanda] Chang Rodrigues: Compositora, intérprete de electrónica en vivo y sintetista. Es licenciada en Comunicación por la Universidade Salgado de Oliveira y tiene un MBA en Gestión Empresarial por la UFRJ. Especialista en síntesis sonora aplicada a sintetizadores modulares. Actualmente cursa un máster en la Unicamp bajo la supervisión de José Augusto Mannis, con una investigación centrada en narrativa sonora y movimiento espacial. Reconocida internacionalmente, se presentó como artista en Rock in Rio y dirigió talleres sobre electrónica en vivo en el Amsterdam Dance Event (ADE). También colabora con Echio, una plataforma dedicada a mentorías artísticas.

Citas

A BRIEF history of surround sound. KEF. Disponível em: <https://us.kef.com/blogs/news/a-brief-history-of-surround-sound?srsltid=AfmBOooYRpY4tM6UwMiRjzlm86HVnAzyk91h5FbP3CpBeJy03t4MbBVx>. Acesso em: 18 ago. 2024.

AES PARIS 2016 presenter or author: Michael Williams. 140th International AES Convention. 2016. Disponível em: <https://www.aes.org/events/140/presenters/?ID=4376>. Acesso em: 22 set. 2024.

ATAL, Bishnu S.; HILL, Murray; SCHROEDER, Manfred R. Apparent sound source translator. USA United States Patent Office, 1962. Disponível em: <https://patents.google.com/patent/US3236949A/en>. Acesso em: 25 ago. 2024.

BALLOU, Glen. M. Handbook for sound engineers: the new audio cyclopedia. 2nd ed. Carmel - Indiana (USA): SAMS, 1991.

BASKIND, Alexis et al. Binaural and transaural spatialization techniques in multichannel 5.1 production. In: TONMEISTERTAGUNG – VDT INTERNATIONAL CONVENTION, 27, 2012, Cologne. Anais. Cologne: Verband Deutscher Tonmeister e.V., 2012. p. 1-10. Disponível em: <https://hal.science/hal-01247648/document>. Acesso em: 25 ago. 2024.

BERKHOUT, Augustinus J. A holographic approach to acoustic control. Journal of the Audio Engineering Society, v. 36, n. 12, p. 977-995, 1988. Disponível em: https://secure.aes.org/forum/pubs/journal/?elib=5117. Acesso em: 5 nov. 2024.

BERWICK, Nathan; LEE, Hyunkook. Spatial unmasking effect on speech reception threshold in the median plane. Applied Sciences. v. 10, n. 15, article 5257, 2020. Disponível em: https://www.researchgate.net/publication/343324613_Spatial_Unmasking_Effect_on_Speech_Reception_Threshold_in_the_Median_Plane/references#fullTextFileContent. Acesso em: 28 out. 2024.

BLAUERT, Jens. Spatial hearing: the psychophysics of human sound localization. 2nd ed. Cambridge, MA: MIT Press, 1999.

BLUMLEIN, Alan Dower. Improvements in and relating to sound-transmission, sound-recording and sound-reproducing systems. United Kingdom Intellectual Property Office, 14 dec. 1931. Disponível em: <https://patents.google.com/patent/GB394325A/en>. Acesso em: 26 ago. 2024.

BRIXEN, Eddy B. Stereo recording techniques and setups. [2024]. Disponível em: <https://www.dpamicrophones.com/mic-university/stereo-recording-techniques-and-setups>. Acesso em: 24 ago. 2024.

CHANG, Ed. Gesang der jünglinge. Stockhausen: sounds in space, n. 8. Jan. 2015. Disponível em: <https://stockhausenspace.blogspot.com/2015/01/opus-8-gesang-der-junglinge.html>. Acesso em: 26 ago. 2024.

CONDAMINES, Roland. Stéreophonie: cours de relief sonore théorique et pratique. Paris: Masson et CNET-ENST, 1978.

DICKREITER, Michael. Tonmeister technology: recording environments, sound sources and microphone techniques. New York: Gemmer Enterprises Inc., 1989.

DUMMY head. Neumann.Berlin. 2024. Disponível em: <https://www.neumann.com/en-us/products/microphones/ku-100>. Acesso em: 5 nov. 2024.

FARIA, Régis Rossi Alves. Auralização em ambientes audiovisuais imersivos. 2005. Tese (Doutorado em Engenharia) - Universidade de São Paulo, São Paulo, 2005.

FELLOT, Dominique. Précis d’électro-acoustique: prise de son et reproduction. Les Ulis (France): EDP Sciences, 2007.

HAAS, Helmut. The influence of a single echo on the audibility of speech. Journal of the Audio Engineering Society, v. 20, n. 2, p. 146-159, 1972. Disponível em: <https://www.freestompboxes.org/viewtopic.php?t=31792>. Acesso em: 16 set. 2024.

INTRODUCTION to Ambisonics – 360 degree audio. PathPartner Technology. Apr. 4, 2017. Disponível em: <https://medium.com/@PathPartner/introduction-to-ambisonics-360-degree-audio-d92c5fe20a97>. Acesso em: 5 nov. 2024.

ITU - INTERNATIONAL TELECOMMUNICATION UNION. Recommendation ITU-R BS.775-4: multichannel stereophonic sound system with and without accompanying picture. Geneva, 2022. Disponível em: <https://www.itu.int/dms_pubrec/itu-r/rec/bs/R-REC-BS.775-4-202212-I!!PDF-E.pdf>. Acesso em: 23 ago. 2024.

JAHANA, C. Junu; SINITH, M. S.; LALU, P. P. Direction of arrival estimation using microphone array. In: INTERNATIONAL CONFERENCE ON MICROELECTRONICS, SIGNALS AND SYSTEMS - ICMSS, 4, 2021, Kollan (India). Anais. New York: IEEE, 2021. p. 1-6. Disponível em: <https://ieeexplore.ieee.org/document/9673617>. Acesso em: 10 nov. 2024.

KATZ, Brian F. G.; POIRIER-QUINOT, David; LYZWA, Jean-Marc. La Vierge 2020: reconstructing a virtual concert performance through historic auralisation of Notre-Dame Cathedral. In: INTERNATIONAL CONFERENCE 3D AUDIO (I3DA), 2021, Bologna. Anais. New York: IEEE, 2021. p. 1-10. Disponível em: <https://hal.science/hal-03371681/file/I3DA_2021_paper_2%20(2).pdf>. Acesso em: 10 nov. 2024.

KUTTRUFF, Heinrich. Acoustics: an introduction. London: Taylor & Francis, 2007.

LEE, Hyunkook. Capturing 360◦ audio using an equal segment microphone array (ESMA). Journal of the Audio Engineering Society, v. 67, n. 1/2, p. 13-26, jan./feb. 2019. Disponível em: <https://aes2.org/publications/elibrary-page/?id=19883>. Acesso em: 5 nov. 2024.

LÓPEZ, Jose J. WFS fundamentals. 2007. Disponível em: <https://personales.upv.es/jjlopez/WFS.html>. Acesso em: 5 nov. 2024.

LYZWA, Jean-Marc. Réflexion sur la prise de son et la post-production en 5.1. Paris: Service audiovisuel-CNSMDP, 2006. Disponível em: <https://www.google.com/url?sa=t&source=web&rct=j&opi=89978449&url=https://www.conservatoiredeparis.fr/sites/default/files/Recherche-Editions/CNSMDP_post-prod-multicanal5-1.pdf&ved=2ahUKEwiS0oiylrmIAxVArZUCHQNtFNcQFnoECBIQAQ&usg=AOvVaw2mxCmrTOsx_-DTHDXRMhhu>. Acesso em: 15 set. 2024.

LYZWA, Jean-Marc. Prise de son et restitution multicanal en 5.1. Problématique d’une œuvre spatialisée: Répons - Pierre Boulez. Paris: Conservatoire National Supérieur de Musique et de Danse de Paris, 2003. Disponível em: <https://www.google.com/url?sa=t&source=web&rct=j&opi=89978449&url=https://www.conservatoiredeparis.fr/sites/default/files/Recherche-Editions/CNSMDP_repons-boulez.pdf&ved=2ahUKEwiAjvbNntSJAxUnq5UCHUnkLfEQFnoECBQQAQ&usg=AOvVaw2sUdddouqpDYblETMRCOBQ>. Acesso em: 15 set. 2024.

MANNIS, José Augusto. Sistema de gravação e reprodução de áudio multicanal com imagem sonora horizontal em 360o aplicado a música, artes sonoras e bioacústica. Brasília: CNPq, 2020. Disponível em: <https://drive.google.com/file/d/1UpJJaROH1_HQZPh67dQaJAQP7ZOhnXiN/view?usp=drive_link>. Acesso em: 26 ago. 2024.

MANNIS, José Augusto; EL HAOULI, Janete. Paisagem sonora do Parque Ecológico de Gunma, gravação de som. Santa Bárbara, PA: out. 2019.

MASIERO, Bruno; FELS, Janina; VORLÄNDER, Michael. Review of the crosstalk cancellation filter technique. In: INTERNATIONAL CONFERENCE ON SPATIAL AUDIO - ICSA, 2011, Detmold (Germany). Anais. Köln: Verband Deutscher Tonmeister (VDT), 2011. p. 1-5. Disponível em: <https://www2.users.ak.tu-berlin.de/akgroup/ak_pub/seacen/2011/Masiero_2011_P2_Review_of_the_crosstalk_cancellation_filter_technique.pdf>. Acesso em: 10 nov. 2024.

MESSONNIER, Jean-Christophe; LYZWA, Jean-Marc; LING, Alexis. Méthodes de prise de son multicanal: objets. Cahier Louis Lumière, Saint-Denis, n. 15, p. 114-125, sep. 2022. Disponível em: <https://www.ens-louis-lumiere.fr/la-recherche/publications-cahiers-louis-lumiere/74-2/>. Acesso em: 25 ago. 2024.

MEYER, Jürgen. Akustik und musikalishe aufführungspraxis. Frankfurt: Verlag das

Musikinstrument, 1980.

MICROPHONES techniques for recording. Shure. 2014. Disponível em: <https://www.shure.com/damfiles/default/global/documents/publications/en/performance-production/microphone_techniques_for_recording_english.pdf-bb0469316afdb6118691d2f3f5e3ff01.pdf>. Acesso em: 24 ago. 2024.

NEUMANN. Production expert: Neumann app to check SRA - Recording Angle Calculator. Neumann, 8 mar. 2018. Disponível em: <https://apps.apple.com/us/app/recording-tools/id576702914>. Acesso em: 10 nov. 2024.

NICOLAS Party: talking heads – immersive sound installation. University Oxford. Feb. 2018. Disponível em: <https://empres.music.ox.ac.uk/nicloas-party-talking-heads-immersive-sound-installation>. Acesso em: 16 set. 2024.

PAUL, Stephan. Binaural recording technology: a historical review and possible future developments. Acta Acustica United with Acustica, v. 95, n. 5, p. 767-788, set. 2009. Disponível em: <https://www.researchgate.net/publication/233582452_Binaural_Recording_Technology_A_Historical_Review_and_Possible_Future_Developments>. Acesso em: 10 nov. 2024.

PÉRIAUX, Bergame; OHL, Jean-Luc; THÉVENOT, Patrick. Le son multicanal: de la production à la diffusion du son 5.1, 3D et binaural. Paris: Dunod, 2015.

PICKETT, David. Pantophonic recording. Dec. 3, 2018. Disponível em: <https://www.fugato.com/pickett/pantoph.shtml>. Acesso em: 5 nov. 2024.

PORRES, Alexandre Torres. ELSE - EL locus solus' externals for Pure Data. 2024. Disponível em: <https://github.com/porres/pd-else>. Acesso em: 10 abr. 2024.

PUCKETTE, Miller. Pure Data. Los Angeles Pure Data Community. 1996. Disponível em: <https://puredata.info>. Acesso em: 15 set. 2024.

ROSSING, Thomas D. (ed.). Springer handbook of acoustics. 2nd ed. Berlin: Springer, 2014.

SBA – SOCIEDADE BRASILEIRA DE ANATOMIA. Terminologia anatômica. São Paulo : Ed. Manole, 2001.

SCHOEN, Timothy. Plugdata: a visual programming environment for audio experimentation, prototyping and education. Disponível em: <https://plugdata.org/>. Acesso em: 15 set. 2024.

SHANKLEMAN, Marin. Early stereo recordings restored. BBC News. 2008. Disponível em: <http://news.bbc.co.uk/2/hi/technology/7537782.stm>. Acesso em: 26 ago. 2024.

SLOTTE, Benedict. Surround recording using coincident and spaced microphones combined with 2-to-3 upmixing. In: JOINT BALTIC-NORDIC ACOUSTICS MEETING, 2004, Mariehamn, Åland (Finland) Anais. Espoo (Finland): Acoustical Society of Finland, 2004. Disponível em: <http://legacy.spa.aalto.fi/bnam04/webprosari/papers/o48.pdf>. Acesso em: 5 jun. 2024.

SMALLEY, Denis. Space-form and the acousmatic image. Organised Sound, v. 12, n. 1, p. 35-58, Apr. 2007. Disponível em: <https://beyondlistening.myblog.arts.ac.uk/files/2023/03/Space-form-and-the-acousmatic-image.pdf>. Acesso em: 10 nov. 2024

SOUNDSCAPE design. Hydrock, 2024. Disponível em: <https://www.hydrock.com/what-we-do/soundscape-design>. Acesso em: 15 set. 2024.

SOUZA, Fliblio Ferreira de. A percepção e a espacialização da música eletroacústica no cinema, em surround 5.1: um estudo de caso. 2023. Tese (Doutorado em Música) - Universidade Estadual de Campinas, Campinas, 2023.

THE TELEPHONE at the Paris Opera. Scientific American, v. 45, n. 27, p. 422-423, 1881. Disponível em: <https://babel.hathitrust.org/cgi/pt?id=mdp.39015024538491&seq=5>. Acesso em: 10 nov. 2024.

TORICK, Emil. Highlights in the history of multichannel sound. Journal of the Audio Engineering Society, v. 46, n. 1/2, p. 27-31, 1 feb. 1998. Disponível em: https://issuu.com/disclord/docs/multichannel-history-torrick/1. Acesso em: 10 nov. 2024.

USP-LSI - UNIVERSIDADE DE SÃO PAULO - LABORATÓRIO DE SISTEMAS INTEGRÁVEIS. O projeto AUDIENCE. Disponível em: <https://www.lsi.usp.br/interativos/neac/audience/audience.html#0>. Acesso em: 10 set. 2024.

VIELLIARD, Jacques. Cantos de aves do Brasil. Campinas: SPSociedade Brasileira de Ornitologia/ Unicamp , 1995. 1 CD.

WHAT is Ambisonics?. University Oxford. [2024]. Disponível em: <https://intothesoundfield.music.ox.ac.uk/what-is-ambisonics>. Acesso em: 20 ago. 2024.

WILLIAMS, Michael. Unified theory of microphone systems for stereophonic sound recording. AES Preprint 2466. 1987. 41 p. Disponível em: <https://www.williamsmmad.com/Papers/Papers.html>. Acesso em: 13 set. 2024.

WILLIAMS, Michael. Microphone arrays for natural multiphony. AES Preprint 3157. 1991. 13 p. 1991. Disponível em: <https://www.williamsmmad.com/Papers/Papers.html>. Acesso em: 13 set. 2024.

WILLIAMS, Michael. Multichannel sound recording practice using microphone arrays. In: AES INTERNATIONAL CONFERENCE ON MULTICHANNEL AUDIO, 24, 2003, Banff (Canada). New York: AES, 2003. 16 p. Disponível em: <https://aes2.org/publications/elibrary-page/?id=12287>. Acesso em: 2 nov. 2024.

ZUMER, Javier. Figuring out: ambisonics. Javier Zumer Sound Design. Aug. 30, 2021. Disponível em: <https://javierzumer.com/blog/2021/8/30/figuring-out-ambisonics>. Acesso em: 5 nov. 2024.