Può l’intelligenza artificiale supportare il processo creativo?

Anima è un sintetizzatore che funziona con algoritmi di Intelligenza Artificiale, progetto di Bureau Moeilijke Dingen presentato lo scorso ottobre durante la Dutch Design Week di Eindhoven. Abbiamo parlato con i designer, per capire meglio l’idea che li ha portati a creare questo strumento e quali le possibili applicazioni.

Immaginate un gruppo di ragazzi sulla trentina. Menti brillanti con un background accademico in design industriale e la passione per la tecnologia che fanno della loro passione il loro lavoro ma anche divertimento. Ecco, questo è l’ambiente che abbiamo trovato al Bureau Moeilijke Dingen, uno studio di design che si trova ad Eindhoven, nei Paesi Bassi.

Abbiamo avuto l’opportunità di conoscerli dopo la Dutch Design Week dello scorso ottobre, che ha visto diventare il capoluogo olandese la capitale internazionale del design: architettura, sostenibilità e soluzioni per lo smart living e…musica.

I ragazzi del BMD hanno presentato Anima, sintetizzatore ad Intelligenza Artificiale che da un input dato da un disco con una base pre-esistente (ed in base al genere musicale scelto) produce delle sequenze musicali attraverso la convergenza di una serie di algoritmi AI.

Beh, sicuramente non stiamo parlando di un chatgpt in accezione musicale, ma di uno strumento che dà curiosità e fa avvicinare la gente al mondo della musica in un modo completamente diverso: rendere l’utilizzo di uno strumento complesso quale un sintetizzatore aperto, accessibile a tutti, quindi “democratico”.

Chissà, magari uno strumento simile può supportare l’impasse creativa di un artista o produttore ma può essere anche un ottimo strumento per divertirsi “buttando giù” una jam session (e credeteci, l’abbiamo provato ed è davvero divertente!).

Ciao ragazzi, benvenuti su Parkett! E’ un piacere avervi come nostri ospiti oggi.

Grazie a voi per l’invito!

Parliamo prima un po’ di voi: qual è la storia e la mission del Bureau Moeilijke Dingen?

Siamo il Bureau Moeilijke Dingen, uno studio di design di Eindhoven. La traduzione del nome dall’olandese è “Studio delle cose difficili”. È un pò complesso da pronunciare, pertanto ci abbreviamo come BMD. I co-fondatori facevano parte di un “Comitato delle cose difficili” durante gli anni dell’università. Dopo l’università hanno trasformato il moniker nel nome dello studio.

La nostra mission è progettare soluzioni eleganti che spiccano per espressività ed autonomia con l’aiuto delle tecnologie più all’avanguardia. Nel corso degli anni ci siamo sviluppati come un team di progettisti con interesse verso l’ingegneria.

Ci riteniamo un gruppo flessibile di creativi, dato che lavoriamo in un ambiente diversificato (dall’off-shore al babycare) e per varie tipologie di clienti (da multinazionali ad artisti), spaziando tra design differenti con pezzi di ingegneria (per esempio la creazione di PCB per piattaforme digitali).

Oltre che lavorare per clienti, portiamo avanti molti progetti interni, dove il BMD è un campo da gioco per la creativitità.

Qual è il vostro rapporto con la musica e come la musica riempie le vostre vite private e professionali?

Qui al BMD, condividiamo la passione per la musica, sia ascoltandola che andando insieme ai concerti o creando la nostra musica. Per soddisfare i nostri bisogni sonori, abbiamo creato una sala prove nel nostro basement per poter improvvisare jam sessions. 

Il nostro interesse nella musica ci porta anche a sviluppare dei progetti sul suono e la produzione musicale.

Abbiamo avuto l’opportunità di visitare il vostro spazio espositivo lo scorso ottobre, durante la Dutch Design Week, quando avete presentato Anima. Ci potete spiegare qual è l’idea che ha fatto nascere questo progetto e come funziona questo strumento?

Abbiamo finalizzato di recente il progetto e lo sviluppo di un prototipo di sintetizzatore chiamato SYNC ed utilizzato da un artista audiovisivo. Il nostro obbiettivo era quello di creare un sintetizzatore sfruttando l’intelligenza artificiale che può imparare e adattarsi allo stile dell’artista, generando variazioni che l’artista può includere nella sua musica.

Il design di SYNC ci ha portato ad investigare come l’intelligenza artificiale possa migliorare il processo di composizione ed arrangiamento musicale. Abbiamo notato che il ruolo dell’IA era più di supporto, con l’artista totalmente in controllo incorporando il suo input.

Durante la Dutch Design Week, abbiamo pensato di creare un sintetizzatore che è un partecipante attivo del processo creativo. La nostra soluzione è stata quella di creare un’installazione interattiva che stimolasse una jam session rimpiazzando i musicisti con un algoritmo. Attraverso l’interazione con la nostra installazione uno può sperimentare liberamente diverse idee musicali come se stesse suonando con un gruppo.

Il sintetizzatore funge dunque come un’installazione interattiva che funziona come un sequencer ma con un tocco unico. Questa non solo permette di fare cambi, ma ti supporta come se fosse un musicista, capace di fare cambi e sperimentare continuamente con le idee musicali. Può suonare come un cliché, l’enfasi è sul processo creativo invece che nel prodotto finito.

Quindi, come pensate che questo strumento possa supportare il processo creativo e di produzione musicale? Chi potrebbe fruire al meglio questo strumento?

Haha, passiamo alle domande serie, eh? Parlando in generale dell’intelligenza artificiale, questo progetto ci ha rivelato l’opportunità di pensare fuori dagli schemi come noi ci interfacciamo con la musica.

Durante la Dutch Design Week, la maggior parte dei visitatori non erano né designer né musicisti. Per essere sicuri che la nostra installazione fosse fruibile a tutti, abbiamo pensato ad un design non-musician friendly: invece di usare gli input tradizionali associati con i classici strumenti quali tastiere per modificare la melodia, l’installazione usa quattro pulsanti per modificare la melodia per battuta.

Questi tasti sono associati con una differente direzione tonale (maggiore, minore) permettendo a tutti di riflettere sulla composizione e decidere quali modifiche apportare. L’algoritmo genera così una nuova melodia in linea con l’intento dell’artista.

Data la semplicità dell’interfaccia, l’installazione è principalmente rivolta verso coloro che non suonano uno strumento. Sfruttando le capacità dell’IA, cerchiamo di dar loro l’esperienza unica di giocare con la musica. Come detto in precedenza, il ruolo della musica nelle nostre vite è fondamentale. Speriamo che con questo progetto possiamo instillare l’interesse verso la musica e ispirare la gente a suonare uno strumento. Il design non è fatto per la produzione, quanto per un atto di suonare.

Durante l’esposizione, uno dei vostri colleghi ha mostrato il funzionamento del sintetizzatore, simulando una jam session jazz e funk con un umano. Pensate che ci sia la possibilità di fare una jam session anche con una base elettronica o techno?

Sicuramente! Per iniziare la jam session, l’artista posiziona un disco sul lettore astratto di Anima, che serve come mezzo di comunicazione per l’IA per capire quale genere verrà usato nella sessione (funk, jazz, ecc.). Le opzioni disponibili includono generi come l’EDM e techno, ma non abbiamo avuto l’opportunità di dimostrare l’uso di questi generi durante l’esposizione. Pensa che l’ultima versione supporta anche il drum and bass.

Ci sono delle opportunità molto interessanti per i produttori di musica elettronica. Molti di loro tendono a lavorare da solisti (scusate per la generalizzazione). Questo limiterebbe le loro possibilità di improvvisare durante i loro live. Riteniamo che incorporando l’IA nelle loro performances e processi, possa permettergli di esplorare nuove idee musicali.

L’Intelligenza Artificiale sta diventando sempre di più parte integrante della nostra quotidianità. Cos’è per voi l’AI? Pensate possa essere di grande supporto o ritenete che ci siano dei rischi connessi?

Per noi l’Intelligenza Artificiale è uno strumento col quale lavorare più che un rimpiazzo della creatività umana. Attualmente utilizziamo l’IA negli stadi iniziali dei progetti per generare ed esplorare velocemente idee diverse.

Per esempio, usando prompt e Dall-e (sono modelli di deep learning sviluppati da Open-AI per generare immagini digitali da prompts, ovvero descrizioni in linguaggio naturale, ndr) possiamo esplorare diverse direzioni di User Interface. Siccome l’IA evolve in continuazione, noi cerchiamo di anticipare facendola diventare parte integrante del nostro processo creativo.

È normale essere un po’ scettici dell’utilizzo di algoritmi nel mondo creativo, ma riteniamo sia più produttivo orientarci sulle opportunità che gli svantaggi. Storicamente, le nuove tecnologie hanno trasformato il mondo della musica, incrementando le possibilità ed aprendo nuove opportunità di espressione.

Al maturare della tecnologia legata all’AI, questa può portare a dei cambiamenti per il processo creativo dei musicisti. Può cambiare i paradigmi delle performance live verso l’aspetto umano della musica o portarci a ripensare i confini di cosa la musica può essere.

In aggiunta, può essere adottato per introdurre piccole variazioni alle produzioni in studio, velocizzando il processo di registrazione. E’ comunque responsabilità dei creativi o musicisti di esplorare come possono includere questa tecnologia nella loro arte.

Avete attualmente delle collaborazioni con artisti tali da applicare l’utilizzo del sintetizzatore in uno scenario reale?

Il progetto SYNC è attualmente utilizzato da un artista audiovisuale nel suo studio. Anima è un progetto interno e non abbiamo nessun collaboratore al momento.

Avete qualche progetto collegato alla musica al quale state lavorando?

Lavoriamo in continuazione con Anima che sarà disponibile per una prova all’Highlight Festival 2023 di Delft. Il nostro scopo è di portare l’installazione in vari festival e musei. Se poteste consigliarci qualche evento dove l’installazione potrebbe essere d’interesse, fateci sapere!

Stiamo anche lavorando su un tool open-source per integrare più agevolmente l’audio nello sviluppo web. Speriamo di riuscire presto a condividere altri dettagli. Abbiamo pianificato il lancio per il secondo trimestre del 2023.

Grazie per essere stati in nostra compagnia oggi e buona fortuna con il vostro progetto!

Grazie a voi, è stato divertente per noi!

ENGLISH VERSION

Imagine a group of guys in their thirties. Brilliant minds with an academic background in industrial design and a passion for technology who make their passion their work but also their entertainment. Well, this is the environment we found at the Bureau Moeilijke Dingen, a design studio in Eindhoven, in the Netherlands.

We had the chance to get in touch with them after the Dutch Design Week last October, when Eindhoven became the international capital of design: architecture, sustainability and solutions for smart living and…music.

The BMD presented Anima, an Artificial Intelligence synthesizer that from an input given by a disc with a pre-existing base (and based on the chosen musical genre) produces musical sequences through the convergence of a series of AI algorithms.

Well, we’re certainly not talking about a chatgpt in a musical sense, but about an instrument that arouses curiosity and brings people closer to the world of music in a completely different way: make the use of a complex tool such as a synthesizer open, accessible to all, therefore “democratic”.

Who knows, maybe a similar tool can support the creative impasse of an artist or producer, but it can also be a great tool for having fun by dropping a jam session (and believe us, we tried it and it’s really fun!).

Hi guys, welcome to Parkett! Is a pleasure to host you today.

Thank you for having us!

Let’s talk a bit about the Bureau Moeilijke Dingen: what’s its story and what is your mission?

We are Bureau Moeilijke Dingen, a design studio located in Eindhoven, the Netherlands. Our studio name is Dutch for “Bureau of Difficult Things”. It is quite the mouthful, so we tend to call ourselves BMD. The co-founders were part of a “Difficult Things Committee” during their studies. After graduating they transformed the moniker to the company name.

Our mission is to design elegant solutions that spark self-expression and autonomy with the help of the newest technologies. Over the years we have grown to a team of ten designers with a keen interest in engineering.

The high variability off sectors we tend to work in (from off-shore to baby healthcare), for various types of clients (from multinationals to artists), flexing different design and engineering chops (from making PCBs to make a digital platform) makes us a team of highly flexible creatives.
Besides working for clients, we do a lot of internal projects, where BMD takes up the role of a play garden for creative experimentation.

What is your relationship with music? How and how much music are fulfilling your life and job so far?

At BMD, we all share a passion for music, whether it be through listening and attending concerts together, or creating our own music. To satisfy our sonic needs, we have established a band rehearsal room in our basement for impromptu jam sessions. Our interest in music also leads too many internal projects that focus on audio and music production.

I had the chance to visit your booth last October during the latest Dutch Design Week, when you presented Anima. Could you please explain us what is the idea behind this project and how does the AI synth work?

We have recently completed the design and development of a prototype synthesizer, named SYNC, for an audiovisual artist. The objective was to create an AI-driven synthesizer that could learn and adapt to the artist’s unique style, thereby generating sensible variations that the artist could incorporate into their music. The design of SYNC aimed to investigate how AI can enhance the process of composing and arranging music. In retrospect, we noticed that the AI’s role was more as an assistive tool, with the artist remaining in control of when to incorporate its input.

During the Dutch Design Week, we aimed to create a synthesizer that is an equal participant in the creative process. Our solution was to build an interactive installation that simulates a musical jam session substituting fellow musicians with an algorithm. Through interaction with the installation one can freely experiment with various musical ideas as if they were jamming with a band.

Our creation is an interactive installation that functions like a sequencer, but with a unique twist. The installation not only allows you to make changes, but it also serves as a musician in its own right, able to overwrite your changes and continue to experiment with musical ideas. As cliché as it may sound, the emphasis is on the creative process, rather than the final product.

In that sense, how do you foresee that Anima will support the music production journey and, moreover, to whom this instrument could be addressed?

Haha, asking the real questions, aren’t we? Stepping around a generalized discussion about AI; what this project revealed is the opportunity to rethink how we interface with music.

During the Dutch Design Week, the majority of visitors are not necessarily designers or musicians. To ensure that our interactive installation was accessible to all visitors, we designed it to be easy to use for non-musicians. Instead of using traditional input modalities associated with musical instruments, such as a keyboard, to modify  the melody, the installation uses four buttons to change the melody per measure.

These buttons are each associated with a different tonal direction (e.g. moving upwards, moving downwards), allowing anyone to reflect on the current composition and decide what changes they would like to make. The AI then generates a new melody in line with the user’s intention.

Given the low threshold of the installation’s interface, it is primarily aimed at people who do not play an instrument. By leveraging the capabilities of AI, we aim to give them the unique experience of “playing with music”. As previously mentioned, we highly value the role of music in our lives. We hope that experiencing the installation sparks an interest in music and inspire people to take up an instrument themselves. Thus, this design it is not tailored towards production, but rather the act of playing.

During the presentation at DDW, your colleagues have shown how the AI synth could set up a jam session with the artist using a funk or jazz. Do you think that there is a chance to use it for techno or electronic music production?

Yes, for sure. To begin a jam session, visitors place a record-like disk on the installation’s abstracted record player, which serves as a communication tool for the AI to understand the desired genre for the jam session (e.g. funk, jazz, etc.). The available options did include genres such as EDM and techno, but we may have missed the opportunity to demonstrate it during the busy Dutch Design Week.

In fact, the latest version of the installation even supports drum and bass. There are some interesting opportunities for electronic music producers. A significant amount of them whom tend to work solo (apologies for the generalization). This limits their ability to full-on jam or extensively improvise during their live sets. We believe that incorporating AI into their performances and processes allow them to more easily explore musical ideas.

Artificial Intelligence is entering more and more in our daily life. What is AI for you? Do you consider it as a support on your daily actions or you foresee some risks?

We consider AI as a tool that one works ‘with’, rather than a replacement for human creativity. We currently utilize AI in the early stages of projects to quickly generate and explore various ideas. For example, using text prompts and Dall-e, we can explore different UI design directions. As AI technology continues to evolve, we anticipate it becoming further integrated into our creative process.

It’s easy to be skeptical about the use of algorithms in the creative field, but we believe it’s more productive to focus on the opportunities it presents. Throughout history, new technologies have transformed the field of music, expanding possibilities and opening up new avenues for expression. As AI technology matures, it may bring about new and exciting changes to the creative process for musicians. It could shift the focus of live performance towards the human aspect of music or force us to rethink the boundaries of what music can be.

Additionally, it could be adopted to introduce small variations to compositions in recordings, potentially speeding up the recording process. Ultimately, it is up to the creatives/musicians to explore how they can incorporate this technology into their craft.

Do you have some current collaboration with artists on developing or applying the AI synth in a real-life scenario?

The aforementioned SYNC project is currently used by audiovisual artist in his studio. The DDW synth is an internal project. Currently we do not have a collaborator yet.

What are the upcoming projects (music related) that the Bureau has in the pipeline?

We are continuously working on the installation showcased at DDW, and it will be on display and available for play at the Highlight Festival 2023 in Delft, Netherlands. Our goal is to take the installation on tour to various festivals and museums.

If you, or your readers, are aware of any upcoming events or venues where the installation would be a good fit, please let us know. Other than that, we are working on open-source tooling to more easily integrate audio into web development. We hope to share more information on this soon. We expect to launch this in Q2.

Thanks for being with us today and good luck with your project!

It was a blast, thank you for having us.