Usłyszeć obraz, malować dźwiękiem

Jeszcze do niedawna o dźwiękach kolorów mówili jedynie poeci. Dzięki nowoczesnej technice możemy jednak usłyszeć obrazy Wassilego Kandinsky’ego. Przy okazji jesteśmy w stanie zrozumieć co czują osoby doświadczające synestezji.

Kandinski to jeden z najwybitniejszych przedstawicieli abstrakcjonizmu. Mówił o sobie, że słyszy kolory. „Kolor jest klawiaturą. Oko jest młoteczkiem, dusza to fortepian z dziesiątkami strun. Artysta swoją dłonią wprawia w ruch klawisze, a te zaś sprawiają, iż dusza ludzka zaczyna wibrować” – pisał rosyjski malarz i filozof w swoim traktacie „O duchowości w sztuce”. Wassily jest przykładem, że wielkie umysły rodzą się czasem w ciałach ludzi na pozór zwykłych. Wiódł bowiem początkowo życie poukładanego, moskiewskiego, prawnika. Coś jednak podpowiadało mu, że jego prawdziwym powołaniem są wędrówki na granicy rozumu i ezoteryki. Fascynowała go psychologia percepcji. Porzucił Moskwę i udał się do Monachium, by poświęcić swoje życie sztuce i studiowaniu tego, co nieuchwytne. Podczas słuchania utworów Antona Schoenberga odnalazł swój sposób posługiwania się pędzlem i kolorami. Postawił sobie cel: kreować obrazy, które nie interpretują fizycznej formy, ale są odbiciem emocji, wrażeń. Abstrakcjonizm wydawał się znakomitym narzędziem.

Sieć neuronowa dla twórców muzyki

Ponad sto lat później doskonałym narzędziem do interpretacji jego obrazu „Żółty – czerwony – niebieski” okazały się algorytmy i komputery należące do Google. W ten sposób powstał projekt na Google Arts & Culture – „Play a Kandinsky”. Razem z programistami za obrazy i dźwięki wzięli się artyści muzyki eksperymentalnej Antoine Bertin i NSDOS. „Użyliśmy narzędzia o nazwie Google Transformer, które jest czymś, co nazywa się „siecią neuronową”. W skrócie jest to algorytm, który sam nauczył się czym jest muzyka. Google „karmił” go niemal wszystkim, co istnieje, w tym klasyką, popem i jazzem, a algorytm został wytrenowany na tysiącach godzin muzyki. Wysłuchał tyle samo Chopina, Czajkowskiego czy Bon Jovi, co Beatlesów!” – wspomina Bertin. To był jednak dopiero początek, bo komputer pożywił się następnie archiwum muzycznym Kandinsky’ego, które zawierały muzykę na fortepian lub instrumenty dęte, takie jak flety czy oboje itp. Algorytm, który nazywa się „unsupervised”, używa tego do samodzielnego generowania melodii.

Co Kandinsky mógł słyszeć?

Na cyfrową grafikę nałożono dźwięki. Dzięki temu możemy doświadczyć tego, co Kandinsky mógł słyszeć, gdy w 1925 roku malował obraz „Żółty – czerwony – niebieski”. Oczywiście jest to tylko symulacja, ale oparta na bardzo solidnych podstawach.

Co to jest synestezja?

Podobnego mieszania się zmysłów doświadczają osoby z synestezją. To stan, w którym stymulacja jednego zmysłu prowadzi do automatycznych, mimowolnych doświadczeń w drugim z nich, powodując, że ludzie widzą kolor liczb, wąchają słowa, lub słyszą zapachy. Zdaniem dr Johana Lundstroma z Monell Chemical Senses Center taki stan istnieje u nas wszystkich, więc wszyscy możemy być w pewnym stopniu uznani za synestetyków. Jak to możliwe? Badacze potwierdzili eksperymentalnie, że aktywność kory wzrokowej jest włączona w przetwarzanie zapachów.

Współczesna technologia nie pozwala jeszcze na generowanie zapachów w domu każdego z nas. Na razie musimy się więc zadowolić podróżowaniem przez kolory i dźwięki obrazu Kandinsky’ego.