Soni Mei Bilder
- Shane Guffogg ist ein multimedialer abstrakter Künstler mit Synästhesie, was bedeutet, dass er „Farbe hört“.
- Guffogg arbeitete mit KI-Experten und Musikern zusammen, um Musik zu komponieren, die zu seinen Gemälden passte.
- Er glaubt, dass KI immer noch ein Werkzeug ist, das „der Aufsicht bedarf“, aber seinen kreativen Prozess bereichert hat.
Dies ist ein erzähltes Gespräch mit Shane Guffogg, einem amerikanischen Künstler, der Anfang des Monats „At the Still Point of the Turning World – Strangers of Time“ eine Ausstellung mit 21 Gemälden auf der Biennale von Venedig eröffnete. Dieses Gespräch wurde aus Gründen der Übersichtlichkeit gekürzt und bearbeitet.
Ich habe Synästhesie, das heißt, ich höre Farben.
Deshalb ist es wichtig, was ich beim Malen höre. Ich höre klassische indische Musik, gregorianische Gesänge und einige unbekannte Komponisten wie György Ligeti, Leo Ornstein und Terry Riley. Die Musik regt meine Kreativität an und ermöglicht es mir, ganz präsent und in diesem Moment zu sein.
Seit Jahren beschäftige ich mich damit, wie meine Bilder klingen könnten. Die KI-Revolution brachte mich dazu, nach Experten zu suchen, die mir helfen konnten. Mein erster Ansprechpartner war Radhika Dirks, eine Expertin für KI und Quantencomputing. Wir hatten ein paar Zoom-Sitzungen und sie sagte mir nach bestem Wissen und Gewissen, dass mir kein KI-Programm helfen könne. Stattdessen schlug sie mir vor, ein visuelles Alphabet zu erstellen, das die musikalischen Akkorde, die ich in meinem Kopf hörte, den Farben zuordnete.
Ich dachte, es könnte eine Möglichkeit sein, meine Kreativität voranzutreiben. Es baute auch auf der Idee eines unbewussten Alphabets auf, das meine Kunst während meiner gesamten Karriere geprägt hat.
Ich habe mich mit Musikern und KI-Experten getroffen, um ein visuelles Alphabet zu erstellen
Ich suchte zunächst nach Musikern für die Zusammenarbeit und traf Anthony Cardella, einen jungen, unglaublich begabten Pianisten in Los Angeles. Er ist Doktorand am USC und kannte und spielte sogar viele unbekannte Komponisten, die ich beim Malen höre.
Wir begannen mit der Zusammenarbeit. Wir setzten uns zusammen und begutachteten meine Bilder. Ich würde in Photoshop eine Farbe vergrößern, sie betrachten und die Musiknote sinnlich spüren. Dann würde ich es Anthony erzählen. Ich würde zum Beispiel sagen: Ich glaube, das ist die Farbe der Note B. Er würde das H anschlagen und ich würde sagen: „Nein, das ist es nicht. Versuchen Sie es mit einem B?“ Nach ein paar Versuchen hatte er plötzlich die richtigen Töne getroffen. Ich würde es wissen, weil die Farben für mich zu vibrieren beginnen würden. Gemeinsam haben wir Akkorde kartiert, die 40 Farben entsprechen.
Bald darauf lernte ich durch gemeinsame Kontakte einen KI-Forscher namens Jonah Lynch kennen. Er arbeitet an der Schnittstelle zwischen Digital Humanities und maschinellem Lernen. Ich lud ihn auf meine Ranch in Zentralkalifornien ein und erklärte ihm meine Arbeit und wie ich meine Bilder geschaffen habe. Wir hatten lange Diskussionen über Kunst, Poesie und die Entwicklung eines KI-Algorithmus, der mit den Akkorden gefüttert werden konnte.
Er entwickelte ein Programm, um meine Bilder zu „lesen“ und sie in Musik umzuwandeln. Ich gab ihm die Hauptfarben, die ich in jedem Bild verwendet habe, und die Akkorde, die ich höre, wenn ich diese Farben sehe. Jonah schaute sich Videos von mir beim Malen an und studierte die Bewegung von Meine Hände und schrieb eine Software, die Bilder der Gemälde abtastete, meinen Handbewegungen folgte und jede aus den Gemälden abgetastete Farbe dem entsprechenden Akkord zuordnete. Dann speiste er diese Akkordfolge in ein neuronales Netzwerk ein, das die meisten der letzten Akkorde gespeichert hat 500 Jahre Keyboardmusik brachten das Netzwerk dazu, von neuen Sequenzen zu „träumen“, die auf den Farbakkordsequenzen und der Geschichte der westlichen Musik basierten, um Notenseiten zu erstellen.
Als ich diese Musik hörte, trieb es mir Tränen in die Augen. Es war nur eine grobe Version dessen, was ich beim Malen gehört habe, aber ich dachte: „Da ist es.“
Ich brachte die Musik zurück zu Anthony, dem Pianisten. Erstaunlicherweise konnte ich auf die Noten zeigen und ihm sagen, welche Kompositionen ich beim Malen gehört hatte, und er sagte: „Ja, ich kann es an den Akkorden erkennen.“ Die indischen Ragas, die gregorianischen Gesänge, die Ligeti und Ornstein – sie alle waren da.
Dennoch bestand die Musik zu diesem Zeitpunkt größtenteils aus einer Reihe von Akkorden. Anthony sagte, wir könnten Melodien haben, wenn wir es ein wenig neu arrangieren würden.
KI ist immer noch ein Werkzeug, das der menschlichen Aufsicht bedarf
Shane Guffogg
Wir haben Musik für mehrere Gemälde komponiert und sie vor Publikum auf der ganzen Welt gespielt. Letzten Monat gaben wir ein Konzert im Forest Lawn Museum in Los Angeles, wo ich auch einige Gemälde in einer Ausstellung hatte. Während Anthony spielte, konnte das Publikum die Gemälde betrachten, was ein tiefgreifendes Erlebnis war. Ein paar Leute weinten.
Zum Auftakt meiner neuesten Ausstellung in der Eröffnungswoche der Biennale von Venedig spielte Anthony vor einem Live-Publikum die Weltpremiere einer von ihm komponierten Sonate, die von meinem Gemälde „Only Through Time Time is Conquered“ inspiriert war. Nach der Aufführung habe ich mit mehreren Leuten gesprochen und sie sagten, sie könnten sehen, wo sich die Farben und Noten auf dem Gemälde treffen. Es war etwas, was sie noch nie erlebt hatten.
Ich weiß, dass viele Menschen große Angst vor KI haben, und auch ich sehe sie als ein Werkzeug, das menschlicher Aufsicht bedarf. Es ist kein Mittel zum Zweck. Dennoch hat es mir viele Möglichkeiten eröffnet und meinen kreativen Prozess bereichert. Ich weiß nicht, ob ich die Musikalität in meinen Bildern ohne sie wirklich hätte freisetzen können.
Hören Sie die Sonate unten: