Seit 00:05 Uhr Feature
 
  • facebook
  •  
  • twitter
  •  
  • instagram
  •  
  • spotify
 
Seit 00:05 Uhr Feature
 
 

Elektronische Welten / Archiv | Beitrag vom 19.07.2011

Der automatische Soundtrack-Generator

Wie das Programm "Picasso" für Fotos, Filme und Texte die passende Musik auswählt

Von Jan Rähm

Nicht jede Musik passt zu jedem Bild. Picasso soll helfen. (Stock.XCHNG - Admane Samir)
Nicht jede Musik passt zu jedem Bild. Picasso soll helfen. (Stock.XCHNG - Admane Samir)

Welche Musik passt zu den im Urlaub aufgenommenen Fotos und Videos? Wie kann ich eigene Texte zu Präsentationszwecken mit der richtigen Musik kombinieren? Hilfestellungen wollen zwei Forscher aus dem Saarland. Sie haben ein Programm entwickelt, das den richtigen Soundtrack auswählt.

"Now I'm playing a slideshow of images with nice beach images, nice houses on the images."

Aleksandar Stupar sitzt vor seinem Notebook. Auf dem Bildschirm ist eine Webseite mit sechs Videos zu sehen. Eins der Videos hat der serbische Doktorand aus Bosnien gerade gestartet.

"And in the background.. Im Hintergrund hören Sie den zufällig ausgewählten Song. Der passt nicht wirklich zu den Bildern. Ich stoppe die Bildershow und spiele unsere Show mit den gleichen Bildern, aber mit der Musik, die Picasso ausgesucht hat. Das passt doch viel besser."

Die Website zeigt ein paar Beispiele, die mit Hilfe des Programms Picasso entstanden sind. Das System soll Bildern und Filmen automatisch Musik zuordnen.

"Es funktioniert auch mit Texten. Hier läuft jetzt der Text mit dem zufälligen Lied im Hintergrund. Wir hören, das passt gar nicht und verwirrt den Hörer. Das von Picasso gewählte Lied passt viel besser."

Während Aleksandar Stupar die Ergebnisse des Programms am Bildschirm vorführt, erläutert Forschungsgruppenleiter Sebastian Michel wie Bilder und Musik zueinander finden.

"Das Verfahren besteht aus zwei Teilen. Zum einen können wir vorberechnen, welche Inhalte die Filme haben und welche Musik zu der Zeit der Filmszenen spielt. Das ist relativ einfach. Wir nehmen dann einen beliebigen Film her oder mehrere Filme und wir schauen uns an, welcher Soundtrack hat zu einer bestimmten Zeit gespielt. Dann speichern wir ab den Soundtrack und ein Bildschirmfoto von der Szene des Films und diese Paare von Musik und Bild die nehmen wir als sogenannte Trainingsdaten um eben den Verweis zwischen Musik und Bildern herzustellen."

Fünfzig Filme haben sich die beiden Wissenschaftler angesehen und dann Szene für Szene auseinandergenommen und katalogisiert. Mit den Daten füttern sie dann Picasso. Das benutzt nun die Informationen, um zum Beispiel zu einem Foto die passende Musik zu finden. Dazu vergleicht es das gegebene Foto mit den gespeicherten Bildern. Gibt es einen Treffer, dann schaut der Rechner, welche Musik spielte denn im Film während der entsprechenden Szene aus der das Bild stammt. Aber: Es muss natürlich ein passendes Filmbild zum Foto geben.

"Die Filme, mit denen wir trainiert haben, sind ganz normale Filme. Also was man so normalerweise auch im Fernsehen sehen könnte. Da sind keine ausgefallenen Filme dabei. Wir hatten darauf Wert gelegt, ein ganzes Spektrum abzudecken von verschiedenen Filmen, allerdings wenn die Szene noch überhaupt nicht vorkommt in keinem der Filme, die wir indexiert haben, dann ist es auch sehr schwierig ordentliche Musik zu finden, das ist ganz klar."

Welche Filme es genau waren, die die Wissenschaftler analysiert haben, das bleibt ihr Geheimnis.

"Jetzt zeige ich das eigentliche System. Der Benutzer kann einfach ein paar Bilder hochladen … Erst mal ein paar Bilder finden. Ok, hier sind zum Beispiel schöne Bilder mit Bergen."

Wie gut die Zuordnung klappt, zeigt Aleksandar Stupar. Er öffnet eine neue Webseite. Dort ist ein großes Eingabefeld zu sehen. Darüber lädt er ein paar Landschaftsbilder mit Bergen und einem See auf den Server.

"Die Bilder kann der Benutzer einfach per Drag-and-Drop in die Box ziehen. Der Server nimmt sie dann und empfiehlt seine Top-Ten-Songs zu den Bildern. Insgesamt kann er aus 300 Songs wählen. Und für unser Motiv mit dem See und den Bergen hat er jetzt dieses Lied ausgewählt."

Die Nummer 1 der Liste ist ein ruhiger Song von Elliott Smith. Der zweitplatzierte Track stammt von Liquid Stranger und ist deutlich schneller und dynamischer. Damit ist das System schon gut einsetzbar, aber noch nicht perfekt, sagt Sebastian Michel. Derzeit könne der Benutzer die Musik aus der eigenen Bibliothek noch nicht verwenden. Diese und eine weitere Funktion sollen aber bald fertig sein.

"Was man auch noch gerne hätte, wär dann so etwas, dass der Benutzer vielleicht spezifizieren kann in welcher Gefühlslage er sich befindet. Also einen kleinen Hinweis geben könnte, möchte er eher etwas haben, was etwas ruhiger ist oder etwas haben, was etwas schneller ist. Das würde uns noch weiterhelfen mit der Empfehlung."

Parallel dazu arbeiten die beiden Forscher an der Verbesserung der Algorithmen und an einer App für Smartphones. Darüber soll der Anwender einfach Bilder hochladen. Anschließend bekommt er eine Empfehlung über passende Musik zurück. Wann die App fertig sein wird, das steht allerdings noch nicht fest. Bis dahin kann man sich Picasso nur auf der Demo-Seite im Internet anschauen.

Elektronische Welten

MedizinKrank gespielt
Eine Geige, eine Flöte, eine Mundharmonika und ein Banjo liegen auf einem Notenblatt.   (picture-alliance / dpa / Wolfgang Thieme)

Einige leiden unter Kreuzschmerzen, andere bekommen verkrümmte Finger: Viele Musiker leiden unter Berufskrankheiten. Wissenschaftler der ETH Zürich wollen den Ursachen häufiger Beschwerden auf den Grund gehen.Mehr

EmpfehlungenAbenteuer, Strategie, Denkspiel
Das Exemplar einer durchsichtigen Sonderedition des ersten Gameboys ist am 14.04.2014 im Computerspielmuseum in Berlin in einer Vitrine zu sehen. (picture alliance / dpa / Stephanie Pilick)

Im Sommer gibt es wenig Neues auf dem Spielemarkt, wir haben dennoch drei Spiele gefunden. Man kann sich als strategisch denkender Ermittler austoben, sich auf eine gefährliche Insel begeben oder ein Männchen durch ein Level zum Ausgang führen. Mehr

GefahrgutEin Roboter für den Treibstofftransport
Mitarbeiter in der PCK Raffinerie GmbH im brandenburgischen Schwedt  (dpa / picture alliance / Patrick Pleul)

Roboter gibt es heute in vielen Bereichen. Auch die Raffinerie im brandenburgischen Schwedt will künftig eine mobile Maschine einsetzen. Dort soll sich ein Roboter sogar in komplexen Situationen von selbst zurechtfinden.Mehr

weitere Beiträge

Wissenschaft und Technik

Drogen"Kommt ein guter Rauch"
Vier E-Shishas (dpa / picture alliance / Daniel Reinhardt)

Eine E-Shisha ist wesentlich kleiner als die orientalische Wasserpfeife und ähnelt in der Funktion einer elektronischen Zigarette. Die meist sehr bunten elektronischen Shishas machen Jugendliche glücklich − Eltern und Suchtexperten sind hingegen besorgt.Mehr

weitere Beiträge

Breitband

Das könnte sie auch interessieren

Entdecken Sie Deutschlandradio Kultur