CeBIT Special: Unterhaltung in neuen Dimensionen - Gesungen, gefunden - über neue Wege durch Jungle, Jazz und Schlager

Gesungen, gefunden – neue Wege durch Jungle, Jazz und Schlager Dipl.-Ing. Holger Großmann Semantische Metadaten Systeme Fraunhofer-Institut für Digitale Medientechnologie IDMT CeBIT, Hannover 2006 Fraunhofer-Forum grn@idmt.fraunhofer.de Seite 1 Übersicht Einführung „Rich Media Management“ Semantische Musikanalyse Neue Entwicklungen in MPEG-7 Audio Suchen und Finden Metadatenbasierte Anwendungen grn@idmt.fraunhofer.de Seite 2 Der Schlüssel zum maschinellen „Verständnis“ multimedialer Daten.. Audiovisuelle Daten.. • .. sind extrem beliebt und verbreitet • .. haben soziokulturelle und wirtschaftliche Relevanz • .. liegen in unterschiedlichsten Qualitäten und Formaten vor • .. sind oft urheberrechtlich geschützt • .. werden von Menschen subjektiv wahrgenommen • .. sind für Computer schwer verständlich AV-Suche = Herausforderung! grn@idmt.fraunhofer.de Seite 3 Rich Media Management – Anforderungsanalyse für eine AV-Suchmaschine Produzent Technologische Anforderungen • Werke sollen gefunden werden • Präzision • Schutz der Urheberrechte – Präzise Metadaten (oder Rejection) Distributoren / Service Anbieter – Exakte Position für Navigation • Kosten-/Nutzen Verhältnis • Relevanz • Neue Geschäftsmodelle – Personalisierung • Relevanz der Suchergebnisse garantieren – Context-Sensitivität – SPAM Unterdrückung Endnutzer • Interoperabilität von Metadaten • Usability – Intuitive Anfragen (z.B. content-basiert) • Skalierbarkeit / Effizienz – Relevante Ergebnisse • Security / DRM – Nutzung nicht nur am PC (Mobil, CE, etc.) – Zugriff auf Content zur Indexierung – Navigation innerhalb AV-Dokumenten – Ergebnisansicht (Previews,..) • Wahrung der Privatsphäre – Privacy • Zugriff auf globalen Datenbestand • Geeignete Visualisierung grn@idmt.fraunhofer.de Seite 4 Rich Media Annotation – multimodale Anreicherung mit semantisch strukturierten Metadaten Merkmals- Dubletten- Low-level Automat. Extraktion suche Merkmale Extraktion von Identifikation Content- High-level Semantischer (MPEG-7) Metadaten Merkmalen Meta-Layer Metadaten Format- MD-Content- High-Level MPEG-7, ID3, EXIF,.. Anpassung Bindung Metadaten Validierung Korrektur Abstraktion Nutzer-/ Profilierung MD-Content- Soziale Personalisierung Nutzungs- Bindung Metadaten Context- Informationen sensibilisierung … Context- Meta- Wissen konzepte grn@idmt.fraunhofer.de Seite 5 Rich Media Annotation – Automatische Extraktion von High-Level Merkmalen aus Musik Verfügbare Technologien • Track Segmentierung (Strophe, Refrain, Solopart) Segmentansicht • Genre-Erkennung, Sprach-/Musik Unterscheidung • Monophone Melodietranskription (QbH) Dire Straits „Walk of Life“ • Tempo, Taktart, Beats • Verschiedene semantische Aspekte (hart vs. soft, akustisch vs. perkussiv, etc.) • Gesangspart-Erkennung / Sänger-Identifikation • Erkennung von Hauptinstrumenten Beispiele Bass+Drum (MIDI) • Transkriptionsverfahren für polyphone Musik Transkriptions-Toolbox Police Abba (Drum-, Bass Transkription, Hauptmelodie, Harmonie) • Sieger beim MIREX-Contest 2005 in Melodie-Transkription! grn@idmt.fraunhofer.de Seite 6 MPEG-7 Part 4 Audio – Amendment 2: Neue High-level Deskriptoren (1) Rhythmische Pattern (RhythmicBaseType, AudioRhythmicPatternDS) Skalen & Modes (PitchProfileDS) Akkord Pattern (ChordBaseType, AudioChordPatternDS) MPEG-7 ? „Multimedia Content Description Interface“! • Austauschformat XML • MPEG-7 DDL auf Basis XML-Schema grn@idmt.fraunhofer.de Seite 7 MPEG-7 Part 4 Audio – Amendment 2: Neue High-level Deskriptoren (2) Perceptual Attributes • PerceptualGenreDistributionType wahrgenommene Genres • PerceptualMoodDistributionType wahrgenommene Stimmungen • PerceptualLyricsDistributionType Themen des Songtextes • PerceptualInstrumentationDistributionType wahrgenommene (Haupt-) Instrumente • PerceptualLanguageType Sprache • PerceptualSoundType Klangeindruck: akustisch, elektrisch, synthetisch • PerceptualRecordingType Aufnahmequalität • PerceptualVocalsType männlich, weiblich, beide, instrumental • PerceptualTempoType empfundenes Tempo • … grn@idmt.fraunhofer.de Seite 8 Rich Media Management – Suchen und Finden über Content Based Filtering Textuelle Anfragen Exakte oder unscharfe Suche nach bestimmten Tags – Musik Artist, Title, Genre, Solopart, Mood … – Photo Personen, Orte, Zeiten, Genre … – Video Genre, Schauspieler, Szenen Anfragen über semantisches Aspektprofil (z.B. „schnelles Tempo + gerader Rhythmus + rauher, männlicher Gesang – hart“) Inhaltsbasierte Anfragen (intuitiver) Robuste Identifikation mit Fingerprints (AudioID, PhotoID, VideoID) Melodie (QbH) oder Harmoniefolge Skizze eines Gegenstandes, Foto einer Person (FaceID) Ähnlichen Content finden Empfehlungssyteme Komplexe Anfragen Logische Verknüpfungen der Ergebnislisten, Rank-Aggregation Meta-Anfragen Beispiel „Welche Musik macht die Band XY?“ grn@idmt.fraunhofer.