PHAROS ­ Integrierte Plattform für audiovisuelle Suche

Platform for searcH of Audiovisual Resources across Online Spaces Dipl.-Ing. Holger Großmann, Abteilung Metadaten, Fraunhofer IDMT, Ilmenau CeBIT08, Hannover, 5. März 2008 Konsortium und Projektdaten Wissenschaft: Industrie: • L3S Research Centre • Engineering Spa • Fraunhofer IDMT • Fast Search & Transfer ASA • EPF Lausanne • Sail Labs Technology AG • Open University, KMI • Metaware Spa • University Pompeu Fabra • Webmodels Srl • VTT Research Centre Content- und Service-Anbieter: • France Telecom • Circom Regional Zeit- und Finanzrahmen: • Beginn Januar 2007 • Dauer 36 Monate • Kosten: €14.2m 13 Partner aus 9 Ländern • EC-Zuschuss: €8.5m CeBIT08, 5. März 2008, Holger Großmann, Fraunhofer IDMT, mailto:grn@idmt.fraunhofer.de 2 Überblick • Pharos - Anforderungen • High-level Architektur • Ausgewählte Komponenten & Forschungsschwerpunkte • Die „PHAROS Federation“ CeBIT08, 5. März 2008, Holger Großmann, Fraunhofer IDMT, mailto:grn@idmt.fraunhofer.de 3 PHAROS - Mission • “Das PHAROS Konsortium entwickelt Technologien, die einen kontext-relevanten, integrierten und skalierbaren Zugriff auf verteilte und heterogene Sammlungen digitaler Inhalte erlauben – Technologien, die essentiell für die künftige technologische Wettbewerbsfähigkeit Europas sind.” CeBIT08, 5. März 2008, Holger Großmann, Fraunhofer IDMT, mailto:grn@idmt.fraunhofer.de 4 Anforderungen (1) aus Sicht kommerzieller Anwender • Relevante Ergebnisse für jeden individuellen Nutzer • Flexibilität zur Unterstützung neuer Geschäftsmodelle • Multimedia Suchportale werden neue Medienkanäle – Verschiedene (verteilte) Quellen anbinden, auch “long-tail” Inhalte Datenmenge! – Ausgabe auf unterschiedlichste Endgeräte (PC, Mobile, ..) • Sicherheit der digitalen Inhalte – Beachtung/Kontrolle von Urheber- und Zugriffsrechten • Langlebigkeit der Investition – Vielfalt eingesetzter technologischer Lösungen und Anbieter CeBIT08, 5. März 2008, Holger Großmann, Fraunhofer IDMT, mailto:grn@idmt.fraunhofer.de 5 Anforderungen (2) aus Sicht der Nutzer / Endanwender • Präzision & kontextbezogene Relevanz der Suche – Verschiedene Kontexte (Rechte, Nutzer und Information) – Personalisierung and Empfehlung • Unterstützung vielfältiger Interaktionsmuster – Aktive Suche, Monitoring, Browsing, Benachrichtigung • Datenschutz, Spam-Vermeidung • Vielfalt von Anbietern und Inhalten – (Legaler) Zugriff trotz unterschiedlichster Rechte – Voransichten (Previews) zum Verifizieren der Ergebnisse CeBIT08, 5. März 2008, Holger Großmann, Fraunhofer IDMT, mailto:grn@idmt.fraunhofer.de 6 Anforderungen (3) • Anforderungen der verschiedenen Nutzergruppen Pharos-Design • Audiovisuelle Suche = technologische Herausforderung, insbesondere: – Schritthalten mit anwachsender Informationsmenge und Nachfrage Skalierbarkeit und Performance – Versteckte Informationen in a/v Dokumenten (Semantic Gap) – Breite Anwendbarkeit: flexible Erweiterbarkeit, Interoperabilität – Integration von Rechtemanagement – Personalisierung, Relevanz der Suchergebnisse – … CeBIT08, 5. März 2008, Holger Großmann, Fraunhofer IDMT, mailto:grn@idmt.fraunhofer.de 7 Ziele und Forschungsgebiete • Ob1: Core Search Technologies – Skalierbares Such-Framework zur Suche in strukturierten und unstrukturierten av-Daten – Gezielte Suche, Browsing, Analyse, Entdecken – Semantische Beschreibungen zufügen • Ob2: Context and User Technologies – Context-Relevanz & Personalisierung – Analyse sozialer Netzwerke & „Trust-Ranking“ • Ob3: PHAROS-Platform – Interoperabilität, verteilte Architektur – Sichert breite Anwendbarkeit • Ob4: Showcase • Ob5: Federation and Impact CeBIT08, 5. März 2008, Holger Großmann, Fraunhofer IDMT, mailto:grn@idmt.fraunhofer.de 8 High-level Architektur Offline Analyse Spam, User & Social Reputation & Community Networks & Trust Profiles Blogspaces Generische Suchanwendung / Verarbeitungslayer C Inhaltsanalyse Suchkernel Query / Result Analyse O Publication U N Extraktion von Subscription q’ Query q S Merkmalen & Refinement T Mustern Result Analyse E E Indexierung r und Aggregation r’ R N Matching S T Speicherung und Zugriff Multimedia Content / rights Reference User / social Access registration reconciliation information CeBIT08, 5. März 2008, Holger Großmann, Fraunhofer IDMT, mailto:grn@idmt.fraunhofer.de 9 Audio-Annotation (Beispiele) • Musiksegmentierung (IDMT) • Audio-Fingerprints (IDMT) • Musikbeschreibung (MTG) – Lautheit – Rhythmus – Tonalität – Instrumenten Dichte CeBIT08, 5. März 2008, Holger Großmann, Fraunhofer IDMT, mailto:grn@idmt.fraunhofer.de Audio-Annotation (Beispiele) • Annotation von Sprache (SAIL Labs) “What is your opinion on the Iraq war” Extrahiert strukturierte Informationen – Sprecherwechsel – Geschlecht (männlich/weiblich) – Sprecher ID – Grobe Transkription des gesprochenen Textes – Schlüsselworte: Orte, Organisationen, Personen, .. CeBIT08, 5. März 2008, Holger Großmann, Fraunhofer IDMT, mailto:grn@idmt.fraunhofer.de Komplexe Suchanfragen • Beispiel: Suche nach Bildern, die – In Amsterdam aufgenommen wurden – Zwischen 2005 und 2008 – Unter der Creative Commons Licence stehen – Und ähnlich sind zu: CeBIT08, 5. März 2008, Holger Großmann, Fraunhofer IDMT, mailto:grn@idmt.fraunhofer.de 12 Initiales Ergebnis der XML - Suche CeBIT08, 5. März 2008, Holger Großmann, Fraunhofer IDMT, mailto:grn@idmt.fraunhofer.de 13 Ergebnis der inhaltsbasierten Suche (auf dem Resultset der 1. Suche) “Query by Example” Inhaltsbasierte Ähnlichkeit Anhand von visuellen Merkmalen CeBIT08, 5. März 2008, Holger Großmann, Fraunhofer IDMT, mailto:grn@idmt.fraunhofer.de 14 Content & Rights Registration • Auswertung von “Registrierungs-Metadaten” • (Weitgehend) automatisierte Copyright- Prüfung nach definierbaren Kriterien, z.B. – Art und Integrität der Inhalte – Vertrauen in den Anbieter der Inhalte – Existenz von Dubletten CeBIT08, 5. März 2008, Holger Großmann, Fraunhofer IDMT, mailto:grn@idmt.fraunhofer.