CeBIT Special: Spiele und Edutainment - IAVAS - Interaktive, audiovisuelle Anwendungssysteme

Interaktive Audiovisuelle Anwendungssysteme - IAVAS Uwe Kühhirt Fraunhofer-Institut Digitale Medientechnologie IDMT Gruppe Autorensysteme CeBIT 2006, Fraunhofer-Forum kht@idmt.fraunhofer.de Seite 1 Überblick Objektbasierte AV-Anwendungen Audiovisuelle Szenen Medienobjekte Anwendungsmöglichkeiten Beispiele MPEG-4 Zusammenfassung kht@idmt.fraunhofer.de Seite 2 Klassische AV-Anwendungen kht@idmt.fraunhofer.de Seite 3 Objektbasierte AV-Anwendungen kht@idmt.fraunhofer.de Seite 4 Objektbasierte AV-Anwendungen – interaktiv kht@idmt.fraunhofer.de Seite 5 Interaktive Audiovisuelle Anwendungssysteme kht@idmt.fraunhofer.de Seite 6 Audiovisuelle Szene y Hintergrund Nutzerseite Ton x Bild z Compositor synthetische Ton 3D-Objekte beliebig geformtes Interaktionen Videoobjekt kht@idmt.fraunhofer.de Seite 7 Szenenbeschreibung Komposition aller Elemente – örtliche Komposition – zeitliche Komposition Szenengraph Definition von Interaktionen Metadaten 2D-Layer 3D-Layer 2D-Layer y x z kht@idmt.fraunhofer.de Seite 8 Szenenrealismus Vergabe von Materialeigenschaften Reproduktion natürlicher Effekte – Lichteffekte, atmosphärische Effekte, Schatten, spiegelnde Reflexionen Reproduktion technischer Effekte – Bewegungsunschärfe, Tiefenschärfe, etc. y x z kht@idmt.fraunhofer.de Seite 9 Akustische Szene Platzierung und Animation von Audioquellen – Aufzeichnung von „trockenen“ Audiosignalen Zuweisung von akustischen Materialeigenschaften – Absorption, Reflexion, Transmission → Materialbibliothek Raumsimulation → „Hören mit den Ohren der Kamera“ y x z kht@idmt.fraunhofer.de Seite 10 Interaktivität Definierter Zugriff auf Elemente der Szene Manipulation des Szenengraphen Austausch von Szenenteilen Kommunikation zwischen Anbieter und Nutzer y x z kht@idmt.fraunhofer.de Seite 11 Medienobjekte Einteilung Herkunft: – synthetisch oder natürlich Art der Wahrnehmung: – visuell oder auditiv Dimension: – zweidimensional oder dreidimensional zeitliches Verhalten: – zeitunabhängig oder zeitabhängig kht@idmt.fraunhofer.de Seite 12 Medienobjekte Beliebig geformte Videoobjekte - SVO (arbitrarily shaped video) kht@idmt.fraunhofer.de Seite 13 Medienobjekte 3D-Videoobjekte (3DVO) kht@idmt.fraunhofer.de Seite 14 Die digitale Medienkette 2. Codierung, 3. Interaktive 1. Produktion Übertragung Anwendung • Aufnahme • objektbasierte • Nutzerschnittstelle • Gestaltung Codierung • Rendering • Authoring • Daten-Management • Geräte • Metadaten • Distribution kht@idmt.fraunhofer.de Seite 15 Anwendungsmöglichkeiten Austausch von Objekten kht@idmt.fraunhofer.de Seite 16 Anwendungsmöglichkeiten Freie Wahl der Perspektive kht@idmt.fraunhofer.de Seite 17 Anwendungsmöglichkeiten Integration von Zusatzinformationen Steckbrief Steckbrief John Brown 28 Jahre London 13 Länderspiele 9 Tore 3 Gelbe Karten 1 Rote Karte kht@idmt.fraunhofer.de Seite 18 Erster IAVAS-Demonstrator Einfache synthetische 3D-Szene mit beliebig geformten Videoobjekten kht@idmt.fraunhofer.de Seite 19 Interaktiver Messebesuch - iFair synthetische 3D-Umgebung verschiedene Exponate Standpersonal als beliebig geformte Videoobjekte inkl. Audio freie Navigation durch die Szene oder geführte Rundgänge Zusatzinformationen kht@idmt.fraunhofer.de Seite 20 Interaktive Musikdarbietung - Ilmenoke synthetische 3D-Umgebung inkl. auditiver Szene Musiker als beliebig geformte Videoobjekte Audioobjekte Navigation durch die Szene „Hören mit den Ohren der Kamera“ kht@idmt.fraunhofer.de Seite 21 Interaktive Nachrichtensendung - iNews alle Elemente durch separate Objekte beschrieben austauschbare Sprecher als geformte Videoobjekte austauschbare Audioobjekte MPEG-4 als Distributionsformat Nutzung auf MPEG-4 Terminal individuelle Zusammenstellung der Beiträge kht@idmt.fraunhofer.de Seite 22 Präsentationssystem - MPA XML-basiertes Authoring-Format (XMT-MPA) grafisches Autorenwerkzeug MPEG-4 als Distributionsformat Präsentation auf einem MPEG-4 Terminal kht@idmt.fraunhofer.de Seite 23 MPEG-4 ISO/IEC 14496 internationaler Standard 1998ff. Beschreibung multimedialer Inhalte jeglicher Art Objekt- und Szenenkonzept umfangreiche Interaktionsmöglichkeiten transparente Distribution – alle digitalen Distributionsformen nutzbar MPEG-4-Terminal als Endgerät – genaue Kenntnis des Endgerätes für die Beschreibung nicht notwendig kht@idmt.fraunhofer.de Seite 24 MPEG-4 Stand viel Verwirrung (DivX etc.) Nutzung verschiedener Codecs zur Audio- und Videocodierung – AVC, AAC etc. Objekt- und Szenenkonzept wird nur sehr zögerlich angewendet Potenzial wird zur Zeit kaum genutzt Viele Möglichkeiten, aber bisher wenige konkrete Anwendungen. kht@idmt.fraunhofer.de Seite 25 Zusammenfassung Vorteile neue Nutzungsmöglichkeiten – Interaktionen – Personalisierbarkeit Skalierbarkeit – Distribution – Endgeräte standardisierte Technologien verfügbar Wiederverwendbarkeit von Inhalten Medienkonvergenz kht@idmt.fraunhofer.de Seite 26 Zusammenfassung Probleme mitunter stark erhöhter Produktionsaufwand Gewinnung von künftigen Anbietern leistungsfähige Endgeräte notwendig Was muss getan werden? Entwicklung weiterer Technologie-Demonstratoren Entwicklung von Produktionswerkzeugen Entwicklung einer universellen Wiedergabeplattform Entwicklung von Geschäftsmodellen kht@idmt.fraunhofer.