CeBIT Special: Intelligente Produkte und Umgebungen - SNOW: Unterstützung von mobilen Arbeitern bei Wartungs- und Produktionsaufgaben

Snow – Unterstützung von mobilen Arbeitern bei Wartungs- und Produktionsaufgaben Ivo Haulsen Motivation MRO (Maintenance, Repair, Overhaul) im industriellen Umfeld(Flugzeugindustrie): - 50% der Zeit wird mit der Suche nach Informationen verbracht - 85% der Aufgaben müssen freihändig erledigt werden - 100% der Arbeiten werden in unkomfortablen Situationen durchgeführt -> freihändige Interaktion – Rauhe industrielle Umgebung: Lärm, Handschuhe, etc. - Ziel: Besser als Papier: freihändig und flexibel Seite 2 Projekt Snow – Services for nomadic Worker EU Projekt: 9/2004 – 9/2006 Partner – EADS: Anwendung – SAP: Authoring – Siemens SBS: Documentation Engine – Loquendo: Spracherkennung- und -synthese – TU Graz: Audio Filterung – ACV: Gestenerkennung Seite 3 – Fraunhofer FIRST: Integration, Interface Systemaufbau – Benutzt Standards – Input: XTM-P – D3ML: Sprache für multimodale Prozeduren – Adaptation Manager erzeugt angereicherte, paginierte Webseiten – Client stellt XHTML-Seiten dar und behandelt die Modalitäten – Annotationen – Offline Caching Seite 4 Gestenerkennung validation/ ok close up /more down – Gesten aufgrund von Umfragen – statische Gesten right left cancel/ reset zoom Schritte: – Segmentierung – Tracking – Gestenerkennung repeat counting 1 counting 2 counting 3 Output: – confidence level Seite 5 Sprachinteraktion – Sprachsynthese auf Server Client I/O Layer, XHTML/WML/Push Cache Server SSML – Spracherkennung auf Server Browser Audio – Verbindung über VoIP Speech Speaker Synthesis Standards (SIP, RTP) und Audio SRGS/SISR MRCPv2 (Media Resource Speech Microphone Recognition Control Protocol) Camera Images / Video Gesture EMMA Recognition – Noise Reduction durch wavelet Stylus Keyboard packet decomposition –- Rückmeldungen als EMMA (Extensible MultiModal Mark- up Language ) Beschreibungen Seite 6 Authoring – D3ML: Device-Independent MultiModal Mark-up Language – enthält verschiedene Container für Layout – Metainformationen für verschiedene Modalitäten (z.B. gültiger Set von Gesten oder Sprachinput) – Ansatz: ein Dokument für die gesamte Prozedur – Authoring Umgebung basiert auf Eclipse Seite 7 Documentation Engine – Erzeugung von dynamischen Webseiten und Session Handling – Adaptation Manager – Pagination – Session Manager – Documentation Engine – sendet SRGS (Speech Recognition Grammar Specification) und SSML Seite 8 Integration und Interaktion – PDA/Smartphone – Tablet PC – Helmkamera – Headset – Integration der Modalitäten – Annotationen – prefetching und offline modus – Proxies für Kamera und Audio Seite 9 Zusammenfassung und Ausblick – Multimodale Interaktion – Trennung Server Client: daher auch kleine Geräte möglich – Benutzung von Standards – Robuste Modalitäten (Geste, adaptive Noise Filterung) – Geräteunabhängig Mögliche Weiterentwicklungen: – kontextabhängige Team-Kommunikation – weitere Modalitäten: z.B. Tracking Seite 10 Messestände: SAP Research in Vielen Dank für Ihre Halle 4 Aufmerksamkeit! Fraunhofer auf Hannover Industrie Messe Kontakt: ivo.haulsen@first.fraunhofer.de Seite 11 Vorteile des Snow Ansatz Autorenumgebung Geräteunabhängige und Modalitäten unabhängige Autorenumgebung Semantische Repräsentation & multimodale XML Sprache Ausführungsumgebung Standard-basierte Common standard-based user interface integration format Multiple access devices supporting different interaction modalities Multimodal browser extensions Robuste Modalitäten Speech output according to the acoustic environment Noise robustness of the Automatic Speech Recognition Dynamic hand-gesture recognition with 1 camera in rough context Usability Tests Werden noch durchgeführt Seite 12