Bei meinem Projekt handelt es sich um einen Fahrsimulator der es ermöglichen soll, die grundlegenden Funktion des Autofahrens zu erlernen. Das Projekt ist in VR umgesetzt, und bietet eine Anbindung an die Logitech SDK um ein G920 Lenkrad zu unterstützen. Mithilfe des Lenkrads und Shifters wird dem Nutzer so ein Gefühl gegeben, welches sehr ähnlich zum tatsächlichen Autofahren ist.  

Um den Nutzer im Projekt eine klare Richtung zu geben was zu tun ist, hat er eine Liste an Aufgaben welche er abarbeiten soll. Diese Liste beinhaltet häufig auftretende Situationen und Vorgänge aus dem Straßenverkehr. Dinge wie anfahren, Schalten und das korrekte abbiegen mit gesetztem Blinker werden so an den Nutzer herangeführt.

Die Implementation bestand aus folgenden Abschnitten:

1. Beschaffung eines guten Automodells
2. Implementierung der Fahrphysik
3. Anbindung der Logitech-SDK
4. Erstellung des Terrain
5. Gestaltung der Karte
6. Ausformulierung der Tasks
7. Implementierung der unterschiedlichen Aufgaben
8. Unterschiedliche Tag/Nacht Einstellung
9. Regen mit unterschiedlicher Fahrphysik
10. Einbindung von SteamVR

Der Komplexeste Abschnitt war dabei definitiv die implementierung der Fahrphysik. Hierbei war es wichtig, ein Gefühl zu vermitteln welches so realisitisch wie möglich ist. Wichtig war es, dass auch das Schalten zwischen verschiedenen Gängen die Fahrphysik beeinflusst. Hierbei habe ich verschiedene Ansätze probiert ein komplettes Fahrsystem zu simulieren. Es zeigte sich allerdings schnell, dass dies kein gutes Gefühl beim fahren gab.

Die finale Fahrphysik ist eine Mischung aus den Unity Wheel-Collidern und einer rudimentären Motor-Simulation. Dabei wird anhand des aktuellen Tempos des Autos eine Drehzahl berechnet. Mit dieser wird dann der Ton des Motors und das erzeugte Drehmoment berechnet. Mithilfe dieser Daten, und dem aktuell gewählten Gang wird dann dieses Drehmoment an die Wheel-Collider weitergeben. Wichtig war auch, dass die verschiedenen Gänge unterschiedliche maximale geschwindigkeiten hatten. Des Weiteren mussten die Gänge auch, wie in echt, einen Einfluss auf das Drehmoment nehmen.

Als Alternative zu der VR / Lenkrad Steuerung ist auch ein Fallback per Tastatur implementiert. Hierbei sind die Tasten wie folgt beleg:

Lenken: A /D
Gas: W
Bremse: S
Blinken (Links/Rechts): Q/E
Warnblinker: B
Scheinwerfer: H
In einen Gang schalten: 1-5, N und R
Kupplung: C
Tageszeit wechseln: L
Wetter wechseln: K
Motor Starten: Leertaste

Als Aufgaben für den Nutzer wurden die folgenden Aufgaben definiert:

1. Den Motor starten
2. Anfahren
3. In einen Gang schalten
4. Links abbiegen (mit blinker)
5. Rechts abbiegen (mit blinker)
6. Eine Kreuzung gradeaus überqueren
7. Am Stopschild halten und dannach die Kreuzung in irgendeine Richtung überqueren
8. 5 Mal schalten ohne den Motor abzuwürgen
9. Die Scheinwerfer in der Nacht einschalten
10. Den Warnblinker aktivieren
11. Das Haus auf dem Hügel erreichen

Die Aufgaben basieren auf den wichtigstens und häufigst auftretenden Situationen des Autofahrens. Sie sollen also zumindest die absoluten Grundlagen des Autofahrens soweit vermitteln, dass die ersten Fahrstunden einfacher ausfallen.

Für diese Projekt verwendete Assets:

Auto-Modell:

https://sketchfab.com/3d-models/classic-mazda-miata-cabriolet-low-poly-8bda7836f6514196b7b2fcf32c26d519

Skybox:

Fantasy Skybox FREE | 2D Sky | Unity Asset Store

Elevate your workflow with the Fantasy Skybox FREE asset from Render Knight. Browse more 2D Textures & Materials on the Unity Asset Store.

Unity Asset StoreRender Knight

Roadarchitect:

GitHub - MicroGSD/RoadArchitect: Road Architect for Unity

Road Architect for Unity. Contribute to MicroGSD/RoadArchitect development by creating an account on GitHub.

GitHubMicroGSD

Code:

GitHub - TillWege/DriverVR

Contribute to TillWege/DriverVR development by creating an account on GitHub.

GitHubTillWege

Download der verschiedenen Versionen:

DriverVR builds – Google Drive

Meine AR-Applikation erlaubt es, mithilfe von Plane-Tracking einen Zahlenstrahl über das Kamerabild zu legen. Auf diesem Zahlenstrahl werden verschieden Große Objekte angezeigt. Diese Objekte sollen helfen, die Skalierung der Natürlichen Zahlen zu verstehen. Hierbei werden für die kleineren Zahlen kleine, und für die Größeren Zahlen große Objekte verwendet.

Code:

FiT/NumbersAR at main · TillWege/FiT

Contribute to TillWege/FiT development by creating an account on GitHub.

GitHubTillWege

Bei meinem VR-Game handelt es sich um ein Spiel welches dem Benutzer den Umgang mit den Natürlichen Zahlen erleichtern soll. Hierzu soll er simple Additions und Subtraktionsprobleme in VR lösen. Auf der einen Seite des Raums wird ihm ein Zahlenstrahl angezeigt auf welchem zwei Zahlen mit Pfeilen markiert sind.

Bei der roten Zahl handelt es sich um die Zielzahl. Diese soll der Nutzer versuchen zu erreichen. Die blaue Zahl markiert die aktuelle erreichte Zahl. Um diese nun zu verändern liegen Kugeln mit verschiedenen Größen und Farben auf einem Tisch. Die Größe soll dabei den absoluten Wert und die Farbe das Vorzeichen der Repräsentierten Zahl angeben.

Diese Kugeln können nun vom Spieler auf der anderen Seite des Raums auf 2 Regalen abgelegt werden. Dabei ist das obere Regal mit einem Plus, und das untere mit einem Minus gekennzeichnet.

Dieses Zeichen gibt die Operation an, mit welcher der Wert der Kugel auf den aktuellen Stand auf dem Zahlenstrahl verrechnet wird. Die Aufgabe des Spielers ist es also mithilfe der Kugeln und der Regale die Zielposition auf dem Zahlenstrahl zu erreichen.

Code:

GitHub - TillWege/NumbersVR

Contribute to TillWege/NumbersVR development by creating an account on GitHub.

GitHubTillWege

Download (SteamVR)

https://drive.google.com/file/d/1H2mqikVQDYXJUERN2wMFW2vbO5VwKaV3/view?usp=sharing

*In der Vorlesungsfolien finden Sie unterschiedliche technische Realisierungen von AR und VR. Für welche Einsatzbereiche könnten folgende Varianten besonders geeignet sein?

• Augmented Audio, ohne visuelle Augmentierung
• Museumsführung
• Entertainment für Blinde
• AR mit einem See-Through-Display
• Interaktive Display-Anzeigen
• Projektionsbasiertes AR.
• Projektion von künstlerischen Projekten an Gebäudewende
• Unterstützungs bei Produktionsschritten
• VR in einer CAVE
• Kunstprojekte
• Vorschau von 2-Dimensionler gestalung
• VR mit einem Head-Mounted Display
• Immersive Erfahrungen, Gaming, virtuelle Kommunikation (Metaverse)

Erläutern Sie den Begriff des Horopter und des Panum-Bereichs. Erläutern Sie, warum der Horopter eine geschwungene Form hat, indem Sie geeignete Strahlengänge zeichnen. Als Grundlage können Sie folgende Graphik aus dem Lehrbuch verwenden.

Horopter
Der Horopter beschreibt alle Punkte welcher bei einer Festen Augenstellung auf der Netzhaut abgebildet werden. Es ist also möglich alle diese Punkte fokussiert anzusehen, ohne die Fokusdistanz der Augen neu auszurichten. Bei einem einzelnen Auge ist dieser Bereich ein Kreis. Für beide Augen zusammen ergibt sich so ein Oval.

Panum
Das Panum Areal ist die Projektions des Horopters auf der Netzhaut.

Aufgaben 3-9:

• Was ist eine negative Parallaxe? Wo liegt der betrachtete Punkt bei einer negativen Parallaxe? Verwenden Sie bei Ihrer Erläuterung den Begriff der Disparität.

Wenn ein Objekt sich auf der äußeren Seite eines der Displays befindet, wird der Fokus der Augen vor das Display geschoben, da sich die Sichtpunkte der Augen überschnieden. Hierbei handelt es sich also um eine negative Disperität, da das rechte Auge nach links, und das linke Auge nach rechts schaut.sich also um eine negative Disperität, da das rechte Auge nach links, und das linke Auge nach rechts sc

• Durch dynamische Änderung der Virtual-Eye-Separation können Objekte näher an den Panumbereich gebracht werden. Wie funktioniert diese Technik? Was gewinnt man damit?

Durch eine erhöhte Seprierung der Augen ist es Möglich Objekt auf der Sichtsphäre zu skalieren. So werden diese zwar Größer, aber aufgrund des Erhöhten Sichtbereichs können diese auch auf größere Distanz platziert werden. So wird die mögliche "tiefe" auf der Objekt platziert werden, ohne das es zu Problemen mit der größendarstellung kommt erhöht.

• Durch eine dynamische “zyklopische Skalierung” können Objekte ebenfalls näher an den Panumbereich gebracht werden. Wie funktioniert das Verfahren: Machen Sie plausibel, warum sich die Größen der Objekte für den Benutzer nicht ändern, obwohl wir es mit einer Skalierung zu tun haben.

Bei der zyklopischen Skalierung wird die Größe eines Objektes um den Selben Faktor wie seine Distanz zum Auge skaliert. So bleibt es für den Betrachter gleich groß, da es den gleichen Anteil des sichtbaren Bereiches füllt.

• Geben Sie möglichst viele Beispiele für Möglichkeiten, dass sich in einem VR-Umgebung mittels eines HMD Tiefenhinweise widersprechen können.

Der mögliche tiefen-versatz in einem HMD ist limitiert, so gibt es also eine "maximale Tiefe" die dargestellt werden kann.
Aufgrund der Seperation der Augen ist es am rand des Displays nicht möglich ein Objekt so darzustellen, dass beide Augen es sehen. Dardurch geht der 3-Dimensionale Effekt verloren.

• Ein Dreiecksnetz besteht aus 15 Dreiecken. Durch wie viele Eckpunkte werden die Dreiecke beschrieben, wenn das Netz durch einen einzigen Triangle Strip dargestellt werden kann?

17 Punkte

• Erklären Sie bitte den Unterschied zwischen einer herkömmlichen Farbtextur und einer Bump Map. Welche Vor- und Nachteile weist ein Bump Map auf?

Eine reguläre Farbtextur gibt an in welcher Farbe die einzelnen Pixel der Objekte dargestellt werden. Ein Bump-Map hingegen wird verwendet um die Oberfläche eines Objektes zu verändern, ohne das hierfür weitere Polygone verwendet werden. Es handelt sich somit um "Fake-Geometrie" welche u.a. keine eigenen Schatten werfen kann. Dafür ist allerdings der Rendering-Aufwand bedeutend geringer.

• Was bedeutet LOD? Erklären Sie!

Das Level-of-Detail beschreibt den Detailgrad eines Objektes. In 3D-Rendering ist es nicht nötig Objekte welche weit entfernt sind in voller Qualität zu rendern. Dafür werden verschiedene LOD-Stufen eines Modells verwendet, welche in der Qualität variieren können.

Screenshots von Beispielkonversationen:

Code:

FiT/Rasa 2 at main · TillWege/FiT

Contribute to TillWege/FiT development by creating an account on GitHub.

GitHubTillWege

Screenshot einer Beispielkonversation:

Code:

FiT/Rasa 1 at main · TillWege/FiT

Contribute to TillWege/FiT development by creating an account on GitHub.

GitHubTillWege

Aufgabe

Im Masterstudiengang “Design and Interaction”, https://www.hochschule-rhein-waal.de/de/fakultaeten/kommunikation-und-umwelt/studienangebot/masterstudiengaenge/design-and-interaction-ma-0, gibt es ein Eignungsfeststellungsverfahren. Dazu haben Kandidaten immer viele Fragen. Sie sollen ein Chatbot entwickeln, das diese Fragen beantwortet und auch aktiv nachfragt, ob die Kandidaten die wichtigsten Punkte auch verstanden haben.

Aufgabe 9a

Aufgabe

Erstellen Sie einen “Happy Path” einer möglichen Konversation - eine gelungene Konversation ohne technische oder sonstige Probleme, bei der der/die Kandidat/in am Ende zufrieden ist.

Lösung

(Bot) -> Hallo, Benötigen sie Informationen zum Eignungsfeststellungsverfahren?

(Person) -> Welche Unterlagen muss ich Bewerbung einreichen?

(Bot) -> Sie müssen ein Ausgefülltes Bewerbungsformular, eine Studiengangsspezifische Projektidee und Zwei bis drei Projektbeispiele einreichen

(Bot) -> Haben sie weitere Fragen?

(Person) -> Wann ist die Deadline für die Bewerbung?

(Bot) -> Die Deadline für die Bewerbung ist der 15. Januar 2022

(Bot) -> Haben sie weitere Fragen?

(Person) -> Nein danke

(Bot) -> Wissen sie wer der Ansprechpartner für diesen Studiengang ist?

(Person) -> Ja

(Bot) -> Ich wünsche ihnen noch einen schönen Tag!

Aufgabe 9b

Aufgabe

Welche Persönlichkeitsmerkmale haben Sie Ihrem Bot gegeben? Ist er zum Beispiel sehr offen, freundlich, oder eher distanziert und sachlich? Was wäre eine mögliche Alternative gewesen?

Lösung

Beispiel

• offen
• freundlich
• nachfragend

Alternative möglichkeiten

• passiv
• zurückhaltend

Aufgabe 9c

Aufgabe

Könnte das ein guter Anwendungsfall für einen CUI sein? Warum? Was wäre eine alternative Technologie, die man hätte einsetzen können?

Lösung

Das Abfragen und Erläutern von Informationen zu einem spezifischen Thema ist ein guter Anwendungsfall für ein CUI, da die benötigte Menge an Informationen vergleichsweise gering ist. Bereits in der Entwicklung können die meisten Fragen welche für das CUI aufkommen bereits klar mit antworten definiert werden.

Alternative Lösung könnten sein:

• FaQ Artikel
• Beratung durch Personen per Hotline
• Flowchart Diagramm
• Automatische Erinnerungs-Email für wichtige Termine

Aufgabe

Sehen Sie sich diese Einführungsvideos an und fassen Sie zusammen:
https://learning.rasa.com/conversational-ai-with-rasa/introduction-to-rasa/
https://learning.rasa.com/conversational-ai-with-rasa/creating-a-new-assistant/
https://learning.rasa.com/conversational-ai-with-rasa/domain-file/

Lösung

Mit Rasa ist es möglich, ein CUI zu erstellen. Dazu werden in der NLU-Datei werden dazu die möglichen Eingaben des Benutzer angegeben und in verschiedene "Intents" kategorisiert. Mithilfe von Rules und Stories kann der Entwickler angeben, wie die CUI auf die jeweiligen Aktionen des Benutzers antwortet. Diese werden in den jeweiligen rules- bzw. stories dateien angegeben. In der Domain-Datei werden die möglichen Antworten des CUI's definiert. Mit dem Befehl Rasa Train kann nun aus all diesen Dateien ein Modell trainiert werden. Dieses Modell kann man dann mit Rasa Shell interaktiv testen.

Aufgabe

Experimentieren Sie mit Rasa, https://rasa.com/docs/rasa/playground. Erläutern Sie die Begriffe NLU, Responses, Stories, Forms, Rules.

Lösung

NLU:

Natural Language Understanding
Im NLU werden beispiele für die jeweiligen Prompts angegeben, aus welchen dann später das CUI-Modell trainiert wird.

Responses:

Responses sind die jeweiligen antworten zu den einzelnen Prompts die das Modell zurückgeben kann.

Stories:

Stories sind beispielhafte Konversationen in welchen eine Reihenfolge an Prompts und Responses für das Modell angegeben werden. Mithilfe dieser wird dem Model beim trainieren beigebracht, wie auf spezifische Eingaben geantwortet werden soll.

Forms:

Forms stellen Gruppen an Informationen da, und in welcher Art das Modell eingaben vom Benutzer abfragt.

Rules:

Rules sind festgelegte Abschnitte der Konversation, welche immer gleich behandelt werden.

Aufgabe

Was ist Rasa? Was kann man damit machen, was sind Besonderheiten? Stöbern Sie auf der Webseite, und fassen Sie zusammen.

Lösung

Rasa ist eine Open-Source Projekt, mit welchem es möglich ist CUIs zu entwickeln. Die Besonderheit im vergleich zu anderen Produkten aus der selben Kategorie ist, das Rasa Open-Source und damit kostenlos ist. Dies ermöglicht es CUIs zu entwickeln, ohne dass für das Projekt massive Kosten anfallen.

Aufgabe

Installieren Sie Rasa: https://rasa.com/docs/rasa/installation/
Bei Installationsproblemen bitte rechtzeitig, bis spätestens Donnerstag, den 26.9.22, per Email melden, ii@hsrw.eu, tl@hsrw.eu Überprüfen Sie, ob es läuft.

Lösung

Rasa Installiert ✅

Aufgabe

Nennen Sie drei verschiedene Beispiele für CUIs, die Ihrer Meinung nach nicht gut funktionieren können. Warum sind das dem ersten Anschein nach nicht sinnvolle Anwendungsfelder? Erläutern Sie.

Lösung

1. Bestellvorgänge im Einzelhandel:
   Im Einzelhandel besteht ein signifikanter Bestandteil des Kaufprozesses immernoch aus der direkten Beratung der Kunden. Um diese Beratung auch bei einem CUI sicherstellen zu können, muss dieses die gleiche Kompetenz wie die Verkäufer besitzen.
2. Beratungen für Kritische Bereiche (bsp. Medizin):
   In manchen bereichen sind die Auswirkungen der Beratung massiv. Bsp. in der Medizin kann eine Fehlerhafte Beratung zu schwerwigenden Problemen. Des Weiteren ist in diesem Bereichen auch die Sicherheit der Daten sehr wichtig.
3. CUIs als alternative zur Texteingabe per Tastatur
   Für das Schreiben von langen Texten können CUIs die reguläre Tastatur nicht ersetzen, da sie meistens langsamer und Fehler anfälliger sind, als die meisten Personen beim schreiben mit einer Tastatur. Sie können allerdings in spezifischen Nutzfällen, wie bsp. bei der Interaktion von motorisch eingeschränkten Personen trotzdem sehr hilfreich sein.
4. Situationen in denen die Datensicherheit hoch ist
   Da CUIs oft von großen Tech-Firmen entwickelt und verteilt werden, ist der Umgang mit den Nutzungsdaten im Hinblick auf den Datenschutz fragwürdig. Dementsprechend sollten die meisten CUIs nicht genutzt werden, wenn es sich um sensible Daten handelt.

Aufgabe

Nennen Sie drei verschiedene Beispiele für CUIs, die Ihrer Meinung nach gut funktionieren müssten. Das können Chatbots für bestimmte Zwecke sein, Amazon Alexa zum Einkaufen, usw. Warum sind das dem ersten Anschein nach sinnvolle Anwendungsfelder? Erläutern Sie.

Lösung

1. Chatbots im Kundendienst:
   Ein signifikanter Anteil der Anfragen an Kundendienst betrifft triviale Anfragen, welcher sich leicht automatisieren lassen. Mithilfe eines CUIs lässt sich dieser Anteil der Anfragen kostengünstig bearbeiten.
2. Auto Infotainment- und Navigations-Systeme:
   Um die Ablenkung im Straßenverkehr so gering wie möglich zu halten, bietet sich ein CUI an. Hiermit ist es (vergleichsweise) sicher möglich für den Fahrer mit dem In-Car Infotainment wie Musik und Navigation zu interagieren.
3. Smart-Home integration:
   Die Interaktion mit Smart-Home geräten wie Lampen, Jalousien, Thermostaten o.ä. besteht zum großteil aus simplemen Aufgaben wie "Temperatur erhöhen", "Timer Starten" oder "Musik Starten". Für diese simplen Aufgaben ist der Aufwand diese mithilfe eines CUIs zu implementieren (vergleichsweise) gering.

CUIs bieten sich in diesen Anwendungsbereichen an, da in diesen Situation die komfortabilität des Nutzers eine zentrale Rolle spielt. Es geht hierbei darum, dass die Interaktion mit einem möglichst geringen Aufwand für den Nutzer erledigt werden kann.

Aufgabe

Was versteht man unter “Conversational User Interfaces”?

Lösung

Ein Conversational user interface ist eine Schnittstelle zwischen Mensch und Maschiene, meistens Computer, welche mit der Stimme bedient werden kann. Hierbei wird versucht, mithilfe der Maschiene einen natürlichen Gesprächspartner zu emulieren. Das Ziel ist, die Interaktion komplett ohne eine direkte Interaktion des Benutzers mit dem traditionellen User-Interface abzuschließen.

Downloaden Sie das Buch Michael McTear, Zoraida Callejas, David Griol. The Conversational Interface. Talking to Smart Devices, Springer 2016, ISBN 978-3-319-32967-3 kostenlos von der Bib der Hochschule. Bei Problemen wenden Sie sich rechtzeitig an die Bib.

Lösung

Buch runtergeladen✅