AI-based avatars for Learning: Creating a powerful package for Unity

Beschreibung

Mit künstlicher Intelligenz können KI-basierte Avatare erstellt werden, die ein großes Potential für den Bildungsbereich mitbringen. Anhand einer in Unity erstellten Umgebung sollen zwei verschiedene Szenarien entwickelt werden, die mithilfe von KI-basierten Avataren Interaktionspartner oder Tutoren abbilden und beim kollaborativen Lernen unterstützen können. Die Szenarien sollen durch Speech-to-text als Eingabe, GPT Assistants von OpenAI zur Datenverarbeitung und Text-to-Speech als Ausgabe anhand eines Lip-Synced Avatars umgesetzt werden. Darüber hinaus wird ein Multiplayer erstellt, der anderen Nutzern erlaubt mit dem GPT und dem Host zu interagieren. Zielplattformen der Software sind WebGL und VR-Headsets.

Description

Artificial intelligence can be used to create AI-based avatars that have great potential for education. Using an environment created in Unity, two scenarios are to be developed that use AI-based avatars to represent interaction partners or tutors and can support collaborative learning. The scenarios are to be implemented using speech-to-text as input, GPT assistants from OpenAI for data processing and text-to-speech as output using a lip-synced avatar. Moreover, a multiplayer is implemented that allows other players to interact with the GPT and the host. Target plattforms of the softwae are WebGL and VR headsets (OpenXR standard).

You will

• Perform a review of current literature
• Rewrite a part of the package GPT Avatar in order to access a GPT Assistant
• Build two interactive AI scenarios
• Build Avatars that provide feedback and instructions based on a config file
• Build a multiplayer

You need

• Unity programming skills
• Understanding of AI techniques

References

• GitHub project: https://github.com/SethRobinson/GPTAvatar
• Valem Tutorials: https://www.youtube.com/watch?v=v484biQvjMY
• Khampuong, P., Nilsook, P., & Wannapiroon, P. (2023). Artificial intelligence avatar for conversational agent. In 2023 Research, Invention, and Innovation Congress: Innovative Electricals and Electronics (RI2C) (pp. 33-39). IEEE