Masterarbeiten der Arbeitsgruppe Perception Engineering

Falls Ihnen keins der unten aufgef├╝hrten Themen zusagt, k├Ânnen Sie sich gerne direkt an Dr. Enkelejda Kasneci oder an einen Mitarbeiter / an eine Mitarbeiterin des EMMA Teams wenden und wir werden dann versuchen, mit Ihnen gemeinsam ein passendes Thema f├╝r Ihre Masterarbeit zu entwickeln.

  1. 3D Eyeball generation based on vein motion
  2. EyeTrace CUDA extesion
  3. Vein extraction and eye rotation determination
  4. Saccade Bundles
  5. Gaze Counter
  6. Automatisierter Scanpath Vergleich
  7. Crowd attention tracking

3D Eyeball generation based on vein motion

The first step is robust feature extraction. This can be done using SURF, SIFT, BRISK
or MSER features if sufficient. Those features have to be mapped on features found in
consecutive images. Based on the displacement a 3D model has to be computed. This model is used afterwards for gaze position estimation.

Ansprechpartner: Wolfgang Fuhl, Dr. Thomas K├╝bler

EyeTrace CUDA extesion

EyeTrace is a software for gaze data visualization and analysis. Due to the increasing amount of data these visualizations need more computation time. In this thesis existing visualizations should be implemented using CUDA for GPU computations. Additionally this includes a data storage model making it possible to shift the data between the GPU and the host computer.
Due to the fact that nowadays not all computers have a CUDA capable card the modul should also allow CPU computations. This should be determined automatically by the module.

Ansprechpartner: Wolfgang Fuhl, Dr. Thomas K├╝bler

Vein extraction and eye rotation determination

The first step is setting up an recording environment with fixed subject position. This
environment is used for data acquisition with predefined head rotations of the subjects. Based on this data an algorithm has to be developed measuring the eyeball rotation of the subject. The resulting angle is then compared and validated based on the head rotation.

Ansprechpartner: Wolfgang Fuhl, Dr. Thomas K├╝bler

Saccade Bundles

This project is about applying (and probably adjusting) a linear time clustering algorithm for brain fiber activity to work with saccadic trajectories. The result will be a clustering of saccades (= saccade bundle).

The algorithm will be applied to eye-tracking data recorded while viewing fine art and while driving. These bundles could give insight into the perception of art (e.g. do saccades follow composition lines) and can be used to quantify saccadic distributions and traversals towards different interesting areas for driving (e.g. control gaze towards the rear mirror). The algorithm will be included in our eye-tracking data analysis software EyeTrace.

Ansprechpartner: Dr. Thomas K├╝bler

Gaze Counter

W├Ąhrend in der Online-Werbebranche die Erfolgskontrolle f├╝r eine bestimmte Werbeanzeige z.B. durch die Anzahl der Klicks oder eine Klick/Kauf-Rate relativ einfach durchgef├╝hrt werden kann, ist dies f├╝r Offline-Medien nicht immer ganz so einfach: Wie oft wird beispielsweise ein bestimmtes Plakat pro Tag betrachtet? Erregt ein Design mehr Aufmerksamkeit, als ein anderes? Ist ein h├Âherer Preis f├╝r einen bestimmten Plakatstandort gerechtfertigt? Das Blickverhalten ist in der Werbebranche ein g├Ąngiger Indikator. Eye-Tracking Studien sind aber teuer und aufw├Ąndig auszuwerten.

Aufgabestellung:

In diesem Projekt soll ein sogenannter ÔÇŁGaze CounterÔÇŁ erstellt werden: Eine kamerabasierte Messvorrichtung, die das Blickverhalten von Passanten automatisch auswerten kann und dabei bestimmt, ob ein Objekt in seiner N├Ąhe (z.B. ein Werbeplakat, auf das der Gaze Counter aufgesetzt wurde) betrachtet wurde. So kann mit wenig Aufwand gemessen werden, wann wie viele Personen f├╝r wie lange auf ein Objekt geschaut haben.

Ansprechpartner: Dr. Thomas K├╝bler

Automatisierter Scanpath Vergleich

Beschreibung:
Menschen k├Ânnen ihre Aufmerksamkeit gezielt lenken. Eine Methode diese Aufmerksamkeitszuweisung aufzuzeichnen sind Eye-Tracking Aufnahmen: Objekte, die momentan interessant sind, werden mit den Augen fixiert. Oftmals ist es nicht nur interessant, wohin einzelne Individuen ihre Aufmerksamkeit lenken, sondern auch ein Vergleich zwischen Individuen oder verschiedenen Zeitpunkten. Hierzu werden diese auf einfache Elemente reduziert: Fixationen und Sakkaden (schnelle Augenbewegungen). Die zeitliche Abfolge und r├Ąumliche Position von Fixationen und Sakkaden nennt man Scanpath. Aktuelle Vergleichsmetoden basieren auf zwei verschiedenen Ans├Ątzen:

  • Umwandlung des Scanpaths in eine String-Repr├Ąsentation und Anwenden bioinformatischer String-Alignment Techniken.
  • Vergleich der Scanpaths als Vektorpfad.

Beide Methoden zeichne sich durch massive Einschr├Ąnkungen und sehr begrenzte Anwendbarkeit aus: Sie funktionieren generell nur bei einfachen Scanpaths und unbewegtem Betrachter gut. Deshalb ist die Analyse von Hand noch immer sehr verbreitet, obwohl hierdurch Objektivit├Ąt verloren geht und viel Zeit n├Âtig ist.

Aufgabenstellung:
Ziel dieser Arbeit ist die Verbesserung bestehender Scanpath Vergleichsmethoden. Dies beinhaltet zum einen das Finden geeigneter Distanzmetriken, zum anderen die Anwendung von Pattern-Recognition Verfahren. Das Erkennen und Wiederfinden kurzer Wiederholter Muster (Schulterblick oder Blick in den R├╝ckspiegel beim Autofahren) k├Ânnte die momentane Verfahren deutlich verbessern.

Ansprechpartner: Jun.-Prof. Dr. Enkelejda Kasneci, Dr. Thomas K├╝bler

Crowd attention tracking

We want to be able to track eye and head movements of a crowd of people, such as a whole classroom. Thereby we can infer measures about current attentional focus, e.g. whether students pay attention to the lecture material and when attention decreases. Therefore we will record high resolution videos of multiple persons in a naturalistic setting, including a variety of head poses and eye positions.

 

This work can be subdivided into (1) finding faces in the video stream, (2) determining face orientation, (3) extracting the eye region, (4) applying calibration free gaze direction calculations.

Ansprechpartner: Dr. Thomas K├╝bler