Forschung

Forschungsgebiete

Perception of material qualities

Prof. Katja Dörschner-Boyaci, Ph.D.

Eine entscheidende Aufgabe des menschlichen Sehsystems ist, das Material zu bestimmen, aus dem ein Objekt besteht. Die richtige Identifizierung von Materialeigenschaften beeinflusst grundlegende Entscheidungen, z.B. ob Lebensmittel essbar sind, ob die Haut gesund ist oder ob ein Gegenstand biegsam ist. Der Mensch nimmt diese Eigenschaften im Bruchteil einer Sekunde wahr. Dennoch ist wenig darüber bekannt, wie das Gehirn Materialien erkennt. Mit einer Kombination aus Psychophysik, Bildanalyse, Computermodellierung, Augen-/Handtracking und fMRT untersuchen wir Fragen wie: Welche Informationen verwendet das Gehirn, um Materialeigenschaften einzuschätzen und zu kategorisieren? Wie wirken sich Erwartungen an Materialeigenschaften darauf aus, wie wir sie wahrnehmen, betrachten oder mit ihnen interagieren? Verändert die freie Interaktion mit einem Material, wie es sich anfühlt oder erscheint?

Ausgewählte Publikationen

• Schmid, A.C., Barla, P. & Doerschner, K. (2020). Material category determined by specular reflection structure mediates the processing of image features for perceived gloss. bioRxiv. DOI

• Schmid, A.C., Boyaci, H. & Doerschner, K. (2020). Dynamic dot displays reveal material motion network in the human brain. bioRxiv. DOI
• Schmid, A.C. & Doerschner, K. (2019). Representing stuff in the human brain. Current Opinion in Behavioral Sciences, 30, pp.178-185. DOI
• Toscani, M., Yucel, E. & Doerschner, K. (2019). Gloss and speed judgements yield different fine tuning of saccadic sampling in dynamic scenes. i-Perception, 10(6): 2041669519889070. DOI
• Cavdan, M., Doerschner, K. & Drewing, K. (2019). The many dimensions underlying perceived softness: How exploratory procedures are influences by material and the perceptual task. IEEE World Haptic Conference. DOI

Computational neuroscience of visual recognition

Dr. Katharina Dobs

Uns genügt ein kurzer Blick auf eine komplexe Szene, um die Personen und Objekte, ihre Beziehungen zueinander und das Gesamtbild der Szene zu erkennen - und das alles innerhalb weniger hundert Millisekunden und ohne erkennbaren Aufwand. Auf welchen Berechnungen im Gehirn basiert diese bemerkenswerte Fähigkeit, und wie werden diese Berechnungen im Gehirn umgesetzt? Um diese Fragen zu beantworten und die Funktionsweise der visuellen Wahrnehmung beim Menschen präzise abzubilden, verknüpft unsere Arbeitsgruppe jüngste Fortschritte im maschinellen Lernen mit menschlichen Verhaltens- und neuronalen Daten. Insbesondere nutzen wir die neuesten Entwicklungen im Bereich modellbasierter Objekterkennung mittels künstlicher neuronaler Netze, um seit langem bestehende Fragen zur funktionellen Organisation des visuellen Kortex zu klären, wie z.B:

- Warum weist der visuelle Kortex eine funktionelle Spezialisierung auf?

- Ist visuelle Erfahrung die Grundlage dieser Spezialisierung?

- Welche Aspekte der visuellen Wahrnehmung sind Eigenheiten des menschlichen Gehirns und welche sind Teil jeden Systems, das für die visuelle Erkennung optimiert ist?

Ausgewählte Publikationen

• Dobs, K., Yuan, J., Martinez, J., & Kanwisher, N. (2023). Behavioral signatures of face perception emerge in deep neural networks optimized for face recognition. Proceedings of the National Academy of Sciences, 120(32), e222064212. DOI

• Dobs, K., Kell, A., Palmer, I., Cohen, M., & Kanwisher, N. (2019). Why Are Face and Object Processing Segregated in the Human Brain? Testing Computational Hypotheses with Deep Convolutional Neural Networks. Cognitive Computational Neuroscience Conference, Berlin, Germany. [PDF]

• Dobs, K., Isik, L., Pantazis, D., & Kanwisher, N. (2019). How face perception unfolds over time. Nature communications, 10, 1258. DOI

• Dobs, K., Ma, W. J., & Reddy, L. (2017). Near-optimal integration of facial form and motion. Scientific Reports, 7(1):11002, 1-9. DOI

Perception & Action (PerAct) Lab

Prof. Dr. Katja Fiehler

Das PerAct Lab untersucht, wie Menschen Sinnesinformationen zur Steuerung von Handlungen nutzen. Dabei konzentrieren wir uns auf 2 Themen: Raumkodierung für Handlungen und sensomotorische Prädiktion.

Raumkodierung für Handlungen: Um erfolgreich mit der Umwelt zu interagieren, muss das menschliche Gehirn die Position des Handlungsziels repräsentieren. Uns interessiert, wie Menschen Handlungsziele räumlich repräsentieren und wie sie diese Rauminformation für die Kontrolle von Augen- und Handbewegungen nutzen, z.B. den Blick auf ein Zeigeziel richten oder ein Objekt greifen. Experimente in virtueller Realität ermöglichen uns, unsere Forschung zur Raumkodierung für Handlungen von kleinräumigen, statischen auf großräumige, dynamische Umwelten zu erweitern.

Sensomotorische Prädiktion: Da die Verarbeitung sensorischer Informationen Zeit kostet, können Prädiktionsprozesse helfen, diese zeitlichen Verzögerungen zu überwinden und unser motorisches System auf eine Reaktion am korrekten Ort zur korrekten Zeit vorzubereiten; so lässt sich z.B. beim Fangen eines Balls die zukünftige Position des eigenen Arms vorhersagen, um so die Bewegungen schnell an plötzliche Änderungen der Flugbahn anpassen zu können. Wir erforschen, wie Menschen sensomotorische Vorhersagen aufbauen und nutzen und wie diese Vorhersagen die Verarbeitung sensorischer Rückmeldungen beeinflussen. Wir nehmen an, dass Rückmeldungssignale in Abhängigkeit von der Güte der Prädiktion dynamisch hoch- und runterreguliert werden.

In unserer Forschung verwenden wir eine große Bandbreite von modernen Methoden in realen und virtuellen Umwelten, die von Augen-, Hand- und Ganzkörperbewegungs-messungen über psychophysische Experimente bis hin zu funktioneller Bildgebung (fMRT) reichen.

Ausgewählte Publikationen

• Fiehler, K., Brenner, E., & Spering, M. (2019). Prediction in goal-directed action. Journal of Vision, 19(9), 10, 1-21. DOI

• Gertz, H. & Fiehler, K. (2015). Human posterior parietal cortex encodes the movement goal in a pro-/anti-reach task. Journal of Neurophysiology, 114, 170-183. DOI

• Karimpur, H., Morgenstern, Y., & Fiehler, K. (2019) Facilitation of allocentric coding by virtue of object-semantics. Scientific Reports, 9, 6263. DOI

• Klinghammer, M., Blohm, G., & Fiehler, K. (2015). Contextual factors determine the use of allocentric information for reaching in a naturalistic scene. Journal of Vision, 15(13), 24. DOI

• Voudouris D., & Fiehler K. (2017). Enhancement and suppression of tactile signals during reaching. Journal of Experimental Psychology: Human Perception and Performance, 43(6), 1238-1248. DOI

Visual Perception of the Physical Properties of Objects

Prof. Roland W. Fleming, PhD

In meiner Arbeitsgruppe erforschen wir, wie das Gehirn die physikalischen und funktionellen Eigenschaften von Objekten in unserer Umgebung visuell einschätzt. Wenn wir unsere Umwelt betrachten, erleben wir sie nicht als bedeutungsloses Durcheinander von Linien, Farben oder Bewegungen. Stattdessen haben wir, wann immer wir unsere Augen öffnen, sofort Zugang zu einer Welt voller Details und bedeutsamer visueller Empfindungen. Wir erkennen Objekte und woraus sie bestehen und können einschätzen, wie sie sich verhalten wenn wir sie benutzen oder Kräfte auf sie ausgeübt werden. Je nachdem, wie die Objekte aussehen, können wir eine bemerkenswerte Bandbreite von Urteilen über ihre physikalischen Eigenschaften treffen, z.B. ob Lebensmittel frisch sind oder nicht oder auch ob ein Objekt stabil steht oder umfallen könnte. Ohne es zu berühren, können wir normalerweise anhand der Kurven und Konturen der Objektform und der Art und Weise, wie das Licht über seine Oberfläche spielt, herausfinden, wie es sich anfühlen würde, wenn wir es berühren würden. Meine Forschung zielt darauf ab, zu verstehen, wie das Gehirn die dreidimensionale Form von Oberflächen und die Materialeigenschaften von Objekten wie Elastizität, Transluzenz oder Viskosität abschätzt. Dazu verwenden wir eine Kombination von Methoden der Computergrafik, Bildanalyse, neuronaler Modellierung und psychophysischen Experimenten.

Ausgewählte Publikationen

• Phillips F* & RW Fleming* (2020). The Veiled Virgin illustrates visual segmentation of shape by cause. Proceedings of the National Academy of Sciences 201917565 (*the authors contributed equally to this work) DOI

• Fleming RW & KR Storrs (2019) Learning to See Stuff. Current Opinion in Behavioral Sciences. 30: 100–108. DOI

• Van Assen, JJ, Barla P & Fleming, RW (2018). Visual Features in the Perception of Liquids. Current Biology 28(3), 452–458. DOI

• Fleming RW (2017). Material Perception. Annual Reviews of Vision Science 3(1). 365-388. DOI

 Individuelle Unterschiede in der Wahrnehmung

Dr. Ben de Haas

Visuelle Wahrnehmung wirkt wie ein objektives Fenster zur Welt. Wenn wir betonen, etwas ‚mit unseren eigenen Augen‘ gesehen zu haben, wollen wir gerade nicht die subjektive Natur unserer Wahrnehmung betonen, sondern im Gegenteil, die objektive Wahrheit des Gesehenen. Nichtsdestotrotz kann sich unsere Wahrnehmung deutlich unterscheiden. Wir können das gleiche Bild betrachten, aber unsere Augen werden von unterschiedlichen Teilen des Bildes angezogen werden; wir können dasselbe Gesicht sehen, aber uneins darüber sein, wie vertrauenswürdig es ist; und manchmal können wir sogar dasselbe Objekt betrachten und über seine Farbe streiten.

Das Ziel unserer Forschung ist die folgenden Fragen besser zu verstehen:

1)      Wie unterschiedet sich Wahrnehmung von einer Person zur nächsten?

2)      Was sind die Mechanismen hinter diesen Unterschieden?

3)      Und wie formen sie unsere Person und unser Miteinander?

Um diese Fragen zu untersuchen, nutzen wir Blickbewegungskameras, Psychophysik und Hirnbildgebung in gesunden und klinischen Stichproben. Mehr Informationen gibt es hier.

Ausgewählte Publikationen

• de Haas, B., Iakovidis, A. L., Schwarzkopf, D. S., & Gegenfurtner, K. R. (2019). Individual differences in visual salience vary along semantic dimensions. Proceedings of the National Academy of Sciences, 116(24), 11687-11692. DOI

• Moutsiana, C., de Haas, B., Papageorgiou, A., Van Dijk, J. A., Balraj, A., Greenwood, J. A., & Schwarzkopf, D. S. (2016). Cortical idiosyncrasies predict the perception of object size. Nature communications, 7(1), 1-12. DOI

• de Haas, B., Kanai, R., Jalkanen, L., & Rees, G. (2012). Grey matter volume in early human visual cortex predicts proneness to the sound-induced flash illusion. Proceedings of the Royal Society B: Biological Sciences, 279(1749), 4955-4961. DOI

 Farbwahrnehmung

Prof. Karl Gegenfurtner, Ph.D. , Dr. Thorsten Hansen, Dr. Christoph Witzel

Die Wahrnehmung von Farben ist eine zentrale Komponente der visuellen Wahrnehmung. Farbe erleichtert die Wahrnehumng und das Wiedererkennen von Objekten und spielt eine wichtige Rolle in der Szenensegmentierung und dem visuellem Gedächtnis. Aktuelle Studien zeigen dass Farbe nicht isoliert, sondern gemeinsam mit Informationen über Helligkeit und visueller Form verarbeitet wird, um eine möglichst genaue und robuste Repräsentation der visuellen Welt zu erreichen. Dabei spielen höhere kortikale Mechanismen der Farbwahrnehmung eine entscheidende Rolle. Weitere Informationen zur Farbwahrnehmung erhalten Sie hier und zum Farblabor hier.

 

Ausgewählte Publikationen

• Witzel, C., & Gegenfurtner, K. R. (2018). Color Perception: Objects, Constancy, and Categories. Annual Review of Vision Science, 4(1).

• Hansen, T., Olkkonen, M., Walter, S. & Gegenfurtner, K. R. (2006). Memory modulates color appearance. Nature Neuroscience, 9(11), 1367–1368.

• Gegenfurtner, K.R. (2003) Cortical mechanisms of colour vision. Nature Reviews Neuroscience, 4, 563-572. [PDF]

• Gegenfurtner, K.R. & Kiper, D.C. (2003) Color vision. Annual Review of Neuroscience, 26, 181-206.[PDF]

Haptische und Multisensorische Wahrnehmung

Prof. Dr. Knut Drewing

Wahrnehmung ist ein aktiver Prozess, bei dem wir gezielt sensorische Informationen sammeln. Haptische Wahrnehmung ist das beste Beispiel für dieses Prinzip. Wenn wir beispielsweise die Weichheit eines Objekts haptisch beurteilen möchten, müssen wir zuerst das Objekt angemessen explorieren, um die relevanten sensorischen Informationen zu erhalten. Oft drücken wir ein weiches Objekt wiederholt ein, um ein Urteil über seine Weichheit abgeben.

Im HapLab untersuchen wir, wie Menschen natürliche Explorationen bei der haptischen Wahrnehmung steuern, und wie Informationen unterschiedlicher Art in die Wahrnehmung eines Reizes integriert werden. Wir haben zum Beispiel festgestellt, dass Menschen Objekte als weicher wahrnehmen, wenn sie bereits vorher glauben, dass diese Objekte relativ weich sind (Metzger & Drewing, 2019). In einer anderen Studie haben wir mit einem idealen Beobachtermodell modelliert, wie Menschen seriell gesammelte Texturinformationen in der Wahrnehmung im Verlauf der Exploration integrieren (Lezkan, Metzger & Drewing, 2018). Weitere Ergebnisse legen etwa nahe, dass Menschen ihre Explorationsbewegungen fein abstimmen, um die Wahrnehmung zu optimieren (Zoeller, Lezkan, Paulun, Fleming & Drewing, 2019). Andere Forschungsschwerpunkte im HapLab sind die verschiedenen Dimensionen wahrgenommener Weichheit (Cavdan, Doerschner & Drewing, 2019), haptische Salienz und haptische Suche, multisensorische Integration (z.B. Größen-Gewichts-Illusion), Signale in der haptischen Wahrnehmung von Umwelteigenschaften (Zeit, Raum, Weichheit, Textur, Form) und emotionale Reaktionen auf haptische Stimulation (Drewing, Weyel, Celebi & Kaya, 2018).

 

Typisches visuell-haptisches VR-Setup, 3D-gedruckte und maßgeschneiderte Stimuli

 

Die Hauptkompetenzen des Labors liegen in Verhaltens- und Wahrnehmungsaspekten der haptischen und multisensorischen Signalverarbeitung und der damit verbundenen Bewegungssteuerung. Gegenwärtig verwenden wir in erster Linie ein visuell-haptisches VR / AR-Setup, das ein Force-Feedback-Gerät, Kraftsensoren und eine Stereodarstellung visueller Reize umfasst, sowie einen hochauflösenden 3D-Drucker (Stratasys Objet Pro), vibrotaktile Aktuatoren und verschiedene maßgeschneiderte Stimuli.

 

Ausgewählte Publikationen

• Cavdan, M., Doerschner, K., & Drewing, K. (2019). The Many Dimensions Underlying Perceived Softness: How Exploratory Procedures are Influenced by Material and the Perceptual Task. IEEE World Haptics Conference, WHC 2019 (pp. 437-442), IEEE. DOI

• Drewing, K., Weyel, C., Celebi, H., & Kaya, D. (2018). Systematic Relations between Affective and Sensory Material Dimensions in Touch. IEEE Transactions on Haptics 11(4), 611-622. DOI

• Lezkan, A., & Drewing, K. (2018). Processing of haptic texture information over sequential exploration movements. Attention, Perception, & Psychophysics, 80(1), 177-192. DOI

• Metzger, A., & Drewing, K. (2019). Memory influences haptic perception of softness. Scientific Reports, 9(1), 1-10. DOI

• Zoeller, A. C., Lezkan, A., Paulun, V. C., Fleming, R. W., & Drewing, K. (2019). Integration of prior knowledge during haptic exploration depends on information type. Journal of Vision, 19(4), 1-15. DOI

 

Wahrnehmung und Augenbewegungen in natürlichen Szenen

Prof. Karl Gegenfurtner, Ph.D.

Wir studieren die Prinzipien die der Selektion von Fixationszielreizen unter natürlichen visuellen Bedingungen zugrunde liegen. Wir untersuchen Fixationsmuster und sakkadische Verzögerungen in den Augenbewegungen von Probanden bei Präsentation natürlicher Bilder und Videos natürlicher Szenen und fragen, wie Stimuluseigenschaften wie Kontrast, Farbe und räumlich-frequenzieller Inhalt mit top-down mediierten Erwartungen interagieren.

 

Ausgewählte Publikationen

• Thorpe, S., Gegenfurtner, K.R., Fabre-Thorpe, M. & Bülthoff, H.H. (2001) Detection of animals in natural images using far peripheral vision. European Journal of Neuroscience, 14, 869-876. <Get PDF file>

• Gegenfurtner, K.R. & Rieger, J. (2000) Sensory and cognitive contributions of color to the perception of natural scenes.Current Biology, 10, 805-808. <Get PDF file>

Augenbewegungen und Wahrnehmung

Dr. Jutta Billino , Dr. Doris Braun , Prof. Karl Gegenfurtner, Ph.D.

Menschen bewegen ihre Augen, entweder um eine neue Lokation im visuellen Feld zu fixieren (sakkadische Augenbewegungen), oder um die Fixation auf ein sich bewegendes Objekt beizubehalten (glatte verfolgende Augenbewegungen). Diese Augenbewegungen verursachen zwei Probleme: Erstens muss eine genaue Zielorientierung und Ausführungszeit für die Augenbewegungen errechnet werden. Deshalb untersuchen wir, welche visuellen Signale verwendet werden, um diese Augenbewegungen zu steuern, d.h. wie visuelle Wahrnehmung die Kontrolle über Augenbewegungen beeinflusst. Zweitens ändert die Ausführung von Augenbewegungen das visuelle Bild auf der Retina. Damit eine klare und stabile Wahrnehmung der Umwelt beibehalten werden kann, muss das visuelle System diese Retinalbildbewegung verrechnen können. In diesem Kontext untersuchen wir, wie visuelle Wahrnehmung von der Ausführung mitlaufender Augenbewegungen beeinflusst ist.

Unser experimenteller Ansatz verbindet psychophysikalische Maße mit dem Tracking von Augenbewegungen, um die bidirektionale Verbindung zwischen der Wahrnehmung und den Augenbewegungen untersuchen.

 

Ausgewählte Publikationen

• Schütz, A.C., Braun, D.I., Kerzel, D. & Gegenfurtner, K.R. (2008) Improved visual sensitivity during smooth pursuit eye movements. Nature Neuroscience, 11, 1211-1216. DOI

• Spering, M. & Gegenfurtner, K.R. (2008). Contextual effects on motion perception and smooth pursuit eye movements. Brain Research, 1225, 76-85. DOI
• White, B.J., Stritzke, M. & Gegenfurtner, K.R. (2008) Saccadic facilitation in natural backgrounds. Current Biology, 18, 124-128. DOI

Visuell geleitetes Bewegungsverhalten

 Dr. Jutta Billino

Wir untersuchen die komplexen Mechanismen, die in die Interaktionen von Menschen mit ihrer Umwelt involviert sind. Die Vielseitigkeit des menschlichen visuo-motorischen Systems kann illustriert werden, wenn wir uns die Einfachheit ansehen, mit der wir alltägliche Aufgaben wie das Greifen nach Objekten unter variierenden visuellen Inputbedingungen. Zum Beispiel können wir einfach fragile Objekte wie Eier greifen (oder sogar erlernen diese zu jonglieren). Auf der anderen Seite ist es immer noch sehr schwierig technische Systeme zu entwickeln, die auch nur ein Subset der Möglichkeiten des menschlichen motorischen Systems erfassen können.

Eine der Fragen, die wir in den letzten Jahren intensiv untersucht haben ist, ob die visuelle Leitung motorischen Verhaltens durch andere Prozesse (und neuronale Substrate) als unsere bewusste (visuelle) Wahrnehmung erreicht werden. Studien an neurologischen Patienten implizieren solch eine Arbeitstrennung im menschlichen Gehirn und es wird impliziert, dass diese Dissoziation zwischen Vision für Aktion und Vision für Wahrnehmung außerdem im gesunden menschlichen Gehirn gefunden werden kann. Diese Ansicht erfährt Unterstützung von Studien, die herausfanden, dass Greifen weniger stark von visuellen Illusionen als die Wahrnehmung beeinflusst wird. Unsere Resultate sind hierzu konträr und zeigen, dass das motorische System sehr ähnliche Prozesse und neuronale Signale als visuelle Wahrnehmung benutzt. Das impliziert, dass das Gehirn kohärenter ist, als derzeit von einigen Theorien angenommen und vorgeschlagen.

Wir verwenden ein Optotrak 3020 System, um präzise Position und Timing von Greifen und Positionierungsbewegungen zu messen. Um das Optotrak zu steuern verwenden wir eine spezielle Matlab Toolbox (oder C++).

 

Ausgewählte Publikationen

• V. H. Franz. Planning versus online control: Dynamic illusion effects in grasping? Spatial Vision, 16(3-4):211 - 223, 2003. [PDF]
• V. H. Franz. Action does not resist visual illusions. Trends in Cognitive Sciences, 5(11):457 - 459, 2001. [PDF]
• V. H. Franz, K. R. Gegenfurtner, H. H. Bülthoff, and M. Fahle. Grasping visual illusions: No evidence for a dissociation between perception and action. Psychological Science, 11(1):20 - 25, 2000. [PDF]