Eye Conductor is a musical interface that allows people with physical disabilities to play music through eye movements and facial gestures. Using a $99 eye tracker and a regular webcam, Eye Conductor detects the gaze and selected facial movements, thereby enabling people to play any instrument, build beats, sequence melodies or trigger musical effects. The system is open, designed for inclusion and can be customised to fit the physical abilities of whoever is using it.

Eye Conductor was built in 8 weeks as my final project at www.ciid.dk
Made by Andreas Refsgaard - www.andreasrefsgaard.dk

Thanks to Scott Leinweber for filming


***Why make Eye Conductor?***
Imagine playing a musical instrument without using your hands. It can be hard to conceive and even harder to actually do. For a lot of people with physical disabilities the lack of fine motor skills exclude them from producing music on traditional instruments.
With Eye Conductor I wanted to push the boundaries of the interaction design by exploring how eye and face tracking technologies could be used for creative purposes. I believe that the ability to express oneself artistically should be available to all, regardless of physical disabilities or challenges. Therefore I wanted to create a solution that operated in the same domain as traditional instruments. Something that gives people a lot of freedom, but also requires them to practice, just like a regular instrument.


***User research***
The project relied heavily on user research, and I visited several schools and housing communities for people with physical disabilities, as well as families with children in wheelchairs in their private homes.
The people I meet were extremely diverse in terms of physical abilities, but music seemed to be a unifying interest for them all.
At Jonstrupvang, a home for people with different disabilities, "Music Thursdays" was the activity that gathers the most people every week, despite the fact that almost half the people doesn't produce any sound, because of physical inability to do so.
About half of the people I tested early stage prototypes with were unable to speak, but as soon as I showed them my interactive prototypes we immediately connected.


***Insights*** 
From all my user insights the following three stood out:
1) Regardless of physical abilities music is a major interest, which has the ability to connect people (abled or disabled) through a shared activity.
2) The ability to create music functions as an important identity marker and a channel for expressing deep emotions, but often requires aid or execution by others.
3) The technology and the hardware exists, but tools for creating music in real time for people who cannot use their arms and fingers are missing.


***How Eye Conductor Works***
Eye Conductor translates eye gaze into musical notes or beats in a drum sequencer. Raising your eyebrows can be used to transpose all played notes up one full octave while opening your mouth can add a delay, reverb or filter effect to the instrument being played. Thresholds for facial gestures can be adjusted and saved to fit the unique abilities of different users.
Eye Conductor is programmed in Processing and early prototypes uses FaceOSC by Kyle McDonald for face tracking.

Eye Conductor - Play music with eye movements and facial gestures

Le handicap physique peut présenter un frein à la participation à des activités créatives. Dessiner, composer de la musique, autant d'occupations que nous prenons pour acquis mais dont l'accès est limité aux personnes qui ne possèdent pas un usage complet de leurs bras et de leurs mains. Pour palier ce problème, un étudiant en design a créé un dispositif qui permettent aux personnes handicapées de s'exprimer musicalement à partir des mouvements de leurs globes oculaires. Mieux encore : la technologie coûte une centaine d'euros seulement.

Pour son projet de fin d'études à l'Institut de Design Interactif de Copenhague, Andreas Refsgaard a construit le « Eye Conductor » à l'aide d'un [capteur de mouvements oculaires](http://prostheticknowledge.tumblr.com/post/140519452291/eye-conductor-student-tech-project-by-andreas) et d'une webcam lambda. Il écrit : « Je voulais repousser les limites du design interactif en explorant les possibilités des technologies de détection de mouvements faciaux et oculaires dans un but créatif. »

Le logiciel permet à l'utilisateur de créer des rythmes à partir de différents instruments, d'ajouter des effets (comme la réverbération), de descendre ou de monter d'une octave, etc. Il peut également sélectionner des notes ou des accords en « défilant » à travers les menus de l'interface à l'aide du regard. Enfin, le calibrage du défilement en question peut être ajusté en fonction de la mobilité du visage d'un utilisateur spécifique.

Refsgaard a développé son projet en s'aidant de la recherche en ergonomie, et en visitant des établissements consacrés aux personnes handicapées (écoles, maisons de repos, etc.). Il s'est rendu compte que la plupart des personnes qu'il rencontrait adoraient la musique, et que celle-ci permettait de créer un lien fort avec autrui chez les individus qui ne pouvaient pas s'exprimer oralement.

« Pour de nombreuses personnes handicapées, les limitations motrices les empêchent de jouer de la musique sur des instruments traditionnels. Je pense que la possibilité de s'exprimer à travers la musique devrait être le lot de tous, indépendamment des capacités et des handicaps, » explique Refsgaard.

Motherboard

motherboard show

Tech

Un étudiant a créé un système qui permet aux handicapés moteurs de jouer de la musique sans nul besoin de leurs bras ni de leurs mains.

FYI.

This story is over 5 years old.

Un instrument de musique qui utilise les mouvements oculaires et faciaux

FYI.

This story is over 5 years old.

Un instrument de musique qui utilise les mouvements oculaires et faciaux

Dernière étape pour t'abonner à la newsletter VICE...