EEG (et biofeedback) pour les arts... du feedback !
Notre visite à un symposium organisé à Bruxelles, et nos échanges avec les organisateurs et artistes
1. L'annonce : Symposium Tangible Feelings. 16 - 18 Septembre 2011, Bruxelles
"Durant ces 3 jours de symposium associant présentations, exposition, concert et atelier, nous tenterons d'explorer le potentiel de l'EEG et du biofeedback dans le domaine artistique en comparant et discutant différentes technologies et projets à la croisée des arts et de la science." Avec: Peter Beyls, Christophe De Boeck (Staalhemel), Thierry Castermans (Numediart), Mattia Casalegno & Enzo Varriale (Unstable Empathy), Alexis Chazard (Post traumatic voyager), Kiel Long (The static organ), Luciana Haill (IBVA), Valery Vermeulen (EMO-Synth),...
Plus d'info & inscription: imal.org ... mais
le workshop est complet!
2. Mon compte-rendu d'une brève visite
J'ai pu faire un saut à Bruxelles samedi. Mon impression : les EEG (capteurs d'ondes cérébrales) ne peuvent pas faire actuellement grand chose pour l'art. Pour deux raisons
- les signaux reçus sont quantitativement insuffisants pour donner de la substance à une oeuvre ; les résultats produits et montrés à Bruxelles sont assez plaisants, mais cela tient plus à la richesse et à l'orignalité des moyens d'expression (plaques de métal utilisées comme haut parleurs, surface liquide agitée, etc). qu'à l'apport des EEG, qui se limitent pratiquement à une assez vague "intensité cérébrale",
- il n'est pas facile au porteur de casque de bien comprendre comment générer des signaux intéressants, et par là d'apprendre une forme de stratégie pour influer intelligemment/plaisamment sur le résultat produit.
Cela pourrait devenir plus intéressant à terme si :
- l'on dispose de capteurs plus riches
- les artistes proposent aux spectateurs/acteurs/utilisateurs une forme de mode d'emploi, et conçoivent leurs oeuvres pour qu'il puisse s'instaurer une sorte de dialogue.
Pour quelques années encore, les interfaces récentes actuelles (mocap, et en particulier kinect) sont sensiblement plus prometteuses. Mais ce n'est qu'un point de vue. Je mets le message en copie aux organisateurs, qui (j'aimerais bien) contrediront mon relatif pessimisme.
3. La réponse de Marie-Laure Delaby, organisatrice du symposium
(j'ai corrigé la ponctuation et l'accentuation, pour laquelle elle s'excusait, ayant tapé son message sur un clavier... turc). :
Vos remarques sont tout a fait pertinentes et je ne peux que les nuancer au lieu de les contredire.
D'une manière générale, il nous faut distinguer la manière d'aborder l'interactivité via le mouvement corporel, qui est un phénomène tangible et perceptible par tous, et celle de l'interactivité par les ondes cérébrales. Ces dernières, encore fort liées au monde médical et scientifique, ne sont pas perceptibles par l'individu qui bien souvent est inconscient de son état mental. La possibilité d'interaction par les ondes cérébrales nécessite déja la faculté de pouvoir contrôler son activité, par exemple par la capacité de se relaxer ou concentrer de manière consciente au moyen de la méditation ou d'autres exercices préalables.
Vous noterez, que nous sommes éloignés de la simplicité d'interaction permise par la Kinect ou autres outils a la mode. Au delà de cela, la stabilité et fiabilité des interfaces cerveau-ordinateur (BCI) varie d'une marque ou prototype a l'autre. L'interface prototype d'iMEC utilisée par Christophe De Boeck est plus solide et permet des résultats plus fiables sur un individu en mouvement que celle d'Emotiv qui, pourtant comparable a certains équipements médicaux, procure des resultats moins fiables.
Au delà de la fiabilité matérielle des ces interfaces, reste l'interprétation des données, qui dépend de l'artiste et du moyen qu'il aura choisi pour ce faire : une calibration sur base de tests sur divers individus (comme pour le projet de Christophe De Boeck), une interprétation basée sur les données fournies par un système proprietaire (Emotiv). Ici je laisse le soin au artistes de défendre les moyens qu'ils auront utilisés.
Vous comprendrez à ma lecture que ce domaine reste expérimental ; cependant cette expérimentalité est d'une grande importance. Il est essentiel que les artistes puissent contribuer à ce domaine en tentant de s'approprier ces technologies et d'explorer leur potentiel en agissant en tant que chercheurs, tant sur le sens artistique et conceptuel que sur la technique. Nous sommes convaincus que cette événement alliant symposium, exposition et atelier sur le sujet de l'EEG pour les arts contribue a l'avancement dans ce domaine en permettant aux artistes et chercheurs de se rencontrer, d'échanger et de faire germer de nouvelles idées. Et d'autres part, nous soutenons la nécessité de faciliter l'accès du public à un domaine qui, autrement, resterait dans le giron des laboratoires et universités. Au delà des arts établis, il faut pouvoir donner place aux arts potentiels en les rendant accessibles a tous.
4. La réponse de Kiel Long
Kiel Long, l'un des principaux intervenants au symposium de Bruxelles, nous fait la réponse ci-dessous, qui explique sa position et le sens de sa recherche. Son point de vue et le mien ne sont pas inconciliables, et nous convergeons au moins sur un point : l'intérêt à terme du travail sur ces technologies et l'apport possible des artistes. Kiel Long a l'intention de venir prochainement à Paris pour montrer son travail et nous ne manquerons pas d'en informer nos lecteurs.
I would like to disagree with your initial statement that EEG cannot do much for art at present.
Our industry (digital media and digital/interactive art) is one that, I feel, is still in its infant state and should be viewed with an experimental approach.
My motives for using EEG were largely influenced from my work in music production.
John Cage had observed aspects of electronic instruments that have heavily influenced my initial desire to use new methods for musical and audio visual interaction (this developing into Mind Pool (the liquid feedback / interface). Cage had noted that the designers of the electronic or midi instruments had developed these based on existing musical instruments. this can be seen with midi keyboards ( based on pianos etc), midi drum kits ( based on percussive instruments ) and others such as midi wind instruments ( following the other wind instruments ). All of these " new " instruments encourage the composer / interactor to engage with the instrument in the same way it has been used for many many years. If we continue to produce these forms of interaction then we are in danger of repeating ourselves.
It is left for the artist to find new means of interaction that will inspire a radical change in the way we produce, engage and accept art and media.
From this I hope we can agree that EEG can do many things for art at both present and in the future. EEG and other methods for interaction that move away from ( what I refer to as ) "touch - response" interaction allow us to move forward in creative applications.
I will however agree (partially) with your statement of sensors and level of information available and would compare this to the difference between relying on communication with and without language (hand signing, written or vocal). EEG and other biofeedback devices (in my use) may only give changes of intensity such as level of calmness to level of intense concentration; however, these levels are of subjective experience and cannot be conveyed through button interfaces (without difficulty).
I understand that people would maybe wish to, for example, imagine a picture and see this projected onto a screen. This is too far from our understanding of the brain (the biological organ), the mind (I think in French is l'esprit , the unknown and unexplainable) and technology; and I feel we may never be able to reach this point given the complexity of the mind.
Although the feedback is less than we would wish we can still " see " the environment ( and changes to environment ) through ourselves as we interact. This is measurements that we could never achieve through standard interfaces and this entirely subjective response to the world more than compensates for the " vagueness " of the reading.
I understand that many interactive works encourage the user or give instruction on how to achieve a state.
I have intentionally left this from my work ( Mind Pool ). My ideal setting for a user would be that I explain how the feedback works ( that it measures brain activity and feeds it back through a liquid with higher activity resulting in a faster wave pattern and lower / calmer brain functioning producing slower wave pattern ) and then leave them to interact.
They should ( and many who spend some time with the work do ) experiment with the piece and witness how changing actions such as talking to others, viewing environmental changes, closing eyes or viewing the room more actively, build a relationship with the piece. From this experimentation often develops a reflection back towards the " self " with users " experimenting " with trying to evoke subjective experiences as a means of control.
This form of learning in EEG is known as " operant conditioning " and builds knowledge from action - response; this, I feel, is how a dialogue between the user and the work is produced. This does require a level of investment form the participant but is ultimately rewarding.
This form of learning allows the user to set their " challenge " (maybe observing the environment through EEG or possibly control (faster waves, slower waves at will ) ) based on their personal belief of the skills they possess.
This allows for a change in the skills (or level of skills) required to interact.
If I was to set a " challenge " or goal, users would feel they are unable to achieve this and would be prevented from entering an immersion state.
This follows closely with the theory of " Flow " ( Mihály Csíkszentmihályi ) that can be explained as an " optimal experience ".
I believe that my work allows the interactor to maintain an optimal mix of skills required and challenge presented through this ability to shift/change the " goal " personally. This allows them to maintain interest and more importantly maintain the state of flow.
I hope that this explains my reasoning for leaving the interaction as " goalless " as if we see it this way it is ultimately a constant shifting of " goals " (although user is unaware until they decide to create the goal).
I would agree that EEG will not replace the computer keyboard and we will not use it to externalise our imagination however we can use it as a more direct insight to our subjective experiences. If we had the same control of EEG as we do (for example) our language, I feel that we may loose this exposing of the " uncontrollable " internal changes.
I see EEG use in the commercial areas not as a replacement for " gaming " controllers but as an affective measurement to be used in the designing of adaptive gaming; for example if a gamer is finding the game too hard the computer can adjust the levels to maintain interest.
I will agree that there needs to be work on the sensors to make their connection to the human more acceptable and reliable (as their is at present a trade off between these two factors), but view this as the infant stages of brain computer interfaces and there are currently sensors in development to answer this.
I hope that from this reply I may have answered your statements and presented the argument that EEG (and other forms of biofeedback) is doing many vital things for the arts and interactive systems.