Roxame, modélisation d’un(e)artiste

Pierre Berger, Afscet, 7 décembre 2018

Introduction

Cette présentation vise à montrer, concrètement, le développement du modèle au fil des ans, de 2001 à 2018, en distinguant quatre volets : capacités d’expression, sources d’inspiration, émotions/comportement, dialogue avec l’interlocuteur.

Capacités d’expression

Un artiste, c’est d’abord une capacité d’expression à travers un média. Pour Roxame, il s’agit de peinture, ou plus exactement de création d’images numériques

Les premières images créées par Roxame étaient pauvres : gros pixels, raideur.

Elles se sont ensuite affinées, avec parfois de plaisantes surprises

Puis les couleurs sont devenues plus plaisantes, ici inspirées par la palette d’aquarelliste de Pierre Berger (ciels, verts naturels, ocres et bruns).

Une gamme de formes stylisées est venue enrichir les motifs.

Sans atteindre la sophistication d’un auteur comme Harold Cohen, pionnier largement méconnu.

Mais tout cela restait bien plat. C’est l’introduction de dégradés qui est venue donner modelé et profondeur à l’image. Cette image, intitulée a posteriori Landing (par référence à un épisode de Starwars) est la première qui a été justé vraiment encourageante.

Mais les traits restent rigides. Comment leur donner une souplesse évoquant la main vivante d’un artiste. Patrick Tresset a cherché la solution dans un bras de robot un stylo, apportant du « jeu ».

C’est une solution algorithmique qui a été retenue pour Roxame, avec une démarche par étapes successives, chacune visant le but mais faisant une petite erreur d’angle, jusqu’au moment où l’on est à proximité du but.

Et voilà, à la fois la souplesse des traits et les couleurs modelées.

Et pourquoi ne pas s’amuser un peu en faisant des bandes dessinées.

Mais en réalisé, Roxame faisait « un peu n’importe quoi » (fonction random), et c’est son auteur qui sélectionnait les œuvres intéressantes. Finalement, l’artiste, c’était toujours lui.

Mesurer la beauté

Pour aller plus loin, il fallait programmer des critères de choix. Mais peut-on mesurer la beauté, du moins la mettre en algorithmes ?

Oui… dans une certaine mesure. En se servant de la variété, par exemple. L’image de gauche est monochrome, elle a une variété nulle. L’image de droite est « de la neige », sa variété est totale, puisque chaque pixel est différent de ces voisins. La beauté doit donc se situer quelque part entre les deux. Pour les images de Roxame, en tous cas dans le format d’origine (640.480 pixels), une sorte d’optimum se trouve aux environs des deux tiers.

On peut trouver une analogie avec la formule de la résonance. Si nous considérons que le spectateur est le résonateur, et que empiriquement l’optimum est sensiblement aux deux tiers, alors la « beauté », ou son ressenti, dépendra de deux facteurs :
- la différence entre la variété de l’image et la variété optimale (transposant ce qui est pour le résonateur sonore, l’écart entre la fréquence de base du résonateur et la fréquence qui l’excite) ;
- la forme sera d’autant plus haute et pointue que le spectateur sera sensible à cette forme d’art ; s’il est peu sensible, il ne sera jamais très impressionné, et son niveau d’impression variera peu avec la variété ; en revanche, s’il est sensible, il vibrera fortement aux « bonnes » images et très faiblement aux autres.

Ne prenons pas cette modélisation pour plus qu’elle n’est, une simple approximation. Mais en pratique, elle fonctionne et est utilisée avec succès par Roxame.

Cela a conduit à développer une série d’autres critères (richesse des couleurs, bonne répartition des formes dans la page, etc.). Mais pour l’instant, cette partie est un peu en sommeil. Il y a eu un échec caractérisé en cherchant la « richesse sémantique », c’est-à-dire en considérant comme plus « belles » les images où un logiciel de reconnaissance peut « voir » quelque chose (par exemple détecter un visage, ce que font très bien tous les appareils numériques). Mais en pratique, pour Roxame, cela reste un objectif à rechercher.

Voir en fin de document des orientations sur la recherche de la beauté en termes d’apprentissage.

Sources d’inspiration : les documents

Mais au bout d’un certain temps, l’auteur s’est lassé des constructions abstraites, et a cherché « l’inspiration » dans des images extérieures, obtenues avec une caméra ou dans sa photothèque (actuellement, une dizaine de milliers d’images, en y comprenant les photos de famille). (Partie gauche du schéma, qui est aussi maintenant l’interface utilisaeur de Roxame).

Tout simplement en ajoutant des formes sur la photographie

ou en appliquant des filtres … … voire toute une série de filtres successivement

ou toutes sortes de transformations

Mais Roxame est allée assez loin, en utilisant des techniques de traitement d’images venant d’autres disciplines (médecine, par exemple), comme la segmentation. Ici, la photo d’une vielle porte vermoulue (à gauche) a été découpée en régions (à droite). Techniquement, une région est une partie connexe de l’image où tous les pixels ont une valeur identique (ou similaire).

Ensuite, en travaillant sur chaque région, en ajoutant des formes (ici rectangles et elllipses), des dégradés, etc. on peut obtenir des images surprenantes, parmi les plus belles qu’a créé Roxame.

On peut aussi avoir des images surprenantes en utilisant des classes. (Les classes se définissent comme en théorie des ensembles, et peuvent se répartir dans l’image en multiples endroits non connexes). Ici,sur chaque classe, on a appliqué une « texture », choisie en fonction de la couleur, mais aléatoirement dans une collection,

Toujours avec des classes et textures, mais cette fois en partant d’une image abstraite.

Emotions et comportements

Mais un(e) artiste, ce n’est pas seulement une capacité d’expression et des sources d’inspiration, c’est aussi un caractère, des émotions. Ce sujet est actuellement très étudié par les roboticiens pour deux raisons :
- les émotions peuvent être bon moyen de trouver les bons comportements (la faim conduit à chercher une source d’alimentation, électrique en général ; la peur conduit à des comportements de protection adapté à certaines circonstances)

- l’expression des émotions conduit à des rapports plus faciles avec les utilisateurs humains (domaine particulièrement travaillé par les Japonais).

La modélisation des émotions peut être d’une grande complexité. Ici un exemple cité par Zeeman, appliquant la théorie des catastrophes au comportement d’un chien face à une menace.

Roxame se contente pour l’instant d’un tableau de 27 « humeurs », calculés à partir de trois paramètres : énergie, ouverture, bonheur. Ce domaine reste à développer mais se prête bien à certaines expressions graphiques.

Ces trois images, par exemple, pourraient se titrer « Je t’aime un peu, beaucoup, à la folie), sont obtenues à partir d’une même photographie en faisant varier seulement trois paramètres : épaisseur des touches, saturation (couleurs plus ou moins vives) et traits allant du rigide à l’échevelé.

Dialogue avec l’(les) interlocuteur(s)

Le quatrième volet du « modele de l’artiste », c’est vous, la relation qu’il (elle) entretient avec vous. Cette partie est pour l’essentiel à développer. Il s’agit notamment d’aider le visiteur à comprendre l’œuvre, d’entretenir ses attentes (tension narrative, ce point joue surtout pour les œuvres à déroulement temporel) et d’interagir avec lui.

Dans son état actuel (décembre 2018) Roxame propose à son interlocuteur plusieurs modes de travail.

1. Utiliser Roxame comme un outil, ou un atelier. Le dictionnaire propose un grand nombre de fonctions élémentaires, permettant de choisir une forme, une couleur, une position dans la page. Attention cependant : Roxame garde en générale une certaine liberté (fonction aléatoire) dans l’exécution.
L’interlocuteur peut aussi choisir un des répertoires de photographies, et une image donnée dans ce répertoire, puis lui appliquer les transformations qu’il souhaite (filtres, segmentation, etc.).

2. Demander à Roxame d’exécuter un de ses « styles » prédéterminés (en général, après avoir choisi une image).

3. Demander à Roxame un parcours dans différents documents, ou différents styles.

4. Le plus intéressant, sur le plan théorique et esthétique, est demander à Roxame de « faire au mieux » selon ses propres critères, tant pour le choix des images que des styles. Pour jouir au mieux de ses ébats, il y a intérêt alors à passer en mode « projection », où les images occupent la totalité de l’écran.

Les boucles de l’évaluation esthétique

Roxame dispose (dans son dictionnaire et ses annexes) d’une description de ses styles comme de ses documents, qui comportent deux critères actuellement utilisés dans ses choix :
- qualité, évaluée comme expliqué plus haut
- « originalité », exprimée par le nombre de fois où le document ou le style a été utilisé.

Ces critères sont ajustés à chaque utilisation (lissage exponentiel pour la qualité, incrémentation pour le nombre de passages).

On peut (avec une bonne dose d’optimisme) considérer le dictionnaire comme une sorte de réseau neuronal, et cette fonction d’ajustement est une forme de rétropropagation, et même de GAN (Generative adversarial network). Sur l’exemple ci-dessous, on voit l’évolution de la note du style 9 (classe/texture) :

!!!!work0009_
before !!!!work0009_ 12 / 113 = 10
Dscore difgratio 99 score 0 Regions 2932 score 200 globscore 200
after !!!!work0009_ 21 / 114 = 18
zCorpus/History Berlin_1949.JPG-116484