Au Studio Stelluti, Luc Steels et son équipe ont analysé toutes les peintures présentées lors de la prestigieuse exposition La Pelle de Luc Tuymans au Palazzo Grassi de Venise. Ils ont utilisé différentes techniques d’IA, telles que la reconnaissance de forme et la vision par ordinateur, le Web sémantique, le traitement automatique du langage naturel et l’apprentissage automatique.

Les conclusions de leur étude devraient déboucher sur une collection d’outils d’IA, appelée FLOW, qui aidera Luc Tuymans et d’autres artistes dans leur recherche visuelle ou leurs décisions artistiques. L’IA sera-t-elle à l’artiste du XXIe siècle ce que la camera obscura fut à Vermeer au XVIIe siècle ? Vous trouverez ci-dessous des extraits d’une séance de travail entre l’artiste et le scientifique.

L’IA peut-elle comprendre l’art ?

Luc Steels : Selon moi, l’IA est encore très loin de pouvoir interpréter l’art dans toute sa complexité. Pour l’instant, du moins. Mais je ne pense pas qu’elle y parviendra de mon vivant.

Luc Tuymans : Certains affirment qu’elle y arrivera.

LS : En effet, d’aucuns le prétendent, mais ce discours répond à la mode actuelle. Autrefois, l’IA était sous-estimée ; les gens étaient convaincus qu’elle ne mènerait nulle part. Maintenant, la tendance est plutôt à la surestimation de ses possibilités. Beaucoup pensent qu’il suffit d’acheter de l’IA, d’en saupoudrer son ordinateur et d’attendre que le miracle se produise. Cela n’arrivera pas. Néanmoins il est fascinant, dans le cas de l’art en particulier, de voir ce qu’il se produit avec des algorithmes qui ont été conçus pour reconnaître des images, d’observer ce qu’il se passe quand on les place face à une image. C’est une première étape.

LT : Mon but était de découvrir si l’IA était assez intelligente non seulement pour reconnaître une image, mais aussi pour en retrouver la source. Je travaille sur la base de sources. L’IA est-elle assez intelligente pour faire le lien entre une image et sa source ? Je voulais observer jusqu’où allait le processus de reconnaissance. La partie la plus intéressante du projet est l’étude des inexactitudes. Sur quoi pourraient déboucher les erreurs, sur le plan créatif ?

L’IA considère-t-elle un tableau de la même manière que nous ?

(Ils discutent de l’œuvre Twenty Seventeen, 2017.)

LS : Nous avons utilisé cinq algorithmes différents. L’objectif était de déterminer quelle partie de l’œuvre attire l’attention, sur quel élément le regard du spectateur se porte en premier lieu. Nous avons constaté que plusieurs algorithmes étaient complètement à côté de la plaque. Ils indiquaient des éléments manquant totalement de pertinence. Un seul proposait une réponse relativement acceptable.

LT : Oui, en plein dans le mille même : le blanc de l’œil. C’est la partie la plus éclairée de l’image, ce qui donne presque l’impression que le visage sort du tableau. C’est la première chose que l’on perçoit. 

LS : L’algorithme est une collection de réseaux. Il s’agit d’un réseau neuronal qui a été entraîné à l’aide de données issues de l’oculométrie – des techniques permettant de déterminer ce que les gens regardent. Mais cette technologie utilise des photographies, des représentations du monde et non des peintures. Certains algorithmes indiquaient aussi les lèvres.

LT : Ce qui est également correct, mais les yeux sont le premier élément qui capte le regard.

LS : Ensuite, nous avons choisi une autre image, plus complexe : The Valley (2007).

LT : Il peut sembler évident que les yeux sont le centre de l’attention dans cette peinture. En réalité, il s’agit surtout du haut du nez et du front, car il y a une sorte de distorsion dans l’image. Et aussi de la ligne qui sépare la partie éclairée du nez de son ombre, créant ainsi une interruption dans l’image. Mais l’algorithme opte pour la solution la plus probable : les yeux.

LS : Il y a par exemple une petite ouverture sur la ligne du nez. Je suppose que c'est intentionnel.

LT : Oui, en effet. Cette ouverture permet d’isoler encore davantage la zone que nous venons de décrire. Elle la cible réellement. C’est une invraisemblance. Quand vous faites une erreur, même si les spectateurs ne le réalisent pas, ils sentent que quelque chose cloche. Et cela s’inscrit dans leur mémoire. Le cerveau enregistre cette erreur et se la rappelle.

Dans la photographie qui a servi de base à la peinture, les yeux de l’enfant sont grands ouverts. Il a l’air innocent. Si vous regardez le tableau, vous noterez que ses yeux sont différents. Cet enfant est en quelque sorte « endommagé ». Ce qui ne saute pas aux yeux quand on voit tel qu'il est. L’enfant de la photo est parfait, celui de la peinture est imparfait. Quand on retravaille une image, rien qu’en la peignant, on effectue des changements, on l’interprète – qu’on le veuille ou non.

Sur la peinture, le visage de l’enfant est aussi plus allongé que sur la photographie. En tant que peintre, on projette aussi sa propre réalité physique sur la toile. Ce sujet a déjà fait l’objet de nombreuses discussions, par exemple sur les personnages allongés d’El Greco. C’est un élément qu’il faut prendre en compte. Il est incontrôlable.

L’IA peut-elle retrouver le document original sur lequel une œuvre est basée ?

LT : Les algorithmes ont-ils directement retrouvé l’image sur laquelle est basée la peinture ?

LS : Eh bien… avec un peu d’aide. 

(Rires de L.T. & L.S.)

L’ajout du titre de l’œuvre, « The Valley ». Seul ce terme permet de changer la donne ; c’est un indice très important. Quand on effectue la recherche à partir de l’image uniquement – car il est possible d’entrer une image dans un moteur de recherche –, on ne retombe pas sur la photographie originale. Il y a tellement d’images sur le Web que l’original est comme noyé parmi les autres. Il faut donc utiliser à la fois l’image et le titre pour obtenir un résultat.

Comment l’algorithme réagit-il une fois qu’il sort de sa zone de confort, c’est-à-dire les données avec lesquelles il a été entraîné ? Un zèbre, par exemple, pourrait-il piéger un algorithme ?

LS : Nous travaillons avec un nouveau type d’algorithmes, appelés algorithmes de segmentation, qui s’entraînent sur des millions de données. Ces algorithmes travaillent sur ces données et sur des images très similaires à ces données. Mais si vous les sortez de leur zone de confort, par exemple en modifiant très légèrement une image ou en ajoutant un seul pixel, vous pouvez mettre à mal les résultats.

« Si vous les sortez de leur zone de confort, par exemple en modifiant très légèrement une image ou en ajoutant un seul pixel, vous pouvez mettre à mal les résultats. »
Luc Steels

Les algorithmes peuvent aussi être perturbés lorsqu’un élément de la peinture détourne l’attention d’un autre. Prenons l’exemple d’une peinture représentant une personne et un zèbre. Même si l’algorithme a été entraîné à la reconnaissance faciale, il pourrait facilement être induit en erreur par l’image du zèbre, car elle est si puissante qu’il en oublie la personne sur la peinture.

Les algorithmes pourraient-ils apporter un nouvel éclairage sur le travail de commissaire d’exposition ? L’IA pourrait-elle remplacer les commissaires ? Serait-elle capable de déterminer quels tableaux accrocher les uns à côté des autres dans une exposition, sur la base d’une combinaison de couleurs ?

LS : Nous nous sommes aussi amusés avec les couleurs. Nous prenons des pixels dans l’image et les projetons dans l’espace colorimétrique pour observer la gradation. Nous pouvons mesurer à quel point votre emploi des couleurs est important. Il existe aussi un algorithme de groupement qui nous permet d’identifier quelles sont les couleurs les plus utilisées dans une peinture. Il est possible de comparer les espaces colorimétriques de différentes peintures – deux œuvres accrochées côte à côte dans une exposition, par exemple. L’analyse des espaces colorimétriques des œuvres permet de les regrouper. Il y a plusieurs dimensions sur lesquelles on peut jouer : par exemple, l’évolution de la façon dont vous utilisez la couleur au fil du temps.

LT : Je pense que c’est possible. Dans la première partie de mon catalogue raisonné, les couleurs ont tendance à être plus chaudes. Dans la deuxième partie, elles sont plus froides. Cela vient du fait que j’ai commencé à utiliser des Polaroid en 1995. Les couleurs dérivent directement de celles des tirages Polaroid et elles tirent un peu vers le violet. Enfin, dans la troisième partie, la couleur indigo devient plus importante. Donc on trouve des couleurs plus naturelles dans la première partie et d'autres plus artificielles dans la deuxième. La lumière change aussi : on passe d’une lumière normale à l’intensité réduite de la lumière des Polaroid, puis à une lumière numérique. Il est possible de suivre cette évolution.

Je ne prépare jamais les couleurs à l’avance. Elles émergent naturellement durant mon travail. Je les mélange sur place et les teste à côté de la peinture, car il y a une différence entre voir les couleurs à plat sur une table ou verticalement.

LS : C’est un phénomène que l’on pourrait détecter avec un algorithme. Un ordinateur peut voir des choses que l’œil humain ne perçoit pas, en termes de couches de couleur.

Un algorithme peut-il reconstruire les connexions faites par l’artiste durant les recherches pour son œuvre ?

(Ils discutent de l’utilisation par Luc Tuymans d’images de l’architecte nazi Albert Speer et de la célèbre Villa Malaparte, que l'on peut voir dans Le Mépris de Jean-Luc Godard.)

LS : Les liens, les connexions que votre cerveau crée entre ces références et inspirations peuvent être reconstruits car ils peuvent être retrouvés dans les importants graphes de connaissances qui existent actuellement.

LT : Je pense qu’il serait intéressant de voir quels motifs émergeraient, comment les éléments seraient reliés. Car, inévitablement, il y aura des motifs, des éléments récurrents et compulsifs, des obsessions, des fascinations...

LS : C’est le même processus qu’avec les titres, les contextes, l’ordre des peintures dans une exposition. On place les spectateurs dans certains réseaux pour qu’ils créent des liens…

LT : Mais la plupart du temps, ils ne le font pas. (Rires) Cela pourrait être intéressant si cet ordre était décidé par des algorithmes. Aboutirait-on à quelque chose de différent ? Ou quelque chose de similaire… mais différent à la fois. Ce serait intéressant.

Le fruit de ces expérimentations fera l'objet d'une discussion qui se déroulera à BOZAR à l'automne 2020, dans le cadre l'exposition S+T+ARTS (Science+Technology+the Arts).

FLOW sera disponible en open source pour toute la communauté d’artistes, de commissaires et d’historiens via la plateforme Penelope.

Pour en savoir plus sur cette étude :
Steels, L. & B. Wahle (2020), "Perceiving the Focal Point of a Painting with AI: Case Studies on Works of Luc Tuymans", dans Proceeding of the 12th International Conference on Agents and Artificial Intelligence, Vol. 2, 895-901, 2020, Valletta, Malta.