“C’est rapide au-delà des capacités humaines” : comment fonctionne Sophy, l’IA qui va changer les jeux de conduite

Quiconque a joué à un jeu de conduite pendant un certain temps a eu à un moment ou à un autre l’impression que la console trichait pour gagner. Et il a certainement connu sous le nom d’effet élastique: À l’avant, les voitures contrôlées par ordinateur creusent l’écart jusqu’à ce qu’elles semblent hors de portée, mais à l’arrière, elles collent au joueur et il est difficile de les secouer. Précisément comme s’il y avait un élastique qui conditionne ses mouvements.

C’est un gadget que les programmeurs utilisent souvent pour maintenir le sens du défi dans les courses virtuelles, mais nous n’en parlons pas ici. On parle ici « d’une compétence incroyable, bien au-delà des limites humaines”.

“Pour la battre, il ne faut jamais se laisser distraire”

Les mots sont de Valérius Gallosans doute le meilleur joueur italien de Grand tourisme C’est probablement parmi les meilleurs pilotes de sim au mondeet ils font référence à GT Sophy, qui est l’intelligence artificielle que Sony AI et Polyphony Digital développent pour le jeu vidéo PlayStation extrêmement populaire.

Rendu accessible au public sur un nombre limité de circuits à l’intérieur Gran Turismo 7 entre février et mars dernierSophy doit son nom au mot grec sophia, qui signifie sagesse : essayez d’être une IA plus sage que les autres IA vues jusqu’ici dans les jeux vidéo, qui (en simplifiant) savent quelles sont les vitesses de déplacement optimales dans les différents secteurs des différents des pistes et ils visent à les conserver le plus longtemps possible suivant des trajectoires précises.

Sophie ne fait pas ça: “Je les ai vus prendre des trajectoires impensables pour une personne”, nous a encore dit Gallo, que nous avons rencontré annonce Amsterdam lors de la projection du film Grand tourisme (vidéo). Impensable deux fois, dans le sens où “je ne pensais pas que c’était faisable” et aussi “je n’avais jamais pensé à les essayer”. Précisément parce qu’un pilote humain ne les penserait pas praticables. Encore : « Sur les circuits GT7 que je connais par cœur et où je pense très bien rouler, il a tous les points de freinage plus en avant que les miens », car il a évidemment appris qu’il pouvait retarder le freinage de quelques mètres pour entrer plus dans les virages. rapidement. Avec un sourire, Gallo nous a dit que Sophy “est illégalement rapide”, une hyperbole pour laisser entendre que nous sommes à la limite de ce qui était jusqu’ici considéré comme de la triche. Mais ce n’est pas que Sophy triche, c’est qu’elle apprend : “Elle est devenue très bonne, elle s’adapte bien aux situations, même au bras de fer typique des premiers tours de course, c’est agressif le droit, presque à un niveau humain ». C’est un détail important, car (encore une fois) toute personne ayant un peu d’expérience avec les jeux de conduite sait que, aussi bons soient-ils, les adversaires informatiques sont rarement aussi agressifs et rusés que les gens. Ils conduisent rarement sale, comme on dit.

Cependant, la vraie force de Sophy n’est pas (seulement) cela, mais c’est une caractéristique commune à peu près à toutes les IA : c’est la constance des performances. Ce sont des machines, des cerveaux artificiels, des ordinateurs, qui ils ne se fatiguent jamais, ils ne sont pas distraits, ils ne ressentent pas la pression et ils donnent toujours le meilleur d’eux-mêmes : “Pour la battre, il faut être constamment à la limite et il ne faut jamais se laisser distraire – nous a dit Gallo – Sinon, tu vas te faire avoir”.

youtube: Valerio Gallo contre GT Sophy

Comment GT Sophy a été formé

Sophie, dont aussi revue La nature a consacré une étude riche et intéressante (ce)a été formé avec le soi-disant apprentissage par renforcement ou apprentissage renforcé: en anglais, cela s’appelle l’apprentissage par renforcement, c’est une forme d’apprentissage automatique et Il s’agit essentiellement d’apprendre de vos erreurspour ne pas les commettre à nouveau.

C’est un processus qui a duré pour Sophy quelques années, même si la partie formation proprement dite était beaucoup, beaucoup plus courte : une vingtaine de mois sont ceux nécessaires pour établir le programme de formation, décider comment et sur quelles données et informations le faire apprendre, mais quelques semaines. Environ 45 000 heures de tests continus, et quelques jours après avoir pris la piste pour la première fois, Sophy était déjà plus rapide que 95% des pilotes humains pris comme référence. Arrivée à capacités surhumaines également remarqué par Gallo, notamment sur 3 circuits de Gran Turismo 7: pour ceux qui connaissent le jeu, ce sont ceux du Lac Majeur, du Dragon Trail et du Circuit de la Sarthe (celui sur lequel se courent les 24 Heures du Mans dans le monde réel).

Dans le détail, le programme de formation a démarré en avril 2020, avec plus de 10 000 heures de jeu en soloet a pris vie dans la seconde moitié de 2021 : entre juillet et octobre de cette année-là, Sophy a été défiée dans une série de 3 matchs répétés par 4 des meilleurs joueurs du monde de Gran Turismo Sport. Chacun avait une combinaison différente de circuit et de voiture à utiliser, et des points étaient attribués à la fin en fonction de la qualité des finitions des différentes voitures, certains gérés par Sophy et d’autres par les joueurs: lors de la première course, l’équipe humaine a atteint 86, tandis que l’IA s’est arrêtée à 70. Dès la deuxième course, les camps s’étaient inversés : 104 points pour l’équipe Sophy et seulement 52 pour les joueurs.

De là, ce fut un crescendo, également alimenté par avantages innés que Sophy, étant une intelligence artificielle, a comparé aux humains : elle connaît parfaitement la carte des pistes, avec les coordonnées exactes des frontières et des limites à ne pas dépasser, et dispose en temps réel de toutes les « informations précises sur la charge de chaque pneu et sur limites d’étanchéité de chaque caoutchoucainsi que d’autres données sur l’état du véhicule qu’il conduit », comme l’ont admis les développeurs eux-mêmes.

Ce qu’ils recherchent en fait pour le limiter, le ralentir et en quelque sorte le rendre plus humain. Bref, moins illégal. Ils le font en agissant notamment sur deux paramètres : le taux de rafraîchissement de ses actions (initialement bloqué à 10 Hz, contre un maximum théorique de 60) et surtout les temps de réaction. Selon les résultats, Sophy est capable de réagir à ce qui se passe autour d’elle vitesse mesurée entre 23 et 30 millisecondes, contre 200-250 millisecondes pour un pilote humain. D’un bon pilote humain, bien sûr. Pour le rendre plus maniable, ses créateurs ont ajouté un délai artificiel, le bloquant entre 100 et 250 millisecondes. Ce qui ne l’a pas empêchée de battre plus ou moins tous ceux qui lui faisaient face, et aussi de tourner cette situation à son avantage.

Jeu vidéo

Une toute nouvelle Ferrari arrive, mais vous ne pouvez la conduire que dans un jeu vidéo

de Vincenzo Borgomeo

28 novembre 2022

twitter : Sophy a appris à dériver

Zero Shot, les choses que Sophy s’est apprises

Juste à Amsterdam, Sony nous a expliqué que “alors que nous essayions de le rendre plus lent et moins parfait”, une chose étrange s’est produite. Il se trouve que Sophy a appris à dériver. Et bien sûr, elle le fait mieux maintenant que quiconque l’a fait auparavant.

Le dérapage est une sorte de dérapage maîtrisé, et savoir le maîtriser est indispensable tant pour gérer un éventuel survirage que pour augmenter la vitesse en sortie de virage. En plus de faire un show, comme on peut le voir sur la vidéo ci-dessus, montrée pour la première fois sur scène au Theater Amsterdam.

Il n’y a ici aucune explication scientifique sur la façon dont Sophy a appris cette compétence : comme les autres IA, elle montre ce qu’on appelle des comportements émergents, c’est-à-dire justement des compétences que les développeurs ne lui pensaient pas avoir et surtout ils n’allaient pas lui apprendre (ça s’appelle Apprentissage Zero Shot). Ce que l’on sait, c’est qu’ici aussi, encore une fois, il fait des choses que les humains ne croyaient pas pouvoir faire, ne croyaient pas utile de faire et ne seraient probablement même pas capables de faire de la même manière : « Il a appris que le passage soudain de D a R (de la marche avant à la marche arrière, ndlr) parvient à stabiliser la voiture lors d’un dérapage, et parvient à le faire avec une vitesse impensable pour nous”. Un point important à comprendre est que tout ce qu’il fait est faisable et est “basé sur la physique du jeu”: nous pourrions le faire aussi, si seulement nous le pouvions.

Ce n’est toujours pas clair quand GT Sophy sera enfin accessible à tous les joueurs de Gran Turismo 7, après les tests de début d’année : ce qui est certain, c’est qu'”elle fait des choses qui, il y a 5-6 ans, étaient inimaginables pour une IA de ce type”, comme l’explique Sony. Ou même, si elle nous disait pour paraphraser le Nexus 6 Coureur de lame“J’ai fait des choses que vous les humains vous ne pensiez pas qu’ils pourraient être faits.

@capoema