Trop beau pour échouer ? La manière surprenante dont un système performant peut vous blesser.
Traduit par Juan Carlos Enciso du original pour Cassie Kozyrkov (édité par Carlos Secada)
Imaginez deux travailleurs (humains):
- Daniel insouciant : est une déception constante pour vous, accomplissant bien les tâches assignées 70% du temps et produisant une gêne totale le reste du temps. Regarder Daniel faire 10 essais est plus que suffisant pour susciter une réponse « oh mon Dieu » de votre part.
- Carlos fiable est une autre histoire. Vous avez vu Carlos en action plus d’une centaine de fois et vous avez toujours été impressionné.
Voici la question à un million de dollars. Quel travailleur est le plus dangereux pour votre entreprise ?
Sur une tâche à fort enjeu, la réponse pourrait être digne de confiance Carlos… mais peut-être pas pour la première raison qui me vient à l’esprit.
Dans autre articleJ’ai souligné que les travailleurs ultra-fiables peuvent être dangereux lorsque le décideur est contrarié. Ces travailleurs « suivent simplement les ordres », même s’ils sont terribles, afin d’amplifier l’incompétence (ou la méchanceté). Mais ce n’est pas la logique que je vais suivre ici, puisque vous m’avez déjà entendu discuter à ce sujet. Regardons cela sous un angle différent.
En supposant que le projet est une idée merveilleuse qui rendra le monde meilleur s’il est bien fait, est-ce toujours la meilleure option ?
Le truc c’est que tu Tu sais que vous ne devriez pas faire confiance C’est évident pour vous. Vous espérez qu’il a tort… et c’est pourquoi vous n’allez pas parier la maison sur (N’est-ce pas ?). Vous n’allez pas vous laisser surprendre par l’incompétence, vous trouverez donc des alternatives. Vous serez assez sage pour tester l’inévitable erreur.
Vous veillerez également à garder un œil sur tout, vous superviserez donc très rigoureusement Careless Daniel. Mais Carlos ? vous confias dans Carlos Fiable. Pourquoi contrôler ou construire des filets de sécurité ? Carlos est impeccable, non ?
Carlos n’est pas parfait. Vous ne l’avez pas encore vu échouer : il faut plus datos pour observer le point de rupture. Le fait est que vous n’avez pas eu la chance d’évaluer correctement à quel point l’effondrement de Carlos pourrait être catastrophique.
L’excès de confiance est un problème. Lorsqu’un système est manifestement défectueux, il planifie autour de ses erreurs. Vous ne faites pas confiance à une exécution parfaite.
Si les dirigeants ne comprennent pas qu’il existe une différence cruciale entre ce que bono et le parfaitils peuvent transformer la bénédiction d’avoir un bon travailleur en malédiction de travailler avec quelqu’un qui offre des performances supérieures.
Le problème est que vous pensez avoir examiné Carlos à fond, mais ce n’est pas le cas. Il faut plus de 100 tentatives pour apprendre l’anatomie d’un insecte. Lorsque vous augmentez vos opérations, vous allez rencontrer une sorte de problème désagréable.
Si les conseils de cet article sont valables pour les travailleurs humains, ils sont encore plus urgents pour les systèmes de santé. Intelligence artificielle (IA) et d’autres solutions évolutives. L’une des choses les plus dangereuses à propos des solutions basées sur les mathématiques et données est-ce que des non experts ils font trop confiance en eux. Ne soyez pas ce poussin qui croit qu’il y a de la perfection dans les tâches complexes.
Lorsque vous augmentez l’échelle, vous rencontrerez la longue traîne.
Il vaut mieux supposer que rien n’est parfait. Même les systèmes les plus sécurisés peuvent échouer… surtout si vous leur donnez trop de chances.
Comme on dit d’habitude ingénieurs fiabilité: “lorsque vous augmentez l’échelle, vous rencontrerez les queues long”
Même si votre système a été soigneusement testé et s’est avéré bon à 99,99 %, cela ne signifie pas qu’il est parfait. Malheureusement, si vous ne faites pas attention, vous pouvez mentalement arrondir ce pourcentage jusqu’à 100 %. En d’autres termes, vous abandonnerez le possibilité d’erreurs parce que probabilité c’est bas. C’est une autre façon pour laquelle un système hautement performant peut être plus dangereux qu’un système peu performant… à moins que vous ne fassiez quelque chose à ce sujet.
N’excluez pas la *possibilité* d’observer des bogues lorsque leur *chance* est réduite.
Ce qui rend Carlos Reliable dangereux, ce ne sont pas des performances exceptionnelles, mais un excès de confiance.
Alors, quelle est la solution? Comment profiter de tous les avantages de l’excellence sans s’exposer à des risques ? Très simple. Construisez des filets de sécurité pour Carlos Digne de confiance comme si vous aviez affaire à Daniel Careless Ensuite, vous obtiendrez le meilleur de tous les mondes.
Ce n’est pas parce que vous n’avez pas encore remarqué d’erreur que votre système est parfait. Anticipez les échecs et créez des filets de sécurité !
Que la tâche soit effectuée par des humains ou par des machines, ne sous-estimez jamais l’importance des filets de sécurité. Se livrer à un faux sentiment de sécurité face à des performances apparemment sans faille est un mauvais leadership.
Se fier à la perfection est dangereux. Considérez la perfection comme un bonus, mais ne lui faites jamais confiance.
Au lieu de cela, posez-vous des questions désagréables comme et si. Et si votre meilleur chirurgien tombe malade en travaillant ? Que se passe-t-il si la machine qui surveille les signes vitaux d’un patient tombe en panne ? Que faire si le conducteur est trop fatigué pour faire attention à la route ? Que se passe-t-il si le système de reconnaissance faciale d’un contrôle automatisé aux frontières identifie quelqu’un à tort ? Que se passe-t-il si l’humain vérifiant un passeport se trompe ? Que se passe-t-il ensuite ?
Chaque fois que je trouve malchanceux Applications IA qui me retourne l’estomac, la partie qui me fait dresser les cheveux sur la tête est la merveilleuse ignorance des créateurs sur les erreurs; c’est rarement l’automatisation elle-même. Parfois, ce genre d’ignorance frise le criminel.
Des erreurs *se produiront.*
La question à se poser sur les erreurs n’est pas : «qui va se passer?” Parce qu’ils le feront. Il faut plutôt se demander :
- Quels filets de sécurité sont en place pour protéger les gens des conséquences de ces erreurs ?
- Si tout le système échoue – les filets de sécurité et tout – quel est le plan pour réparer les choses ?
S’il n’y a pas de plan pour prévenir et réparer les dégâts, préparez-vous à la catastrophe à venir. Celui qui est en charge de ce projet est pire qu’incompétent. C’est une menace pour la société. Ne soyez pas cette personne.
Si une erreur devient si catastrophique que l’échec devient intolérable, alors n’automatisez pas la tâche et ne laissez pas les travailleurs humains le faire non plus. Ou, s’il y a quelque chose dans votre éthique qui dit qu’il est plus acceptable que l’échec provienne d’un travailleur humain que d’une machine (le cœur de nombreux débats audiovisuels), alors utilisez une approche qui tient l’humain informé.
Mieux n’est pas synonyme de parfait.
Mais quoi que vous fassiez, rappelez-vous que les erreurs sont possibles. Les humains font des erreurs, les systèmes d’IA aussi. Même si le système d’IA déployé fait moins d’erreurs que l’alternative humaine, rappelez-vous que moins n’est pas synonyme d’aucune. Mieux n’est pas synonyme de parfait.
Tant que les tâches sont complexes ou que les entrées sont variées, des erreurs se produiront.
Croire au mythe de la perfection peut avoir des conséquences désastreuses, alors ne laissez pas la pensée mathématique entraver le bon sens. Chaque fois que les tâches sont complexes ou que les apports sont variés, produira erreurs.
S’il n’y a pas de plan pour faire face à une erreur, le résultat peut être catastrophique ! Cela peut vous affecter beaucoup plus qu’une erreur d’un mauvais exécuteur pour la même raison que vous avez oublié de planifier.
Donc, si vous êtes prudent, vous opterez pour le meilleur système mais vous construirez des filets de sécurité comme si c’était le pire.
En savoir plus sur la science des données et l’intelligence artificielle en espagnol ici.
