Il y a treize ans, dans la série The Big Bang Theory, ils inventaient des applications permettant de lire et de résoudre des équations mathématiques à partir d’une photo ou de trouver des chaussures à la mode en ligne. Il y a six ans, on pouvait commencer à chercher sur Google à partir d’images. L’année dernière, vous avez peut-être été émerveillé par les premiers modèles d’IA multimodaux. Et maintenant tu peux les images peuvent également être utilisées pour communiquer avec l’IA.
S Edge sans écran d’impression
Récemment, une autre fonctionnalité Copilot a été ajoutée à la barre latérale du navigateur Edge. Un nouveau a été ajouté parmi les boutons pour sélectionner et insérer une zone sur l’écran. Même en dehors de la fenêtre du navigateur Edge.
Outils d’insertion d’images dans le panneau Copilot
Pour sélectionner une zone à traiter, cliquez sur l’icône en forme de ciseaux dans la partie gauche de la fenêtre de message. Sélectionnez la partie de l’écran que l’IA doit traiter ou modifiez-la davantage. À l’aide d’outils de dessin de base, vous pouvez, par exemple, mettre en évidence un élément spécifique dans une image ou indiquer la direction du mouvement d’un objet avec une flèche. Même un tel contexte aidera l’IA à mieux comprendre ce qu’elle regarde.
Le copilote du panneau latéral Edge peut également réaliser des coupures en dehors de sa fenêtre. Par exemple, dans l’éditeur de tableaux. Ayez simplement une fenêtre de navigateur quelque part sur le moniteur.
Plus facile à écrire des invites
Au cours de l’année où les grands modèles de langage ont gagné en popularité, peu de gens ont appris à écrire des invites parfaites – des commandes pour les modèles. Et certaines situations sont difficiles à bien décrire. Mais pour les modèles multimodaux, nous pouvons vous aider avec une photo ou une capture d’écran.
Par exemple, je ne me souviens pas de la procédure dans Excel. Je déplace la fenêtre Copilot sur le côté, découpe une partie de l’écran avec le problème en cours de résolution et décris quelle serait la solution que j’aimerais. Je n’ai pas besoin de décrire la situation, la machine la voit sur la photo.
Copilot n’a pas obtenu suffisamment de contexte sous forme textuelle, et j’aurais épuisé un modèle de langage “simple”. Je n’ai pas dit de quelle application il s’agissait
Mais AI Excel a également identifié la situation à partir de la coupure. Les instructions sont compréhensibles et fonctionnelles
Vous pouvez utiliser la même procédure pour d’autres IA multimodales ou Copilot en dehors d’Edge, seulement vous devrez utiliser une capture d’écran au lieu d’un extrait.
Oui aux questionnaires ennuyeux, mais mieux vaut ne pas parler de santé et de sécurité
Plus d’un service RH doit effectuer un travail que personne ne veut faire. Envoyez des questionnaires. Et remplir les questionnaires est encore pire. Nous pouvons utiliser un extrait si les questions ne peuvent pas être directement copiées dans le chatbot. Nous donnons suffisamment de contexte aux machines et leur demandons de générer des réponses. Mais avant de les envoyer, vérifiez-les et modifiez-les minutieusement, afin que les hallucinations de l’intelligence artificielle ne vous coûtent pas la place.
Tout comme le tableau précédent, le site fictif avec le formulaire a été généré par Chat GPT avec le modèle GPT-4
Les réponses sont selon le devoir. Il adhère aux questions de l’extrait et à la limite du nombre de phrases dans la réponse. Je n’ai pas beaucoup écrit sur le contexte, les réponses sont très générales. J’obtiendrais de meilleurs résultats en ajoutant la conversation
L’IA peut également gérer des tests dans lesquels vous choisissez parmi plusieurs options. Réfléchissez toujours attentivement s’il s’agit d’une activité pour laquelle quelqu’un doit simplement cocher une case ou si avoir cette connaissance est vraiment important. Comme la protection de la santé au travail ou les formations en cybersécurité évoquées plus haut.
Soyez prudent avec les devoirs
Il existe de meilleures applications pour résoudre des problèmes mathématiques eux-mêmes, où il suffit de prendre une photo d’un exemple et d’obtenir le résultat instantanément, que l’IA universelle. Mais l’avantage des modèles linguistiques est la possibilité de poser des questions. La progéniture ne comprend toujours pas certains calculs ? Ne pouvez-vous pas l’expliquer assez simplement ? Veuillez fournir un contexte supplémentaire en plus de la capture d’écran des équations avec la demande de résultat. Par exemple, comment le chatbot doit expliquer en détail chaque étape, à qui il l’explique, ou demander et générer des exemples avec la même opération pour la pratique.
Une brève mission suffit. Tout ce dont vous avez besoin est sur la photo.
Le chatbot vous expliquera les procédures avec autant de détails que vous le demandez. Posez des questions, suggérons par exemple l’application des calculs dans la pratique pour une meilleure idée
Traducteur grec vers image
Une manière intéressante d’utiliser l’IA multimodale pour dîner à l’étranger est apparue sur X à la fin de l’été. Les éléments suivants ont été utilisés comme entrées : une photo d’un menu dans un restaurant méditerranéen, une description des ingrédients préférés d’un membre de la famille, une demande de traduire des noms, une description des plats en tchèque… et ce que j’ai le plus aimé, la demande d’une photo pour pouvoir imaginer plus facilement les plats.
Trouver des lunettes sans lunettes
Copilot sur toutes les plateformes et l’application mobile ChatGPT peuvent non seulement traiter des images mais également dicter du texte. Par exemple, je n’ai pas écrit à la main l’invite du tableau, mais je l’ai dictée. La traduction de la parole en tchèque est étonnamment bien gérée par les deux applications mentionnées.
Lorsque vous utilisez la parole comme entrée, Copilot répondra également vocalement au téléphone. Alors la prochaine fois que vous chercherez quelque chose que vous savez déjà avoir en main, décrochez votre téléphone, allumez Copilot, prenez une photo de votre environnement et demandez au stylo/portefeuille/lunettes IA après avoir appuyé sur le microphone icône.
Et que faut-il éviter ?
Faites attention aux images que vous téléchargez sur les assistants. Modifiez les coupures ou les captures d’écran contenant des informations personnelles avant utilisation. Et vérifiez les informations sur la sortie. Les IA ne sont pas fiables à 100 % et la combinaison de la vision par ordinateur et d’un modèle de langage augmente légèrement le risque d’erreur. Une erreur peut survenir à la fois lors de l’identification des objets ou du texte dans l’entrée et dans la réponse.
Comment parler à l’IA
Lorsque l’on utilise des outils basés sur l’IA, il est souvent difficile de réalisez que vous pouvez les utiliser dès maintenant. Qu’ils peuvent vous aider dans l’activité que vous faites actuellement – la simplifier, l’accélérer, peut-être la faire complètement pour vous.
Nous avons donc décidé de montrer comment et où utiliser l’IA. Concret et pratique. Dans la mesure du possible, nous utilisons dans nos démos des outils disponibles entièrement gratuitement.
2024-02-27 19:45:29
1709085632
#Comment #parler #facilement #lIA #laide #dimages #Une #capture #décran #vaut #mille #mots #Živě.cz
