Images, médias et formules

Les réponses dans OAR ne se limitent pas à du texte. Un agent peut vous montrer une capture d’écran ou lire un extrait qu’il a créé, les formules sont mises en forme, les blocs de code ont un bouton Copy (Copier), et vous pouvez annoter une capture d’écran avant de la renvoyer. Cette page décrit chacun de ces éléments.

La page qui affiche une conversation n’embarque pas ses propres bibliothèques de Markdown, de formules et de coloration du code. Votre navigateur les charge depuis cdn.jsdelivr.net (Markdown et KaTeX) et cdnjs.cloudflare.com (highlight.js) ; il doit donc pouvoir joindre ces hôtes. Sans elles, les réponses s’affichent en texte brut, les formules restent sous forme de source et les blocs de code ne sont pas colorés.

Médias dans la réponse d’un agent Ajouté en 0.9.2 #

Un agent peut placer une image, une vidéo ou un fichier audio dans sa réponse en écrivant une image Markdown dont la cible est le chemin absolu du fichier sur la machine du relais :

![the failing page](/home/dev/projects/shop/shots/checkout.png)
![demo clip](C:\Users\dev\Videos\demo.mp4)

Vous n’envoyez rien et l’agent n’a besoin d’aucun outil supplémentaire. Le relais lit le fichier quand votre navigateur le demande.

C’est la fin du nom de fichier qui décide si une image ou un lecteur apparaît, pas ce que l’agent a écrit comme description. La description devient l’info-bulle du lecteur.

Cliquez sur une image pour l’ouvrir dans la visionneuse, avec les autres médias de la conversation à faire défiler. Les lecteurs gardent leurs propres commandes. Écrivez le chemin comme le fait la machine du relais : /home/… sous Linux et macOS, C:\… sous Windows.

Ce qui peut être affiché #

• Pour vous seulement. Le relais ne sert un fichier qu’à une requête qui porte son token d’accès, ce que fait un navigateur connecté au relais. Un lien partagé en lecture seule n’a pas de token : il n’affiche donc pas les médias, et un clic sur une image n’y fait rien.
• Dossiers. Il n’y a pas de liste de dossiers autorisés sous Linux et macOS : tout chemin absolu vers un fichier que l’utilisateur qui fait tourner le relais peut lire est servi, dans le workspace ou non, et les segments .. sont résolus. Sous Windows, le fichier doit se trouver sur l’un des lecteurs que le relais liste sous 📁 Browse files (Parcourir les fichiers). Une réponse ne peut pas lire un fichier pour l’agent, mais elle amène votre navigateur à en demander un : tout ce que l’utilisateur du relais peut lire peut donc apparaître sur votre écran.
• Fichier manquant, ou dossier. Le relais refuse la requête, et l’image ou le lecteur ne se charge pas.
• Types sûrs. Les fichiers HTML et XML sont servis en texte brut pour qu’ils ne puissent pas s’exécuter dans la page du relais. Les images SVG sont affichées, mais ne peuvent pas exécuter de script.
• Taille. OAR ne fixe aucune limite de taille. La vidéo et l’audio sont diffusés par morceaux, si bien qu’un lecteur peut sauter à n’importe quel endroit.
• Pas de HTML brut. Le HTML qu’un agent écrit dans une réponse apparaît sous forme de texte, pas comme une page.

Rien n’est copié : si le fichier change sur le disque, le chargement suivant affiche la nouvelle version.

Par fournisseur #

Les agents doivent connaître l’astuce. OAR la leur indique dans les instructions qu’il donne à l’agent, une fois par fournisseur. C’est la seule différence : ce que vous voyez est identique.

Les chats OpenAI Image n’ont pas d’agent, il n’y a donc rien à indiquer.

Voir Les fournisseurs en un coup d’œil pour les autres différences entre fournisseurs, et Pas des outils pour savoir pourquoi c’est une instruction et non un outil.

Les images que vous envoyez #

Une image que vous joignez s’affiche en miniature dans votre message. Cliquez dessus pour ouvrir la visionneuse. La façon dont les images sont jointes, réduites avant l’envoi et transmises à chaque fournisseur est décrite dans La zone de saisie.

Annoter une image Ajouté en 0.9.2 #

Utilisez le surligneur pour désigner la partie d’une capture d’écran dont vous parlez.

• Avant l’envoi. Cliquez sur une image dans la zone de saisie. Les images que vous pouvez annoter portent un badge 🖍️. Les images GIF et SVG ne peuvent pas être annotées.
• Depuis la visionneuse. Ouvrez une image, depuis un message ou depuis 📁 Browse files, et cliquez sur 🖍️ Annotate (Annoter). Le bouton n’existe pas pour les GIF et SVG, ni dans une vue partagée.

Un éditeur intitulé Annotate image (Annoter l’image) s’ouvre par-dessus la page et affiche l’image. Ses boutons ne portent que des icônes ; les noms ci-dessous sont leurs libellés d’accessibilité.

Les traits sont translucides : le texte sous une marque reste lisible. Un appui laisse un point.

Tactile. Un doigt dessine. Un deuxième doigt passe au zoom par pincement et abandonne le trait commencé. Touchez deux fois pour zoomer et touchez de nouveau deux fois pour ajuster l’image à l’écran. Souris. Un glisser avec le bouton gauche dessine, la molette zoome, et un glisser avec le bouton droit ou celui du milieu déplace la vue. Un double-clic zoome.

Enregistrement #

Accept aplatit les traits dans un PNG à la taille réelle de l’image, nommé comme screenshot-annotated.png (le nom d’origine, puis -annotated.png). L’original n’est jamais modifié. La copie passe ensuite par les mêmes étapes que n’importe quelle pièce jointe : une copie volumineuse est donc réduite avant l’envoi.

• Lancée depuis la zone de saisie, la copie annotée remplace cette pièce jointe et est envoyée.
• Lancée depuis la visionneuse, la copie annotée est ajoutée à la zone de saisie comme nouvelle pièce jointe, et envoyée, pour votre prochain message. Le message déjà envoyé reste tel quel. Si la zone de saisie est pleine, l’éditeur reste ouvert pour que vous puissiez libérer un emplacement et accepter de nouveau.

Si l’image ne peut pas être ouverte ou enregistrée, un bref avis l’indique, Could not open the annotation editor (Impossible d’ouvrir l’éditeur d’annotations) ou Could not save annotations (Impossible d’enregistrer les annotations), et l’éditeur reste tel quel.

Images générées #

Dans un chat OpenAI Image, les réponses sont des images générées par le modèle. Elles sont décrites sur OpenAI et OpenAI Image.

Formules #

Les mathématiques et la chimie sont mises en forme avec KaTeX, dans les réponses et dans le raisonnement. Les formules chimiques utilisent \ce{…}, de l’extension mhchem de KaTeX, que la page charge avec KaTeX.

Une formule centrée peut s’étendre sur plusieurs lignes. $$ ou \[ seul sur une ligne en ouvre une, et le $$ ou \] correspondant la ferme. Les lignes entre les deux sont réunies en une seule formule. Un [ seul sur sa ligne, fermé par un ] seul sur sa ligne, n’est lu comme une formule centrée que si les lignes entre les deux utilisent une commande TeX comme \frac, \sum ou \ce.

Une formule entre simples parenthèses est aussi mise en forme quand c’est clairement du TeX : elle fait au plus 240 caractères, n’est pas une adresse web et contient une commande comme \frac ou un exposant ou indice comme x^2 ou x_{n}.

Signes dollar et prix #

Un $ seul n’ouvre une formule que si toutes ces conditions sont réunies :

• le caractère juste après n’est pas une espace ;
• le $ suivant la ferme, avec juste avant lui un caractère qui n’est pas une espace ;
• aucun chiffre ne suit le $ fermant. Un chiffre est admis quand le texte entre les deux ressemble à du TeX (il contient l’un de \ ^ _ { } =) : $x^2$3 est donc une formule.

Ainsi, it cost $5 and $9 et $4.20, the earlier one $3.80 restent du texte brut, et $x^2$ est une formule. Un $ précédé d’une barre oblique inverse est un simple signe dollar. Les signes dollar dans le code en ligne et les blocs de code ne sont jamais lus comme des formules.

Saisie invalide #

Une formule que KaTeX ne sait pas lire ne casse pas la réponse : le texte source apparaît dans la couleur d’erreur à la place de la formule.

Blocs de code #

Un bloc délimité avec un nom de langage est coloré. Sans nom, la coloration devine le langage. Chaque bloc a un bouton Copy dans son coin supérieur droit. Il ne copie que le code, et le libellé devient un instant ✓ Copied (Copié), ou Copy failed (Échec de la copie). Les longues lignes ne sont pas renvoyées à la ligne : le bloc défile horizontalement.

Liens #

• Un lien vers une adresse web s’ouvre dans un nouvel onglet. La page qui s’ouvre n’a aucun accès à OAR.
• Un nom de fichier ou un chemin écrit en texte brut dans une réponse (pas dans du code en ligne ni dans un lien), avec l’extension d’un type de fichier connu comme src/app.js, devient un lien qui ouvre le fichier dans la visionneuse de l’app au lieu d’un nouvel onglet.
• Seuls les liens http, https et mailto et les adresses internes à OAR sont conservés. Les autres types sont supprimés.

Autres éléments Markdown #

Les réponses utilisent le Markdown standard : titres, gras et italique, texte barré, citations, listes à puces et numérotées, tableaux, filets horizontaux et code en ligne. Les tableaux occupent toute la largeur du message. Le HTML dans une réponse s’affiche sous forme de texte.