Imágenes, multimedia y fórmulas

En OAR, las respuestas son algo más que texto. Un agente puede mostrarte una captura de pantalla o reproducir un clip que ha hecho, las fórmulas aparecen compuestas tipográficamente, los bloques de código tienen un botón Copy (Copiar) y puedes anotar una captura antes de devolverla. Esta página trata cada una de estas cosas.

La página que dibuja una conversación no incluye sus propias bibliotecas de Markdown, fórmulas y resaltado de código. Tu navegador las carga desde cdn.jsdelivr.net (Markdown y KaTeX) y cdnjs.cloudflare.com (highlight.js), así que necesita llegar a esos hosts. Sin ellas, las respuestas se muestran como texto sin formato, las fórmulas quedan como código fuente y los bloques de código no se resaltan.

Multimedia en la respuesta de un agente Nuevo en 0.9.2 #

Un agente puede poner una imagen, un vídeo o un archivo de audio en su respuesta escribiendo una imagen de Markdown cuyo destino es la ruta absoluta del archivo en la máquina del relay:

![the failing page](/home/dev/projects/shop/shots/checkout.png)
![demo clip](C:\Users\dev\Videos\demo.mp4)

No subes nada y el agente no necesita ninguna herramienta adicional. El relay lee el archivo cuando tu navegador lo pide.

Que aparezca una imagen o un reproductor depende de la terminación del nombre del archivo, no de lo que el agente escribió como descripción. La descripción se convierte en la información emergente del reproductor.

Haz clic en una imagen para abrirla en el visor, con el resto de multimedia de la conversación para pasar de una a otra. Los reproductores conservan sus propios controles. Escribe la ruta como la escribe la máquina del relay: /home/… en Linux y macOS, C:\… en Windows.

Qué se puede mostrar #

• Solo para ti. El relay sirve un archivo solo a una solicitud que lleva su token de acceso, como hace un navegador con la sesión iniciada en el relay. Un enlace compartido de solo lectura no tiene token, así que no muestra la multimedia, y hacer clic en una imagen ahí no hace nada.
• Carpetas. En Linux y macOS no hay una lista de carpetas permitidas: se sirve cualquier ruta absoluta a un archivo que pueda leer el usuario que ejecuta el relay, dentro del workspace o no, y los segmentos .. se resuelven. En Windows, el archivo debe estar en una de las unidades que el relay lista en 📁 Browse files (Explorar archivos). Una respuesta no puede leer un archivo por el agente, pero hace que tu navegador lo pida, así que cualquier cosa que pueda leer el usuario del relay puede aparecer en tu pantalla.
• Archivo inexistente, o una carpeta. El relay rechaza la solicitud y la imagen o el reproductor no se carga.
• Tipos seguros. Los archivos HTML y XML se sirven como texto sin formato para que no puedan ejecutarse en la página del relay. Las imágenes SVG se muestran, pero no pueden ejecutar scripts.
• Tamaño. OAR no fija ningún límite de tamaño. El vídeo y el audio se transmiten por partes, así que un reproductor puede saltar a cualquier punto.
• Sin HTML sin procesar. El HTML que un agente escribe en una respuesta aparece como texto, no como una página.

No se copia nada: si el archivo cambia en el disco, la siguiente carga muestra la versión nueva.

Por proveedor #

Los agentes tienen que conocer el truco. OAR se lo dice en las instrucciones que da al agente, una vez por proveedor. Esa es la única diferencia: lo que ves es lo mismo.

Los chats de OpenAI Image no tienen agente, así que no hay nada que indicar.

Consulta Los proveedores de un vistazo para el resto de diferencias entre proveedores, y Lo que no son herramientas para saber por qué esto es una instrucción y no una herramienta.

Imágenes que envías #

Una imagen que adjuntas aparece como miniatura en tu mensaje. Haz clic en ella para abrir el visor. Cómo se adjuntan las imágenes, cómo se reducen antes de subirse y cómo se pasan a cada proveedor se explica en El área de redacción.

Anotar una imagen Nuevo en 0.9.2 #

Usa el resaltador para señalar la parte de una captura de pantalla a la que te refieres.

• Antes de enviar. Haz clic en una imagen en el área de redacción. Las imágenes que puedes anotar llevan una insignia 🖍️. Las imágenes GIF y SVG no se pueden anotar.
• Desde el visor. Abre una imagen, desde un mensaje o desde 📁 Browse files, y haz clic en 🖍️ Annotate (Anotar). El botón no está para GIF y SVG, ni en una vista compartida.

Se abre sobre la página un editor titulado Annotate image (Anotar imagen), que muestra la imagen. Sus botones solo llevan iconos; los nombres de abajo son sus etiquetas accesibles.

Los trazos son translúcidos, así que el texto bajo una marca sigue siendo legible. Un toque deja un punto.

Táctil. Un dedo dibuja. Un segundo dedo cambia al zoom con pellizco y descarta el trazo que habías empezado. Toca dos veces para ampliar y vuelve a tocar dos veces para ajustar la imagen. Ratón. Arrastrar con el botón izquierdo dibuja, la rueda hace zoom, y arrastrar con el botón derecho o el central desplaza la imagen. Un doble clic hace zoom.

Guardar #

Accept aplana los trazos en un PNG al tamaño completo de la imagen, con un nombre como screenshot-annotated.png (el nombre original y después -annotated.png). El original no se modifica nunca. La copia pasa después por los mismos pasos que cualquier adjunto, así que una grande se reduce antes de subirse.

• Si empezaste desde el área de redacción, la copia anotada sustituye a ese adjunto y se sube.
• Si empezaste desde el visor, la copia anotada se añade al área de redacción como un adjunto nuevo, y se sube, para tu siguiente mensaje. El mensaje ya enviado queda como estaba. Si el área de redacción está llena, el editor sigue abierto para que puedas liberar un hueco y aceptar de nuevo.

Si la imagen no se puede abrir o guardar, un aviso breve lo indica, Could not open the annotation editor (No se pudo abrir el editor de anotaciones) o Could not save annotations (No se pudieron guardar las anotaciones), y el editor queda como está.

Imágenes generadas #

En un chat de OpenAI Image, las respuestas son imágenes que generó el modelo. Se describen en OpenAI y OpenAI Image.

Fórmulas #

Las matemáticas y la química se componen con KaTeX, en las respuestas y en el razonamiento. Las fórmulas químicas usan \ce{…}, de la extensión mhchem de KaTeX, que la página carga junto con KaTeX.

Una fórmula destacada puede ocupar varias líneas. $$ o \[ solos en una línea la abren, y el $$ o \] correspondiente la cierra. Las líneas intermedias se unen en una sola fórmula. Un [ solo en su propia línea, cerrado por un ] en su propia línea, se lee como matemática destacada solo cuando las líneas intermedias usan un comando de TeX como \frac, \sum o \ce.

Una fórmula entre paréntesis normales también se compone cuando claramente es TeX: tiene como mucho 240 caracteres, no es una dirección web y contiene un comando como \frac o un subíndice o superíndice como x^2 o x_{n}.

Signos de dólar y precios #

Un $ suelto abre una fórmula solo cuando se cumple todo esto:

• el carácter justo después no es un espacio;
• el siguiente $ la cierra, con un carácter que no es un espacio justo antes;
• no sigue ningún dígito al $ de cierre. Se permite un dígito cuando el texto intermedio parece TeX (contiene uno de \ ^ _ { } =), así que $x^2$3 es una fórmula.

Así, it cost $5 and $9 y $4.20, the earlier one $3.80 quedan como texto sin formato, y $x^2$ es una fórmula. Un $ después de una barra invertida es un signo de dólar normal. Los signos de dólar en fragmentos de código y bloques de código nunca se leen como fórmulas.

Entrada no válida #

Una fórmula que KaTeX no puede leer no rompe la respuesta: el texto fuente aparece en el color de error en lugar de la fórmula.

Bloques de código #

Un bloque delimitado con nombre de lenguaje se resalta. Sin él, el resaltado adivina el lenguaje. Cada bloque tiene un botón Copy en su esquina superior derecha. Copia solo el código, y la etiqueta cambia un momento a ✓ Copied (Copiado), o a Copy failed (Error al copiar). Las líneas largas no se ajustan: el bloque se desplaza en horizontal.

Enlaces #

• Un enlace a una dirección web se abre en una pestaña nueva. La página que se abre no puede acceder de vuelta a OAR.
• Un nombre de archivo o una ruta escrita como texto normal en una respuesta (no en un fragmento de código ni en un enlace), con la terminación de un tipo de archivo conocido, como src/app.js, se convierte en un enlace que abre el archivo en el visor de la app en lugar de en una pestaña nueva.
• Solo se conservan los enlaces http, https y mailto y las direcciones dentro de OAR. Los demás tipos se eliminan.

Otro Markdown #

Las respuestas usan Markdown estándar: encabezados, negrita y cursiva, tachado, citas, listas con viñetas y numeradas, tablas, líneas horizontales y código en línea. Las tablas ocupan el ancho del mensaje. El HTML de una respuesta se muestra como texto.