Bilder, Medien und Formeln

Antworten in OAR sind mehr als Text. Ein Agent kann dir einen Screenshot zeigen oder einen Clip abspielen, den er erstellt hat, Formeln erscheinen gesetzt, Codeblöcke haben einen Button Copy (Kopieren), und du kannst einen Screenshot markieren, bevor du ihn zurückschickst. Diese Seite behandelt all das.

Die Seite, die eine Konversation darstellt, bringt ihre Bibliotheken für Markdown, Formeln und Code-Hervorhebung nicht selbst mit. Dein Browser lädt sie von cdn.jsdelivr.net (Markdown und KaTeX) und cdnjs.cloudflare.com (highlight.js), er muss diese Hosts also erreichen können. Ohne sie erscheinen Antworten als reiner Text, Formeln bleiben Quelltext, und Codeblöcke werden nicht hervorgehoben.

Medien in der Antwort eines Agents Neu in 0.9.2 #

Ein Agent kann ein Bild, ein Video oder eine Audiodatei in seine Antwort setzen, indem er ein Markdown-Bild schreibt, dessen Ziel der absolute Pfad der Datei auf dem Rechner des Relays ist:

![the failing page](/home/dev/projects/shop/shots/checkout.png)
![demo clip](C:\Users\dev\Videos\demo.mp4)

Du lädst nichts hoch, und der Agent braucht kein zusätzliches Tool. Das Relay liest die Datei, wenn dein Browser danach fragt.

Ob ein Bild oder ein Player erscheint, hängt von der Endung des Dateinamens ab, nicht davon, was der Agent als Beschreibung geschrieben hat. Die Beschreibung wird zum Tooltip eines Players.

Klick auf ein Bild, um es im Datei-Viewer zu öffnen, mit den anderen Medien der Konversation zum Durchwischen. Player behalten ihre eigenen Bedienelemente. Schreib den Pfad so, wie der Rechner des Relays ihn schreibt: /home/… unter Linux und macOS, C:\… unter Windows.

Was angezeigt werden kann #

• Nur für dich. Das Relay liefert eine Datei nur an eine Anfrage, die sein Zugriffstoken trägt, wie es ein am Relay angemeldeter Browser tut. Ein geteilter Nur-Lese-Link hat kein Token, er zeigt die Medien also nicht, und ein Klick auf ein Bild bewirkt dort nichts.
• Ordner. Unter Linux und macOS gibt es keine Liste erlaubter Ordner: Jeder absolute Pfad zu einer Datei, die der Benutzer, unter dem das Relay läuft, lesen kann, wird ausgeliefert, ob im Workspace oder nicht, und ..-Segmente werden aufgelöst. Unter Windows muss die Datei auf einem der Laufwerke liegen, die das Relay unter 📁 Browse files (Dateien durchsuchen) auflistet. Eine Antwort kann keine Datei für den Agent lesen, sie bringt aber deinen Browser dazu, eine anzufordern, sodass alles, was der Benutzer des Relays lesen kann, auf deinem Bildschirm erscheinen kann.
• Fehlende Datei oder ein Ordner. Das Relay lehnt die Anfrage ab, und das Bild oder der Player lädt nicht.
• Sichere Typen. HTML- und XML-Dateien werden als reiner Text ausgeliefert, damit sie nicht in der Seite des Relays laufen können. SVG-Bilder werden angezeigt, können aber kein Script ausführen.
• Größe. OAR setzt keine Größengrenze. Video und Audio werden in Teilen gestreamt, sodass ein Player springen kann.
• Kein rohes HTML. HTML, das ein Agent in eine Antwort schreibt, erscheint als Text, nicht als Seite.

Nichts wird kopiert: Ändert sich die Datei auf der Festplatte, zeigt das nächste Laden die neue Version.

Nach Provider #

Agents müssen den Trick kennen. OAR sagt ihn ihnen in den Anweisungen, die es dem Agent gibt, einmal pro Provider. Das ist der einzige Unterschied: Was du siehst, ist dasselbe.

Chats mit OpenAI Image haben keinen Agent, es gibt also nichts zu sagen.

Siehe Provider im Überblick für die übrigen Unterschiede zwischen den Providern und Keine Tools dafür, warum das eine Anweisung und kein Tool ist.

Bilder, die du sendest #

Ein Bild, das du anhängst, erscheint als Vorschaubild in deiner Nachricht. Klick darauf, um den Viewer zu öffnen. Wie Bilder angehängt, vor dem Hochladen verkleinert und an jeden Provider übergeben werden, steht unter Eingabebereich.

Ein Bild annotieren Neu in 0.9.2 #

Mit dem Textmarker zeigst du auf den Teil eines Screenshots, den du meinst.

• Vor dem Senden. Klick auf ein Bild im Eingabebereich. Bilder, die du markieren kannst, tragen ein 🖍️-Badge. GIF- und SVG-Bilder lassen sich nicht markieren.
• Aus dem Viewer. Öffne ein Bild, aus einer Nachricht oder aus 📁 Browse files, und klick auf 🖍️ Annotate (Annotieren). Bei GIF und SVG und in einer geteilten Ansicht gibt es den Button nicht.

Ein Editor mit dem Titel Annotate image (Bild annotieren) öffnet sich über der Seite und zeigt das Bild. Seine Buttons tragen nur Symbole; die Namen unten sind ihre barrierefreien Beschriftungen.

Striche sind durchscheinend, sodass Text unter einer Markierung lesbar bleibt. Ein Tippen hinterlässt einen Punkt.

Touch. Ein Finger zeichnet. Ein zweiter Finger wechselt zum Pinch-Zoom und verwirft den angefangenen Strich. Doppeltippen zoomt hinein, erneutes Doppeltippen passt das Bild ein. Maus. Ziehen mit der linken Taste zeichnet, das Mausrad zoomt, und Ziehen mit der rechten oder mittleren Taste verschiebt. Ein Doppelklick zoomt.

Speichern #

Accept rechnet die Striche in ein PNG in voller Bildgröße ein, benannt wie screenshot-annotated.png (der ursprüngliche Name, dann -annotated.png). Das Original wird nie verändert. Die Kopie durchläuft dann dieselben Schritte wie jeder Anhang, eine große wird also vor dem Hochladen verkleinert.

• Aus dem Eingabebereich gestartet, nimmt die annotierte Kopie den Platz dieses Anhangs ein und wird hochgeladen.
• Aus dem Viewer gestartet, wird die annotierte Kopie dem Eingabebereich als neuer Anhang für deine nächste Nachricht hinzugefügt und hochgeladen. Die schon gesendete Nachricht bleibt, wie sie war. Ist der Eingabebereich voll, bleibt der Editor offen, damit du einen Platz frei machen und erneut übernehmen kannst.

Lässt sich das Bild nicht öffnen oder speichern, sagt das ein kurzer Hinweis: Could not open the annotation editor (Annotations-Editor konnte nicht geöffnet werden) oder Could not save annotations (Annotationen konnten nicht gespeichert werden). Der Editor bleibt, wie er ist.

Generierte Bilder #

In einem Chat mit OpenAI Image sind die Antworten Bilder, die das Modell generiert hat. Sie sind unter OpenAI und OpenAI Image beschrieben.

Formeln #

Mathematik und Chemie werden mit KaTeX gesetzt, in Antworten und in Überlegungen. Chemische Formeln nutzen \ce{…} aus der mhchem-Erweiterung von KaTeX, die die Seite mit KaTeX lädt.

Eine abgesetzte Formel darf sich über mehrere Zeilen erstrecken. $$ oder \[ allein in einer Zeile öffnet sie, und das passende $$ oder \] schließt sie. Die Zeilen dazwischen werden zu einer Formel verbunden. Ein bloßes [ in einer eigenen Zeile, geschlossen von einem ] in einer eigenen Zeile, wird nur dann als abgesetzte Formel gelesen, wenn die Zeilen dazwischen einen TeX-Befehl wie \frac, \sum oder \ce verwenden.

Eine Formel in einfachen runden Klammern wird ebenfalls gesetzt, wenn sie eindeutig TeX ist: Sie hat höchstens 240 Zeichen, ist keine Webadresse und enthält einen Befehl wie \frac oder eine Hoch- oder Tiefstellung wie x^2 oder x_{n}.

Dollarzeichen und Preise #

Ein einzelnes $ öffnet eine Formel nur, wenn all das zutrifft:

• das Zeichen direkt danach ist kein Leerzeichen;
• das nächste $ schließt sie, mit einem Zeichen direkt davor, das kein Leerzeichen ist;
• auf das schließende $ folgt keine Ziffer. Eine Ziffer ist erlaubt, wenn der Text dazwischen nach TeX aussieht (er enthält eines von \ ^ _ { } =), sodass $x^2$3 eine Formel ist.

So bleiben it cost $5 and $9 und $4.20, the earlier one $3.80 reiner Text, und $x^2$ ist eine Formel. Ein $ nach einem Backslash ist ein einfaches Dollarzeichen. Dollarzeichen in Code-Spans und Codeblöcken werden nie als Formeln gelesen.

Ungültige Eingabe #

Eine Formel, die KaTeX nicht lesen kann, bricht die Antwort nicht: Der Quelltext erscheint an Stelle der Formel in der Fehlerfarbe.

Codeblöcke #

Ein eingezäunter Block mit Sprachnamen wird hervorgehoben. Ohne Sprachnamen rät die Hervorhebung die Sprache. Jeder Block hat oben rechts einen Button Copy. Er kopiert nur den Code, und die Beschriftung wechselt kurz zu ✓ Copied (Kopiert) oder zu Copy failed (Kopieren fehlgeschlagen). Lange Zeilen werden nicht umgebrochen: Der Block scrollt seitlich.

Links #

• Ein Link auf eine Webadresse öffnet sich in einem neuen Tab. Die Seite, die sich öffnet, kann nicht auf OAR zurückgreifen.
• Ein Dateiname oder Pfad, der in einer Antwort als einfacher Text steht (nicht in einem Code-Span oder Link), mit der Endung eines bekannten Dateityps wie src/app.js, wird zu einem Link, der die Datei im Viewer der App öffnet statt in einem neuen Tab.
• Nur Links mit http, https und mailto und Adressen innerhalb von OAR bleiben erhalten. Andere Arten werden entfernt.

Weiteres Markdown #

Antworten verwenden Standard-Markdown: Überschriften, fett und kursiv, durchgestrichen, Zitate, Aufzählungen und nummerierte Listen, Tabellen, horizontale Linien und Inline-Code. Tabellen füllen die Breite der Nachricht. HTML in einer Antwort erscheint als Text.