所有页面
本页内容

图片、媒体与公式

OAR 中的回复不只是文本。智能体可以给你看一张截图,或播放它制作的一段短片;公式会排版显示;代码块带有 Copy(复制)按钮;你还可以先在截图上做标注,再把它发回去。本页逐一介绍这些内容。

绘制对话的页面本身不带 Markdown、公式和代码高亮所需的库。你的浏览器会从 cdn.jsdelivr.net(Markdown 和 KaTeX)和 cdnjs.cloudflare.com(highlight.js)加载它们,因此浏览器需要能访问这些主机。没有这些库时,回复显示为纯文本,公式保持源码形式,代码块也不会高亮。

智能体回复中的媒体 0.9.2 新增 #

智能体可以在回复中放入图片、视频或音频文件,方法是写一个 Markdown 图片,其目标为该文件在中继所在机器上的绝对路径:

![the failing page](/home/dev/projects/shop/shots/checkout.png)
![demo clip](C:\Users\dev\Videos\demo.mp4)

你不需要上传任何东西,智能体也不需要额外的工具。浏览器请求该文件时,中继才去读取它。

文件类型 你会看到什么
图片 图片以内联方式显示,缩放到适合消息的大小。
mp4、webm、m4v、mov 一个带控件的视频播放器。
mp3、m4a、ogg、opus、wav、flac 一个带控件的音频播放器。

显示图片还是播放器,取决于文件名的扩展名,而不是智能体写的描述。描述会成为播放器的提示文字。

点击图片可在查看器中打开它,并可滑动浏览该对话中的其他媒体。播放器保留自己的控件。路径要按中继所在机器的写法来写:Linux 和 macOS 上是 /home/…,Windows 上是 C:\…。

能显示什么 #

  • 仅限你自己。 中继只把文件提供给携带其访问令牌的请求,已登录该中继的浏览器就会携带。分享的只读链接没有令牌,因此不显示媒体,在那里点击图片也不会有任何反应。
  • 文件夹。 在 Linux 和 macOS 上没有允许文件夹的列表:只要是运行中继的用户能读取的文件,任何绝对路径都会被提供,无论是否在工作区内,.. 段也会被解析。在 Windows 上,文件必须位于中继在 📁 Browse files(浏览文件)下列出的某个驱动器上。回复无法替智能体读取文件,但它会让你的浏览器去请求文件,因此中继用户能读取的任何内容都可能出现在你的屏幕上。
  • 文件不存在,或是文件夹。 中继拒绝该请求,图片或播放器无法加载。
  • 安全的类型。 HTML 和 XML 文件以纯文本提供,因此无法在中继的页面中运行。SVG 图片会显示,但无法运行脚本。
  • 大小。 OAR 不设大小上限。视频和音频分段流式传输,因此播放器可以跳转。
  • 不支持原始 HTML。 智能体在回复中写的 HTML 显示为文本,而不是页面。

不会复制任何内容:如果磁盘上的文件发生变化,下次加载会显示新版本。

按提供商 #

智能体得知道这个窍门。OAR 会在给智能体的指令中告诉它,每个提供商一次。这是唯一的区别:你看到的内容是一样的。

提供商 是否被告知嵌入媒体
GitHub Copilot,SDK 引擎 是
GitHub Copilot,扩展引擎 否
OpenAI(你自己的密钥),SDK 引擎 是
OpenAI(你自己的密钥),扩展引擎 否
Claude 是
DeepSeek 0.9.17 新增 是
Claude Cloud 否
Cursor 是
Grok 是

OpenAI Image 对话没有智能体,因此无需告知。

其余的提供商差异见提供商一览;为什么这是一条指令而不是一个工具,见不是工具。

你发送的图片 #

你添加为附件的图片会在你的消息中显示为缩略图。点击它可打开查看器。图片如何添加为附件、上传前如何缩小以及如何传给各个提供商,见输入区。

标注图片 0.9.2 新增 #

用荧光笔指出截图中你所指的部分。

  • 发送之前。 在输入区中点击一张图片。可以标注的图片带有 🖍️ 徽标。GIF 和 SVG 图片无法标注。
  • 从查看器中。 从消息或从 📁 Browse files 打开一张图片,然后点击 🖍️ Annotate(标注)。GIF 和 SVG 没有这个按钮,分享视图中也没有。

一个标题为 Annotate image(标注图片)的编辑器会覆盖在页面上打开,显示该图片。它的按钮只有图标;下面的名称是它们的无障碍标签。

控件 作用
四种颜色 黄色(默认)、红色、绿色、蓝色。
三种粗细 细、中(默认)、粗。粗细按图片最长边的比例计算,因此一处标记在手机截图和大尺寸截图上看起来一样。
↩️ Undo(撤销) 撤回最后一笔或最后一次清除。
🗑️ Clear all(全部清除) 删除所有笔画。Undo 可以把它们恢复。
✅ Accept(接受) 保存。在你画下内容之前处于禁用状态。
✖ 关闭且不保存。如果你已经画了内容,它会询问 Discard annotations?(放弃标注?)。按 Escape 键效果相同。

笔画是半透明的,因此标记下方的文字仍然可读。轻点一下会留下一个点。

触控。 一根手指绘制。第二根手指会切换为双指缩放,并丢弃你已开始的那一笔。双击放大,再次双击使图片适应窗口。鼠标。 左键拖动绘制,滚轮缩放,右键或中键拖动平移。双击缩放。

保存 #

Accept 会把笔画合并到一张与图片原尺寸相同的 PNG 中,命名类似 screenshot-annotated.png(原文件名,后接 -annotated.png)。原图永远不会被修改。这份副本随后会经过与任何附件相同的步骤,因此较大的副本会在上传前缩小。

  • 从输入区开始时,标注后的副本会取代该附件,并被上传。
  • 从查看器开始时,标注后的副本会作为新附件添加到输入区并被上传,供你的下一条消息使用。已发送的消息保持不变。如果输入区已满,编辑器会保持打开,以便你腾出一个位置后再次接受。

如果图片无法打开或保存,会有一条简短提示说明:Could not open the annotation editor(无法打开标注编辑器)或 Could not save annotations(无法保存标注)。编辑器保持原样。

生成的图片 #

在 OpenAI Image 对话中,回复是模型生成的图片。相关说明见 OpenAI 与 OpenAI Image。

公式 #

数学和化学公式用 KaTeX 排版,在回复和思考中都是如此。化学式使用 \ce{…},它来自 KaTeX 的 mhchem 扩展,页面会随 KaTeX 一起加载。

你写的内容 结果
$E = mc^2$ 或 \(E = mc^2\) 文本行中的行内公式。
$$\int_0^1 x\,dx$$ 或 \[ … \] 单独成行、居中的展示公式。
$\ce{2H2 + O2 -> 2H2O}$ 一个化学方程式。

展示公式可以跨越多行。单独一行的 $$ 或 \[ 开始一个展示公式,匹配的 $$ 或 \] 结束它。中间的各行合并为一个公式。单独一行的 [,由单独一行的 ] 结束,只有当中间的行使用了 TeX 命令(例如 \frac、\sum 或 \ce)时,才会被当作展示公式。

写在普通圆括号中的公式,如果明显是 TeX,也会被排版:它最多 240 个字符,不是网址,并且包含诸如 \frac 的命令,或诸如 x^2 或 x_{n} 的上下标。

美元符号与价格 #

单个 $ 只有在以下条件全部满足时才会开始一个公式:

  • 紧跟其后的字符不是空格;
  • 下一个 $ 结束公式,且它前面紧挨的字符不是空格;
  • 结束的 $ 后面没有数字。如果两者之间的文本看起来像 TeX(包含 \ ^ _ { } = 之一),则允许跟数字,因此 $x^2$3 是一个公式。

因此 it cost $5 and $9 和 $4.20, the earlier one $3.80 保持为纯文本,而 $x^2$ 是一个公式。反斜杠后的 $ 是普通的美元符号。代码片段和代码块中的美元符号永远不会被当作公式。

无效输入 #

KaTeX 无法解析的公式不会破坏回复:源码文本会以错误颜色显示在公式的位置上。

代码块 #

带语言名称的围栏代码块会被高亮。没有语言名称时,高亮会猜测语言。每个代码块的右上角都有一个 Copy 按钮。它只复制代码,标签会短暂变为 ✓ Copied(已复制),或变为 Copy failed(复制失败)。长行不会换行:代码块会横向滚动。

  • 指向网址的链接会在新标签页中打开。打开的页面无法反向访问 OAR。
  • 回复中以纯文本写出(不在代码片段或链接中)、带有已知文件类型扩展名的文件名或路径,例如 src/app.js,会变成一个链接,在应用的查看器中打开该文件,而不是打开新标签页。
  • 只保留 http、https 和 mailto 链接以及 OAR 内部的地址。其他类型会被移除。

其他 Markdown #

回复使用标准 Markdown:标题、粗体和斜体、删除线、引用、项目符号列表和编号列表、表格、水平分隔线以及行内代码。表格会占满消息的宽度。回复中的 HTML 显示为文本。