LLM 结构化输出 - 随心而记

651 字

3 分钟

LLM 结构化输出

2025-04-08

前端

LLM

什么是结构化输出？#

通常情况下，LLM 的输出是自然语言，但是有时候我们需要 LLM 输出特定的结构化数据，比如 JSON、XML 等。

让大语言模型（LLM）输出格式清晰、结构明确的数据，而不是一大段自然语言描述。

如何使用结构化输出？#

1. Prompt 中指定输出格式#

1
import OpenAI from 'openai';
2

3
const openai = new OpenAI({
4
  apiKey: process.env.OPENAI_API_KEY,
5
});
6

7
const completion = await openai.chat.completions.create({
8
  model: 'gpt-4o-mini',
9
  messages: [
10
    {
11
      role: 'system',
12
      content: '你是一个专业的历史学家，你应该能够以简洁和准确的方式总结一个人的生活。',
13
    },
14
    {
15
      role: 'user',
16
      content: `请总结10个${name}生活中的重要事件。
17
      以 JSON 格式输出，字段包括：
18
      {
19
      "name": "string", // name
20
      "gender": "string", // gender
21
      "type": "string", // type
22
      "profile": "string", // profile 100 words
23
      "timeline": [
24
        {
25
          "year": "string", // year
26
          "title": "string", // title
27
          "description": "string", // description 50 words
28
        }
29
      ]
30
    }
31
    `,
32
    },
33
  ],
34
});
35

36

37
// 期望输出
38
```json
39
{
40
  "name": "string", // name
41
  "gender": "string", // gender
42
  "type": "string", // type
43
  "profile": "string", // profile 100 words
44
  "timeline": [
45
    {
46
      "year": "string", // year
47
      "title": "string", // title
48
      "description": "string", // description 50 words
49
    }
50
  ]
51
}

2. 使用 zod 定义结构，配合 OpenAI 的 `zodResponseFormat` 函数#

1
import OpenAI from 'openai';
2
import { zodResponseFormat } from 'openai/helpers/zod';
3
import { z } from 'zod';
4

5
const openai = new OpenAI({
6
  apiKey: process.env.OPENAI_API_KEY,
7
});
8

9
const BiographySchema = z.object({
10
  name: z.string(),
11
  gender: z.string(),
12
  type: z.string(),
13
  profile: z.string(),
14
  timeline: z.array(z.object({ year: z.string(), title: z.string(), description: z.string() })),
15
});
16

17

18
const completion = await openai.chat.completions.create({
19
  model: 'gpt-4o-mini',
20
  messages: [
21
    {
22
      role: 'system',
23
      content: '你是一个专业的历史学家，你应该能够以简洁和准确的方式总结一个人的生活。',
24
    },
25
    {
26
      role: 'user',
27
      content: `请总结10个${name}生活中的重要事件。`,
28
    },
29
  ],
30
  response_format: zodResponseFormat(BiographySchema, 'biography'),
31
});
32

33
// 期望输出
34
{
35
  "name": "string", // name
36
  "gender": "string", // gender
37
  "type": "string", // type
38
  "profile": "string", // profile 100 words
39
  "timeline": [
40
    {
41
      "year": "string", // year
42
      "title": "string", // title
43
      "description": "string", // description 50 words
44
    }
45
  ]
46
}

其他#

部分兼容 openai sdk 的服务不支持 `zodResponseFormat` 函数#

deepseek-chat 模型不支持 zodResponseFormat 函数

解决方法：response_format: model.includes('deepseek-chat') ? { type: 'json_object' } : zodResponseFormat(BiographySchema, 'biography'),
deepseek-reasoner 模型不支持 json_object

解决方法：response_format: model.includes('deepseek-reasoner') ? { type: 'text' } : zodResponseFormat(BiographySchema, 'biography'),

最终处理#

1
const response_format = model.includes('deepseek') ?
2
  { type: model.includes('chat') ? 'json_object' : 'text', }
3
  : zodResponseFormat(BiographySchema, 'biography'),

总结#

方法	优点	缺点
Prompt 中指定输出格式	简单易用，自然语言输入	1. 如果输出格式复杂，可能需要多次调整 2. 不同的模型可能对于输出格式的理解不同导致输出格式错误 3. 输出的文本一般被 ```jsonn ``` 包裹，需要自行匹配真正的 JSON 文本¹
`zod` + `zodResponseFormat`	结构清晰，易于维护，支持复杂类型，高可控	需要额外引入 `zod`