什么是内容审核？
内容审核（Moderation）是检测和过滤不当内容的系统化流程。在 AI 领域，内容审核包括对用户输入和 AI 输出两个方向的安全检测——既要防止用户通过恶意输入绕过 AI 的安全限制，也要防止 AI 生成有害内容。
AI 内容审核的主要维度
仇恨言论：涉及种族、性别、宗教、性取向等歧视性内容。暴力内容：暴力描述、威胁、霸凌等。色情内容：色情描述、露骨内容、色情诱导等。违法内容：毒品、赌博、武器制造等违法信息。欺诈内容：诈骗、钓鱼链接、虚假信息等。个人信息：未经授权的个人隐私信息。
主流审核方案
OpenAI Moderation API：免费的文本内容审核 API，检测仇恨、暴力、色情等类别。阿里云内容安全：中文内容审核服务，支持文本、图片、视频的审核。开源方案：如 NSFW JS、Detoxify 等轻量级审核工具。自定义规则：结合关键词黑名单、正则表达式和 AI 分类器的混合方案。
内容审核的最佳实践
多层审核：结合规则过滤、AI 模型审核和人工审核三层架构。误报与漏报的平衡：过于严格的审核会增加误报（影响用户体验），过于宽松会增加漏报（安全风险）。上下文理解：同一句话在不同上下文中可能有不同的含义，审核系统需要具备一定的上下文理解能力。