十年来,通讯软件的审核一直依赖词表:设好屏蔽词,机器人就删除含这些词的消息。简单又快速,但有一个根本弱点:它不理解含义。而垃圾发送者对此心知肚明。
普通过滤器的问题
屏蔽词表几秒钟就能被绕过:字母间加空格、使用形近字符、用拉丁字母代替西里尔字母、用截图代替文字。要拦住每一种变体,你就得无休止地扩充词表 —— 而新的绕过手法仍会出现。最终,过滤器要么放过垃圾信息,要么开始误删无害消息。
AI 改变了什么
AI 审核处理的不是词语,而是含义和上下文:
- 语义分析。 模型判断消息在说什么,而非它含有哪些字母。改写的垃圾信息和伪装的广告不再能蒙混过关。
- 反诈骗。 诈骗套路(「抽奖」、「投资」、「客服索要验证码」)按含义识别,即便换了新说法。
- 行为分析。 不只看文本,还看模式:频率、模板化、新账户的行为。
不只是防御
AI 不仅有助于清除坏的,也能用于创造好的:
- 聊天摘要。 对长篇讨论的简短回顾 —— 为管理员和成员节省时间。
- 内容生成。 根据简短要求起草帖子。
- 回复辅助。 为支持和常见问题提供建议。
需要注意什么
AI 并非魔法,它也有一些值得坦诚承认的细微之处:
- 误判。 没有模型是完美的。因此 AI 应与清晰的规则以及针对特殊情况的申诉/人工复核机制配合运作。
- 隐私。 分析应当审慎,不应变成监视。好的方案只处理审核所必需的内容。
- 透明。 管理员应理解某条消息为何被删除,并能掌控阈值。
我们的方向
Mod Assistant Bot 正在开发 AI 工具:语义审核、反诈骗、讨论摘要和帖子生成。思路很简单 —— 把例行工作从管理员身上卸下,并捕捉普通过滤器遗漏的内容,同时把特殊情况的掌控权留给人。在 AI 工具页面了解更多。
结论
词表已无法跟上垃圾发送者的脚步。AI 审核不是炒作,而是合乎逻辑的下一步:理解含义,而非靠字母猜测。未来已来 —— 它让社群主的生活轻松许多。

