Setting Up AI Moderation
Una guía paso a paso para detectar mensajes dañinos por su intención, ajustar cada categoría y revisar lo que se marca.
Cómo encaja la Moderación con IA
La Moderación con IA complementa los filtros de palabras clave del plugin Moderación con un modelo que lee los mensajes según su intención, no solo por palabras exactas. Puede detectar acoso, odio, amenazas y más aunque no haya una palabra concreta que filtrar. Cada mensaje se puntúa por separado en seis categorías.
Ver la referencia completaLas seis categorías
Cada categoría se puntúa por separado en una escala de 0 a 100 %, y un mensaje se marca en cuanto la puntuación ajustada de cualquier categoría activa alcanza su umbral:
| Categoría | Descripción |
|---|---|
| Acoso | Contenido que expresa, incita o promueve lenguaje de acoso hacia cualquier objetivo. |
| Odio | Contenido que expresa, incita o promueve odio por raza, género, etnia, religión, nacionalidad, orientación sexual, discapacidad o casta. |
| Ilícito | Contenido que da consejos o instrucciones para cometer actos ilícitos, p. ej. "cómo robar en una tienda". |
| Autolesiones | Contenido que promueve, fomenta o muestra actos de autolesión, como suicidio, cortes y trastornos alimentarios. |
| Sexual | Contenido destinado a provocar excitación sexual o que promueve servicios sexuales (excepto educación sexual y bienestar). |
| Violencia | Contenido que muestra muerte, violencia o lesiones físicas. |
Ajusta cada categoría
Cada categoría de la pestaña Políticas tiene tres controles propios, así que puedes aflojar o endurecer cada una por separado en lugar de usar un único ajuste para todo:
| Campo | Qué controla |
|---|---|
| Umbral | La puntuación de confianza mínima necesaria para marcar un mensaje. |
| Sensibilidad | Un multiplicador que se aplica a la puntuación bruta de la IA antes de compararla con el umbral. Más alta detecta más, pero aumenta el riesgo de falsos positivos. |
| Eliminar mensaje | Si esta categoría, por sí sola, borra el mensaje infractor cuando se activa. |
Limita dónde vigila y pruébala
Las Restricciones limitan la Moderación con IA a canales o roles concretos, por ejemplo solo a los canales públicos y no a una zona del staff. Antes de confiar en ella, usa el Probador de mensajes para pasar ejemplos reales por tus ajustes activos y ver qué categorías activaría un mensaje, sin marcar a nadie.
Revisa los mensajes marcados y corrige falsos positivos
Activa Guardar mensajes marcados y los últimos 25 mensajes marcados se guardan (cifrados) para revisarlos en la pestaña Mensajes marcados. Últimas coincidencias muestra lo detectado recientemente; con cada uno puedes:
- Aprobar: confirma que la coincidencia era correcta. Es solo un registro y no cambia nada.
- Marcar como falso positivo: ese mensaje exacto nunca volverá a marcarse. La categoría y los ajustes que lo detectaron no cambian.
Decide qué pasa cuando se marca un mensaje
El interruptor Eliminar mensaje de cada categoría (del paso 3) controla si el mensaje se borra. Acción adicional, en la pestaña General, añade una consecuencia más: nada, advertir, silenciar, expulsar, banear, baneo temporal o añadir/quitar un rol. También puedes enviar al miembro un MD con una explicación, responder en el canal y enviarlo todo a un canal de registro para tu equipo de moderación.
Ya puedes activarla
Empieza con los valores predeterminados, revisa la pestaña Mensajes marcados durante los primeros días y ajusta los umbrales por categoría según veas cómo funciona en tu servidor.