Moderación de contenido — Tarjeta del modelo
Modelos en el pipeline
| Componente | Modelo | Licencia | Datos de entrenamiento |
|---|---|---|---|
| Clasificador binario NSFW | Clasificador Brainiall NSFW cuantizado | licencia permisiva | ~80k imágenes etiquetadas (conjunto de evaluación de Brainiall, curado de la web) |
| Detector de partes del cuerpo a nivel regional | Detector Brainiall NSFW v3 inferencia optimizada | MIT | ~12 clases de partes del cuerpo; lanzamiento 2024; conjunto de entrenamiento no público |
Desempeño (evaluación held-out)
Precisión / recall / F1 por clase en evaluación interna (n=2000, muestra balanceada). Las cifras son nuestras mediciones; publicaremos una comparación directa contra benchmarks públicos (NPDI, Adult-Content) en el Q3 de 2026 para estandarizar la comparación.
| Clase | Precisión | Recall | F1 |
|---|---|---|---|
| NSFW (binario) | 0.96 | 0.94 | 0.95 |
| Genitales / partes íntimas expuestos | 0.92 | 0.89 | 0.90 |
| Sugerente (escote / ropa interior) | 0.86 | 0.83 | 0.84 |
| Vestimenta de playa / moda | 0.88 | 0.91 | 0.89 |
Sesgo conocido: tasa elevada de falsos positivos en imágenes de carnaval brasileño, playa y alta moda — el mismo sesgo de orientación occidental documentado para AWS Rekognition Moderation (Gender Shades, MIT 2018) Para UGC de regiones mixtas, recomendamos ajustar el umbral por mercado.
Postura sobre CSAM (Material de Abuso Sexual Infantil)
La API de Moderación de Contenido de Brainiall NO detecta CSAM. Los datos de entrenamiento y la arquitectura del modelo están explícitamente fuera del alcance para la detección de seguridad infantil — usar esta API para detección de CSAM es un mal uso y no brinda protección legal.
Para la detección de CSAM, los clientes deben utilizar infraestructuras especializadas:
- PhotoDNA (Microsoft) — hash-matching contra la base de datos de NCMEC. Gratis para plataformas que califiquen.
- Apple NeuralHash — hash perceptual para CSAM conocido (utilizado por Apple iCloud).
- Thorn / Safer — clasificador comercial de CSAM + inteligencia (ONG calificada).
- NCMEC CyberTipline — reporte obligatorio en EE. UU. (18 U.S.C. § 2258A).
Los clientes que ingieren posible CSAM en su pipeline son responsables de enrutar esos flujos a los servicios mencionados. Brainiall declara explícitamente que la detección de CSAM está fuera de alcance en nuestro Términos §6.4 y DPA §3.2.
Registro de auditoría
Todos los /v1/moderation/analyze/base64 la llamada devuelve un request_id; conservamos metadatos de solicitud (timestamp, IP de origen, latencia, versión del modelo, puntaje) durante 90 días para auditoría. Los bytes de imagen son not Conservado - Ver /trust para conocer los compromisos completos de manejo de datos. A pedido, proporcionamos exportaciones de registros de auditoría para consultas legales o regulatorias a través de hello@brainiall.com.
Uso previsto vs. fuera de alcance
Dentro del alcance: Filtrado NSFW de UGC en el momento de la carga, verificaciones previas a la publicación en marketplaces, pipelines de moderación comunitaria, revisión de fotos en apps de citas, integridad de categorías de productos en e-commerce.
Fuera del alcance: CSAM (ver arriba), detección de deepfakes, detección de armas, detección de símbolos de odio, moderación de video en streaming en tiempo real. Cada uno requiere modelos especializados que aún no ofrecemos.
Versionado + cambios disruptivos
La versión del modelo se imprime en cada respuesta (pipeline_version: "s7-v1.x.y") Los cambios mayores de modelo (p. ej., Brainiall → SOTA más reciente) se marcan en /changelogcon al menos 90 días de aviso y una deprecated header en el endpoint legacy. Los clientes pueden fijar una versión específica mediante el X-Brainiall-Model-Version encabezado de la solicitud (planes Pro+).
Última actualización: 2026-05-06. Preguntas: hello@brainiall.com.