Durant deu anys, la moderació als missatgers es va basar en llistes de paraules: creàveu una llista de paraules prohibides i el bot eliminava els missatges que les contenien. Un enfocament senzill i ràpid, però amb una debilitat fonamental: no entén el significat. I els spammers ho saben perfectament.
El problema dels filtres normals
Una llista de paraules prohibides s'esquiva en segons: «c a s i n o» amb espais, substitució de lletres per altres de semblants, alfabets alternatius, una captura de pantalla en lloc de text. Per capturar totes les variants, cal ampliar la llista infinitament, i tot i així apareixen nous esquivaments. Al final, el filtre o bé deixa passar l'spam, o bé comença a eliminar missatges inofensius.
Què canvia la intel·ligència artificial
La moderació amb IA no treballa amb paraules, sinó amb el significat i el context:
- Anàlisi semàntica. El model avalua de què va el missatge, no quines lletres conté. L'spam reformulat i la publicitat camuflada deixen de passar.
- Anti-estafa. Els esquemes fraudulents («sorteig», «inversions», «el suport demana un codi») es reconeixen pel significat, encara que la formulació sigui nova.
- Anàlisi de comportament. Es té en compte no només el text, sinó també el patró: la freqüència, la repetitivitat, el comportament d'un compte nou.
No només protecció
La IA no és útil només per eliminar el que és dolent, sinó també per crear el que és bo:
- Resums de xats. Un extracte breu d'un debat llarg: estalvia temps tant als administradors com als membres.
- Generació de contingut. Esborranys de publicacions a partir d'un brífing curt.
- Ajuda amb les respostes. Suggeriments per al suport i les FAQ.
Què és important tenir present
La IA no és màgia, i té matisos que val la pena considerar honestament:
- Falsos positius. Cap model és perfecte. Per això la IA ha de treballar en combinació amb normes clares i la possibilitat d'apel·lació/revisió manual dels casos dubtosos.
- Privadesa. És important que l'anàlisi sigui acurada i no es converteixi en vigilància. Una bona solució processa exactament el que cal per a la moderació.
- Transparència. L'administrador ha d'entendre per què s'ha eliminat un missatge i tenir control sobre els llindars.
Cap a on anem nosaltres
Mod Assistant Bot desenvolupa la línia d'eines d'IA: moderació semàntica, anti-estafa, resums de debats i generació de publicacions. La idea és senzilla: treure la rutina a l'administrador i capturar el que els filtres normals no veuen, deixant a la persona el control sobre el que és dubtós. Més detalls a la pàgina Eines d'IA.
Conclusió
Les llistes de paraules ja no segueixen el ritme dels spammers. La moderació amb IA no és «hype», sinó el següent pas lògic: entendre el significat en lloc d'endevinar per les lletres. El futur ja és aquí, i simplifica molt la vida als propietaris de comunitats.