Deset let se moderace v messengerech opírala o seznamy slov: nastavíte zakázaná slova a bot smaže zprávy, které je obsahují. Jednoduché a rychlé, ale se zásadní slabinou: nerozumí významu. A spameři to moc dobře vědí.
Problém běžných filtrů
Seznam zakázaných slov se obejde za minutu: písmena od sebe, podobně vypadající znaky, latinka místo azbuky, snímek obrazovky místo textu. Abyste zachytili každou variantu, musíte seznam donekonečna rozšiřovat — a nové obcházení se objeví stejně. Nakonec filtr buď spam propustí, nebo začne mazat neškodné zprávy.
Co mění AI
Moderace s AI nepracuje se slovy, ale s významem a kontextem:
- Analýza významu. Model posuzuje, o čem zpráva je, ne jaká písmena obsahuje. Přepsaný spam a maskovaná reklama už neprojdou.
- Ochrana před podvody. Podvodná schémata («soutěž», «investice», «podpora chce kód») se rozpoznají podle významu, i když jsou napsaná jinými slovy.
- Analýza chování. Nejen text, ale i vzorec: frekvence, šablonovitost, chování nového účtu.
Nejen obrana
AI je užitečná nejen k odstraňování špatného, ale i k tvorbě dobrého:
- Shrnutí chatu. Krátké shrnutí dlouhé diskuze — ušetří čas správcům i členům.
- Tvorba obsahu. Návrhy příspěvků z krátkého zadání.
- Pomoc s odpověďmi. Návrhy pro podporu a časté dotazy.
Na co si dát pozor
AI není kouzlo a má nuance, které je fér přiznat:
- Falešné poplachy. Žádný model není dokonalý. AI by proto měla pracovat vedle jasných pravidel a možnosti odvolat se nebo hraniční případy zkontrolovat ručně.
- Soukromí. Analýza má být opatrná a nesmí se změnit ve sledování. Dobré řešení zpracovává přesně to, co je pro moderaci potřeba.
- Průhlednost. Správce musí rozumět tomu, proč byla zpráva smazána, a mít kontrolu nad prahovými hodnotami.
Kam míříme
Mod Assistant Bot vyvíjí nástroje AI: moderaci podle významu, ochranu před podvody, shrnutí diskuzí a generování příspěvků. Myšlenka je prostá — sundat ze správce rutinu a zachytit to, co jednoduché filtry propustí, a hraniční případy nechat na člověku. Víc na stránce nástroje AI.
Shrnutí
Seznamy slov už spamerům nestačí. Moderace s AI není móda, ale logický další krok: rozumět významu místo hádání podle písmen. Budoucnost je tu už teď — a majitelům komunit výrazně ulehčuje život.