Az internetet működtető szöveges fájl

Évtizedekig a robots.txt szabályozta a keresők viselkedését, de az MI miatt a web alapvető társadalmi szerződése kezd szétesni.