Det finns bra bots och det finns dåliga robotar. Bra bots (robotar som genomsöker en webbplats) genomsöka och indexera din webbplats och få in trafik. Dåliga robotar förbrukar bandbredd och sakta ner din server, stjäl ditt innehåll och titta säkerhet...