Nei giorni scorsi ho notato che il mio sito stava notevolmente rallentando la velocità di risposta alle richieste di pagine e articoli quindi ho provato a dare un’occhiata al suo server per accorgermi che c’erano un po’ troppe richieste contemporanee che affollavano il processore.

Gli IP appartenevano tutti a Semrush che, da quanto ho capito, cerca di analizzare le parole chiave che generano un buon posizionamento nei motori di ricerca.

D’istinto ho messo in campo un blocco che coprisse una buona fetta dei loro IP da 185.191.171.0 a 185.191.171.255 con il risultato che ogni tentativo di accesso, pur se respinto con lode, ha prodotto un errore che inspessisce il file di riepilogo di tutti i problemi incontrati.

Per questa ragione ho provato a cercare e recuperato la pagina in cui Semrush racconta cosa fa il suo bot e spiega che a dirgli con le buone: “Va bene, ma non lo fare più” lui capisce di più e si comporta meglio.

La chiave sarebbe aggiungere al file robots.txt le istruzioni che spiegano a quel computer che è più gradito quando gira alla larga; la pagina parla delle varie opzioni ma, quando si arriva a questo punto di insopportazione è difficile scindere se ci sia qualcosa da tenere ed allora, le ho inserite tutte che Semrush non lo voglio più vedere nelle mie statistiche.

Se avete lo stesso problema, aggiungete queste righe al vostro file robots.txt (che va inserito nella directory principale del sito):

User-agent: SemrushBot
Disallow: /

User-agent: SiteAuditBot
Disallow: /

User-agent: SemrushBot-BA
Disallow: /

User-agent: SemrushBot-SI
Disallow: /

User-agent: SemrushBot-SWA
Disallow: /

User-agent: SemrushBot-CT
Disallow: /

User-agent: SemrushBot-BM
Disallow: /

User-agent: SplitSignalBot
Disallow: /

User-agent: SemrushBot-COUB
Disallow: /

 

https://www.semrush.com/bot/