Sito rallentatissimo

[chribu]

I miei gugggggini Ai commentano cosi:

Sì: il problema è causato da bot/crawler, la soluzione deve intervenire lato server, quindi purtroppo tu, come semplice utente, non puoi correggerlo direttamente.

Ho ricontrollato il sito: al momento continua a rispondere, ma il forum è enorme — circa 403.000 discussioni e 9,7 milioni di messaggi — e la pagina "Richieste al Webmaster" contiene effettivamente una discussione recente intitolata Connessione a QdE.

Cosa dovrebbe fare l'amministratore

Se fosse effettivamente traffico automatico, io procederei così:

Analizzare gli access log
IP più frequenti
User-Agent
richieste al secondo
URL più richiesti
provenienza dei bot
percentuale di errori/time-out.

Individuare i crawler anomali

Non basta bloccare la stringa bot nello User-Agent: un crawler aggressivo può presentarsi come un normale browser.

Mettere un rate limit

Per esempio, limitare un singolo IP a un certo numero di richieste al secondo/minuto. È particolarmente utile per un forum vBulletin perché alcune pagine possono essere molto più costose di altre.

Bloccare o rallentare i crawler non necessari

Se, ad esempio, un motore di ricerca sta scansionando migliaia di pagine contemporaneamente, si può intervenire tramite robots.txt e soprattutto tramite rate limiting lato web server/firewall.

Mettere una cache davanti al forum

Un reverse proxy/CDN può assorbire una parte enorme delle richieste alle pagine pubbliche, evitando che ogni richiesta arrivi direttamente a PHP/database. vBulletin supporta inoltre diversi meccanismi di caching, incluso Memcached.

Controllare il database

Questa è l'altra possibilità che non trascurerei affatto. Con quasi 10 milioni di messaggi, una ricerca, una pagina particolarmente pesante o una query non ottimizzata può mettere sotto pressione MySQL anche senza alcun attacco.