Ik maak al een tijd gebruik van de Extendware Full Page Cache module en dat werkte altijd erg goed en snel. Bij de module heb ik echter ook een Crawler aangeschaft en die veroorzaakt nogal wat problemen. Deze crawler is zo zwaar dat mijn hoster contact met me heeft opgenomen en dat zelfs een VPS pakket niet meer voldoende is. Een eigen server a 190 euro per maand zou dan de oplossing zijn.

Ik vind dit echter vrij duur en ben daarom ook eens aan het kijken naar alternatieve FPC modules. Ik hoor veel goede verhalen over Lesti FPC en vroeg me af of hier andere daar ook ervaring mee hebben? Of wellicht met een andere FPC module?

Ook wel benieuwd naar.. wij staan op het punt om met caching te starten en onderzoeken nu waar dit mee te gaan doen..

Ik gebruik Brim FPC. Goede ervaringen mee: Geregeld updates, goede support. Ik had wel min of meer vergelijkbare problemen met het gebruik van de Brim crawler / cache warmer (aparte extensie). Volgens de developer hangt het van de hoster af of deze in staat en bereid is de crawls als intern verkeer te zien ipc extern: "If your hosting company can differentiate between internal and external traffic and doesn't charge for internal traffic you can request that they add a line to your servers hosts file to use the internal interface instead of the public IP for your domain."

Ik heb het op kunnen lossen door de cache warmer minder vaak de cache te laten bijwerken. Beetje balans zoeken.

Wij gebruiken ook brim. goede ondersteuning, niet gratis maar ja je kan niet alles hebben.

Paar maanden geleden redis laten installeren op de vps.
Hierdoor draait de backend sneller maar ook de frontend is weer iets sneller geworden.

De crawler werkt ook goed 2 keer per dag.

Ene en ander qua belasting hangt ook samen met hoeveel pagina's je moet crawlen.
Het is een beetje raar dat je niet meer op een vps kan bij je huidige provider. Je kan ook een kijken bij een andere provider waar het geen probleem is. Wij zitten bij cloudvps.nl die moeten daar geen probleem van maken wat jij doet.

@bob Ik maak gebruik van heel wat filters waardoor het aantal pagina's dat moet worden gecrawld ongeveer 50.000 is. Dit gebruikt behoorlijk wat CPU en geheugen en elke vps heeft natuurlijk zijn limieten. Ik was daarom eens aan het kijken hoe ik het beter kan aanpakken.

Ik heb de crawler nu ingesteld dat hij wat minder diep crawled en ook na elke request 100 ms wacht voordat hij de volgende request uitvoert!

De vraag is of je al die files echt moet crawlen of alleen de normale productpagina's. Filters crawl ik niet. Daarnaast als mensen die filters gebruiker kunnen ze ook 1 of 2 seconden extra wachten.