Robots.txt niet gecrawld

1
Hey,

Misschien dat iemand mij hier verder kan helpen. 
Ik gebruik de plugin Yoast voor mijn sitemap, maar ik heb er steeds problemen mee. Overigens ook al andere SEO plugins gebruikt, maar dat is helaas niet de oplossing.

Het probleem is dat mijn robots.txt steeds niet opgehaald kan worden. Als ik kijk bij google search console, zie ik dat de het de ene dag wel opgehaald kan worden, en een dag later weer niet. Erg vervelend, want nu verdwijnen steeds de producten uit mijn google merchants. 

Google heb ik al benaderd, ze denken graag mee, maar ik kom er nog niet echt uit. 

Dit is wat ze zeggen:
  • Desktoppagina kan niet worden gecrawld vanwege robots.txt: Uw bestemmingspagina's (via het kenmerk link [link]) kunnen niet door Google worden gecrawld omdat robots.txt niet toestaat dat de crawler van Google de bestemmingspagina downloadt. Ga als volgt te werk om deze fout op te lossen: 
    • Werk uw robots.txt-bestand bij zodat de user-agents 'Googlebot' en 'Googlebot-Image' uw site kunnen crawlen. Meer informatie vindt u hier.
    • Zorg ervoor dat robots.txt geen x-robots-tag gebruikt om te voorkomen dat Google-bots uw site crawlen. Meer informatie vindt u hier
Eerste puntje heb ik gedaan. Tweede puntje snap ik minder.
Iemand hier ervaring mee en weet wat ik kan doen?

Groetjes, Maaike
Advertentie

Wil je zelf je eigen webwinkel maken? Met JouwWeb is dat heel eenvoudig! Dankzij een slimme keuzehulp ontwerp je zelf je eigen thema of huisstijl. De software is technisch volledig doorontwikkeld en naast het Nederlands ook in het Engels beschikbaar. Ruim 250.000 ondernemers gingen je voor!