Hey,

Misschien dat iemand mij hier verder kan helpen. 
Ik gebruik de plugin Yoast voor mijn sitemap, maar ik heb er steeds problemen mee. Overigens ook al andere SEO plugins gebruikt, maar dat is helaas niet de oplossing.

Het probleem is dat mijn robots.txt steeds niet opgehaald kan worden. Als ik kijk bij google search console, zie ik dat de het de ene dag wel opgehaald kan worden, en een dag later weer niet. Erg vervelend, want nu verdwijnen steeds de producten uit mijn google merchants. 

Google heb ik al benaderd, ze denken graag mee, maar ik kom er nog niet echt uit. 

Dit is wat ze zeggen:

• Desktoppagina kan niet worden gecrawld vanwege robots.txt: Uw bestemmingspagina's (via het kenmerk link [link]) kunnen niet door Google worden gecrawld omdat robots.txt niet toestaat dat de crawler van Google de bestemmingspagina downloadt. Ga als volgt te werk om deze fout op te lossen: 
  • Werk uw robots.txt-bestand bij zodat de user-agents 'Googlebot' en 'Googlebot-Image' uw site kunnen crawlen. Meer informatie vindt u hier.
  • Zorg ervoor dat robots.txt geen x-robots-tag gebruikt om te voorkomen dat Google-bots uw site crawlen. Meer informatie vindt u hier. 

Eerste puntje heb ik gedaan. Tweede puntje snap ik minder.
Iemand hier ervaring mee en weet wat ik kan doen?

Groetjes, Maaike

Hoe ziet je robots.txt er nu uit en heb je hem correct in de root van je website (dus www.website.nl/robots.txt) neergezet?

Kun je hier eens een link maken naar je robots.txt? Dan kijken we even met je mee.

Ik heb dit probleem wel eerder voorbij zien komen. Wat je kan proberen is om  vanuit .htacces om te leiden naar je robots .txt. Dit is niet de standaard maar als het werkt why not.