[👍][✨][🌟][👌][👉][👈][🍀][☀] Welkom op mijn site! Soort van dan. Hier zouden alle geuploade betanden kunnen staan, maar dat is natuurlijk niet zo slim om te doen ;) Vandaar dat ik dit bestand in de root heb gezet. Overigens geen robots.txt. Wel "X-Robots-Tag: noindex, noarchive, nosnippet" op alle bestanden. En een kleine test.

User-agent:

CCBot/2.0 (https://commoncrawl.org/faq/)