# www.coherta.com robots.txt -- just crawl it. # # ####### ####### ## ## ########## ######### ########## #### # ## ## ## ## ## ## ## ## ## ## ## ## # ## ## ## ## ## ## ## ## ## ## ## # ## ## ## ########### ######## ######### ## ## ## # ## ## ## ## ## ## ## ## ## ########## # ## ## ## ## ## ## ## ## ## ## ## ## # ####### ####### ## ## ########## ## ## ## ## ## # # User-agent: * Sitemap: https://www.coherta.com/sitemap.xml # -------------------- User-agent: * # Allow critical static assets so pages render properly Allow: /*.css$ Allow: /*.js$ Allow: /*.woff$ Allow: /*.woff2$ Allow: /assets/ Allow: /static/ # Allow cache-busting querystrings for assets Allow: /assets/*?* Allow: /static/*?* Allow: /*.css?* Allow: /*.js?* # Block parameterized duplicates Disallow: /*?* # -------------------- # Bot-specific tuning # -------------------- # Be gentle, please :) User-agent: AhrefsBot Crawl-delay: 10 User-agent: SemrushBot Crawl-delay: 10 # ####### ######### ## ## ####### ## ## ####### ## ## ## ######## ######## ########## ########## ## ## ## ## # ## ## ## ## ### ### ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ### ## # ## ## ## #### #### ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## #### ## # ## ######### ## ## ## ## ####### ########### ## ## ## ## ## ## ## ######## ######## ######## ## ## ## ## ## # ## ## ## ## ### ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## # ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## ## # ####### ## ## ## ## ####### ## ## ####### ####### ########## ######## ######## ########## ## ####### ## #####