# Deny all robots that we do not specifically want to allow User-agent: * Disallow: / ## Allow ias_crawler User-agent: ias_crawler Allow: / Disallow: /cgi-bin Disallow: /comments Disallow: /images Disallow: /wp-admin Disallow: /wp-includes Disallow: /*trackback ## Allow Twitterbot User-agent: Twitterbot Allow: / Disallow: /cgi-bin Disallow: /comments Disallow: /images Disallow: /wp-admin Disallow: /wp-includes Disallow: /*trackback Disallow: /wp-content/ Allow: /wp-content/uploads/ Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.wmv$ Disallow: /*.cgi$ Disallow: /*.xhtml$ Disallow: /*.xlsx $ Disallow: /*.doc$ Disallow: /*.pdf$ Disallow: /*.zip$ Disallow: /*.gz$ ## Allow Adsbot Google ================================================================== User-agent: AdsBot-Google Allow: / Disallow: /cgi-bin Disallow: /comments Disallow: /images Disallow: /wp-admin Disallow: /wp-includes Disallow: /*trackback Disallow: /wp-content/ Allow: /wp-content/uploads/ Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.wmv$ Disallow: /*.cgi$ Disallow: /*.xhtml$ Disallow: /*.xlsx $ Disallow: /*.doc$ Disallow: /*.pdf$ Disallow: /*.zip$ Disallow: /*.gz$ Sitemap: https://www.touretappe.nl/sitemap_index.xml ## Allow Mediapartner Google ================================================================== User-agent: Mediapartners-Google Allow: / Disallow: /cgi-bin Disallow: /comments Disallow: /images Disallow: /wp-admin Disallow: /wp-includes Disallow: /*trackback Disallow: /wp-content/ Allow: /wp-content/uploads/ Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.wmv$ Disallow: /*.cgi$ Disallow: /*.xhtml$ Disallow: /*.xlsx $ Disallow: /*.doc$ Disallow: /*.pdf$ Disallow: /*.zip$ Disallow: /*.gz$ Sitemap: https://www.touretappe.nl/sitemap_index.xml ## Allow Yahoo ================================================================== User-agent: slurp Allow: / Disallow: /cgi-bin Disallow: /comments Disallow: /images Disallow: /wp-admin Disallow: /wp-includes Disallow: /*trackback Disallow: /wp-content/ Allow: /wp-content/uploads/ Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.wmv$ Disallow: /*.cgi$ Disallow: /*.xhtml$ Disallow: /*.xlsx $ Disallow: /*.doc$ Disallow: /*.pdf$ Disallow: /*.zip$ Disallow: /*.gz$ Sitemap: https://www.touretappe.nl/sitemap_index.xml ## Bing ================================================================== User-agent: bingbot Allow: / Disallow: /cgi-bin Disallow: /comments Disallow: /images Disallow: /wp-admin Disallow: /wp-includes Disallow: /*trackback Disallow: /wp-content/ Allow: /wp-content/uploads/ Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.wmv$ Disallow: /*.cgi$ Disallow: /*.xhtml$ Disallow: /*.xlsx $ Disallow: /*.doc$ Disallow: /*.pdf$ Disallow: /*.zip$ Disallow: /*.gz$ Sitemap: https://www.touretappe.nl/sitemap_index.xml ## Google ================================================================== User-agent: googlebot Allow: / Disallow: /cgi-bin Disallow: /comments Disallow: /images Disallow: /wp-admin Disallow: /wp-includes Disallow: /*trackback Disallow: /wp-content/ Allow: /wp-content/uploads/ Allow: /wp-content/themes/tour2/images/ Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.wmv$ Disallow: /*.cgi$ Disallow: /*.xhtml$ Disallow: /*.xlsx $ Disallow: /*.doc$ Disallow: /*.pdf$ Disallow: /*.zip$ Disallow: /*.gz$ Disallow: /attachment-sitemap.xml/ Disallow: /*map-iframe* Disallow: /cartoon Disallow: *youtube* Disallow: /category/ Disallow: /de-renners/biografieen/ Disallow: /renners/ Disallow: /profielen/ Disallow: /forum/ Disallow: /giro/ Disallow: /historisch/ Disallow: /impressiondesk.com Disallow: /instashow/ Disallow: /nk/ Disallow: player.vimeo.com Disallow: /tag/ Disallow: /tour/ Disallow: /touretappe-nl/banner Disallow: /wielershirts/ Disallow: /wielrenner/saxobank/ Disallow: /wielrenner/sky/ Disallow: /author/admin/ Disallow: /fietsen/clasica-san-sebastian-2015/ Disallow: /fietsen/gent-wevelgem-2015/ Disallow: /fietsen/luik-bastenaken-luik-2014/ Disallow: /fietsen/milaan-san-remo-2014/ Disallow: /fietsen/milaan-san-remo-2015/ Disallow: /fietsen/tour-de-france-2012-etapppe-11/ Disallow: /fietsen/tour-de-france-etappe-10/ Disallow: /fietsen/tour-de-france-etappe-14/ Disallow: /fietsen/wielerploeg-belkin/ Disallow: /fietsen/wielerploeg-bretagne/ Disallow: /fietsen/wielerploeg-cult-energy-pro-cycling/ Disallow: /fietsen/wielerploeg-europcar/ Disallow: /fietsen/wielerploeg-garmin/ Disallow: /fietsen/wielerploeg-giant-alpecin/ Disallow: /fietsen/wielerploeg-giant-shimano/ Disallow: /fietsen/wielerploeg-greenedge/ Disallow: /fietsen/wielerploeg-lampre/ Disallow: /fietsen/wielerploeg-tinkoff/ Disallow: /fietsen/wk-2015/ Disallow: /fietsen/wk-2016-tijdrit-mannen/ Disallow: /fietsen/wk-2016-wegwedstrijd/ Disallow: /fietsen/wk-2017-wegwedstrijd/ Disallow: /fietsen/wk-wielrennen-2016/ Disallow: /giro-2012-verslag/rodriguez-en-de-ronde-missen/ Disallow: /giro-2012/kleine-verschillen-grote-prestaties/ Disallow: /giro-2012/rodriguez-en-de-ronde-missen/ Disallow: /giro-2016-favoriet/giro-2016-favorieten-4e-etappe-stevige-sprinters-en-late-ontsnappers/ Disallow: /giro-verslag/poolse-powerman/ Disallow: /luik-bastenaken-luik-2012/lbl-finale-der-finales/ Disallow: /nk-2013/ Disallow: /olympische-spelen-2012/verslag-tijdrit-mannen/ Disallow: /parijs-roubaix-2012/materiaal-in-parijs-roubaix/ Disallow: /recensies/fotoboek-van-marthein-smit/ Disallow: /recensies/rooks-theunisse-peter-tetteroo/ Disallow: /ronde-van-zwitserland-2016/ronde-van-zwitserland-7/ Disallow: /tour-/ Disallow: /tour-de-france-2012-etappe/etappeschema-route/ Disallow: /tour-de-france-2012-route/etappeschema-route/ Disallow: /tour-de-france-2013-column/ Disallow: /tour-de-france-2014-de-bergen/ Disallow: /tour-de-france-2016-parcours-tdf-2016/ Disallow: /tour-historisch/ Disallow: /touretappe-nl/de-waarheid-en-niets-dan-de-halve-waarheid/ Disallow: /touretappe-nl/giro-2004-de-opkomst-van-een-italiaanse-belofte/ Disallow: /touretappe-nl/olympische-spelen-het-parcours/ Disallow: /touretappe-nl/tour-de-france-2016-start-voor-het-eerst-in-manche/ Disallow: /vuelta-2013-parcours/parcours-etappe-13-valls-castelldefels/ Disallow: /vuelta-2013-parcours/parcours-etappe-15-andorra-peyragudes/ Disallow: /vuelta/ ## all added 20170104 Disallow: /fietsen/enecotour-2012/ Disallow: /fietsen/strade-bianche-2015/ Disallow: /fietsen/wielerploeg-etixx-quickstep/ Disallow: /fietsen/thijs-termeer/ Disallow: /fietsen/waalse-pijl-2015/ Disallow: /fietsen/wielerploeg-colombia/ Disallow: /fietsen/luik-bastenaken-luik-2015/ Disallow: /wielrenner/zweden/thomas-lovkvist/ Disallow: /columns/ Disallow: /tour-de-france-2012-verslag-2/ Disallow: /touretappe-nl/wereldkampioen-marianne-vos/ ## all added 20170111 Disallow: /amstel-gold-race/de-inhaalrace-van-thomas-dekker/ Disallow: /fietsen/wk-2016-wegwedstrijd-vrouwen/ Disallow: /bike-science/ Disallow: /author/matthew/ Disallow: /fietsen/etappe7/ Disallow: /giro-historisch/alles-blijft-hetzelfde/ Disallow: /fietsen/grote-prijs-van-quebec-2015/ Disallow: /author/touretappenl/ Disallow: /touretappe-nl/verlos-ons-van-mart-smeets-2-de-sportzomer-is-zo-al-erg-genoeg/ Disallow: /wielrenner/nederland/joost-van-leijen/ ## all added 20170115 Disallow: /author/kima-lee-piang/ Disallow: /author/tickyoltheten/ Disallow: /author/aartcornelissen/ Disallow: /touretappe-nl/ronde-miss-etappe-8/ Disallow: /opmerkelijk/materiaal-in-parijs-roubaix/ Disallow: /fietsen/wielerploeg-argos/ Disallow: /giro-2012/poolse-powerman/ Disallow: /fietsen/wk-2016-wegwedstrijd-vrouwen/ Disallow: /fietsen/vuelta-2012-2/ Disallow: toertocht-etappe-2-tdf-2015 Disallow: /giro-verslag/giro-2012-poolse-powerman/ Disallow: /fietsen/ronde-van-catalonie-2015/ Disallow: /fietsen/mart-smeets/ Disallow: /fietsen/wielerploeg-project-tj-sport/ Disallow: /fietsen/wielerploeg-iam-cycling/ Disallow: /fietsen/wielerploeg-androni/ Disallow: /fietsen/wielerploeg-drapac/ Disallow: /fietsen/tourdujour/ Disallow: /touretappe-nl/marianne-vos-goed/ Disallow: /wielrenner/wielrenners-uit-frankrijk/ Disallow: /tour-de-france-2015-toerist/cyclo-embrun-alpen/ Disallow: /eneco-tour-2014/klimtijdrit-op-de-muur/ Disallow: /fietsen/wk-2016-tijdrit-vrouwen/ Disallow: /columns-2013/ Disallow: /actueel/poolse-powerman/ Disallow: /column/de-schone-schijn-van-de-giro/ Disallow: /recensies/handboek-tour-de-france-2012-michael-boogerd-e-a/ Disallow: /recensies/het-frankrijk-van-de-tour/ Disallow: /giro-2012-verslag/poolse-powerman/ Disallow: /giro-2012-route/parcours-en-etappes/ Disallow: /fietsen/vuelta-2012-favoriet/ Disallow: /parijs-nice-2022/zweeler-wielerspel-pn/ Disallow: /tirreno-adriatico-2022/zweeler-wielerspel-ta/ Disallow: /strade-bianche-2022/zweeler-wielerspel-sb/ Disallow: /milaan-san-remo-2022/zweeler-wielerspel-msr/ Disallow: /ronde-van-catalonie-2022/zweeler-wielerspel-cat/ Disallow: /ronde-van-vlaanderen-2022/zweeler-wielerspel-rvv/ Disallow: /luik-bastenaken-luik-2022/zweeler-lbl-2022/ ‎ Disallow: /parijs-roubaix-2022/zweeler-pr-2022/ ‎ Disallow: /amstel-gold-race-2022/zweeler-wielerspel-agr/ Disallow: /giro-2022/meedoen-met-het-giro-spel/ Disallow: /giro-2022/zweeler-wielerspel-italie-2022/ ‎ Disallow: /tour-de-france-2022/zweeler-wielerspel-tdf-2022/ Disallow: /criterium-du-dauphine-2022/zweeler-wielerspel-cdd-2022/ Disallow: /vuelta-2022/zweeler-wielerspel-spanje-2022/ Disallow: /wk-wielrennen-2022/zweeler-wegwedstrijd-australie-2022/ Disallow: /uci/zweeler-fantasy-wielerspel-2023/ Disallow: /omloop-het-nieuwsblad-2023/voorjaarsklassiekers-pool-zweeler/ Disallow: /tirreno-adriatico-2023/zweeler-wielerspel-ta Disallow: /paris-nice-2023/zweeler-wielerspel-pn Disallow: /strade-bianche-2023/zweeler-wielerspel-sb Disallow: /gent-wevelgem-2023/zweeler-wielerspel-gw/ ‎ Disallow: /milaan-san-remo-2023/zweeler-wielerspel-msr/ Disallow: /ronde-van-vlaanderen-2023/zweeler-wielerspel-rvv/ Disallow: /parijs-roubaix-2023/zweeler-pr-2023/ Disallow: /amstel-gold-race-2023/zweeler-wielerspel-agr/ Disallow: /giro-2023/zweeler-wielerspel-italie-2023/ ‎ Disallow: /ronde-van-zwitserland-2023/zweeler-wielerspel-tds/ ‎ Disallow: /tour-de-france-2023/zweeler-wielerspel-tdf/ Disallow: /wk-wielrennen-2023/zweeler-wegwedstrijd-glasgow-2023/ Disallow: /vuelta-2023/zweeler-wielerspel-spanje-2023/ Sitemap: https://www.touretappe.nl/sitemap_index.xml