Aggiunte le icone e i link di instagram e fb funzionanti
This commit is contained in:
@@ -0,0 +1,29 @@
|
||||
# Robots.txt for giampy-dogservice
|
||||
|
||||
# Blocca aree amministrative e private
|
||||
User-agent: *
|
||||
Disallow: /admin/
|
||||
Disallow: /logout/
|
||||
|
||||
# Blocca file statici non importanti per SEO
|
||||
Disallow: /*.json$
|
||||
Disallow: *.css
|
||||
Disallow: *.js
|
||||
Disallow: /static/
|
||||
|
||||
# Crawl delay - server debole, limitiamo il traffico
|
||||
Crawl-delay: 5
|
||||
Request-rate: 1/5
|
||||
|
||||
# Blocca bot cattivi o pesanti
|
||||
User-agent: AhrefsBot
|
||||
Disallow: /
|
||||
|
||||
User-agent: SemrushBot
|
||||
Disallow: /
|
||||
|
||||
User-agent: DotBot
|
||||
Disallow: /
|
||||
|
||||
User-agent: MJ12bot
|
||||
Disallow: /
|
||||
Reference in New Issue
Block a user