如何为django工程加上robot.txt

摘要:

 用django做了一个站,通常为了让搜索引擎更好的抓取内容,或者拒绝搜索引擎爬内容。

 都需要配置这个文件。普通的应用开发,把 robot.txt 放在根目录就好了,

 如果用django 就没这么容易了,有以下几种方法处理:

 用django做了一个站,通常为了让搜索引擎更好的抓取内容,或者拒绝搜索引擎爬内容。

 都需要配置这个文件。普通的应用开发,把 robot.txt 放在根目录就好了,

 如果用django 就没这么容易了,有以下几种方法处理:

1. 在 urls.py 中 一行语句搞定:

from django.http import HttpResponse 

urlpatterns = patterns('', ... (r'^robots\.txt$', lambda r: HttpResponse("User-agent: *\nDisallow: /", mimetype="text/plain")) ) 

这是拒绝所有索索引擎的。

2.用 Direct to template 方式

from django.views.generic.simple import direct_to_template    

urlpatterns = patterns('',     ...      

(r'^robots\.txt$', direct_to_template, {'template': 'robots.txt', 'mimetype': 'text/plain'}), ) 

 这种方式,个人认为很方便,采用了模板方式。要注意的是 mimetype .        

3.采用 django robot app  http://pypi.python.org/pypi/django-robots 可以在这里下载到。      

到底哪种适合你自己,自己决定了,我打算在 www.3822.net 中采用第二种

上一篇: 让python,django网站支持rss,feed
下一篇: 在网页中调用本地EXE(可执行文件)之二(run exe from web browser)

Avatar

轻舞肥羊 评论于: 2012-08-14

# Robots
urlpatterns += patterns('django.views.generic.simple',
    (r'^robots.txt', 'direct_to_template', {'template': 'robots.txt'}),
)
 评论 ( What Do You Think )
名称
邮箱
网址
评论
验证
   
 

 


  • 微信公众号

  • 我的微信

站点声明:

1、一号门博客CMS,由Python, MySQL, Nginx, Wsgi 强力驱动

2、部分文章或者资源来源于互联网, 有时候很难判断是否侵权, 若有侵权, 请联系邮箱:summer@yihaomen.com, 同时欢迎大家注册用户,主动发布无版权争议的 文章/资源.

3、鄂ICP备14001754号-3, 鄂公网安备 42280202422812号