# - - coding: utf-8 -*-
# 编码问题的重要性:一些公司做外贸，把网站放到国外让搜索引擎抓取，损失大量广告支出
#           老外搜索中国外贸，结果发现那些较大的中国外贸没有在搜索结果靠前的地方出现，但是这家企业自己去搜索的时候排名在前几名
#      搜索引擎可以按照地理位置ip来匹配出你想要的内容    这家企业声明了gbk编码，在服务器也把编码声明错了，google一类的国外搜索引擎的蜘蛛
#      过来抓取网站的时候，把网站中的页面中的所有中英文全转换为gbk格式，发现全是gbk编码，那么久认定这个网站是中文站，
#      老外查询的时候显示都是英文站，这个网站就排到后面，自己去搜索返回的是当地的排名。

# 破解网站限制，网站会对爬虫一类非用户访问做限制，  403错误
#对搜索引擎或者其他蜘蛛做限制的文本  robots.txt     例如：https://www.taobao.com/robots.txt
# urllib2  模仿浏览器，很多ip信息

import urllib
url="http://blog.csdn.net/Mr_dsw"

html=urllib.urlopen(url)
print html.getcode()

