您现在的位置是:首页 > SEO学习 > 入门阶段 > 名词解释 > 8、关于Baiduspider名词解释

8、关于Baiduspider

晴天 2019-11-02名词解释人已围观

简介baiduspider就是我们SEOer口中经常说的百度蜘蛛,有些朋友可能发现baiduspider不止一个,是的。它有很多种,还有冒充的哦,所以我们在查看

【https://www.hui-blog.com--名词解释】

baiduspider就是我们SEOer口中经常说的百度蜘蛛,有些朋友可能发现baiduspider不止一个,是的。它有很多种,还有冒充的哦,所以我们在查看这些信息的时候不得不注意了,而今天我不仅要介绍百度的多种spider,还会说到如何查看冒充的baiduspider等等……

Baiduspider都有哪些(图)?

详细介绍8个Baiduspider
几种baiduspider的介绍

这里我们要说的就是最后一个百度spider,这个相信每一位seo朋友都很熟悉,因为这个是我们经常遇到的baiduspider,也就是网页搜索的spider,遇到其他的也不要慌张,因为上面我已经做了介绍,大家可以参照去自己的IIS日志里进行查看。

Baiduspider的真假判断

判断spider的真假我就不多太复杂的技术方法了,给大家提供一个工具进行辨别,这个SEO工具不仅简单方便,还大大节省了我们的时间,它就是Chinaz的IP地址查询工具(地址:http://ip.chinaz.com/),在你的IIS日志看到了Baiduspider,前面会有IP地址,这样进行查询,就简单方便多了!

如何禁止Baiduspider抓取我的网站?

如果你想禁止百度蜘蛛抓取你的网站的那请在robots协议注明,协议一般是这样:

User-agent: Baiduspider
Disallow: /

为了表示的更准确些我调用一张图片为大家进行描述:

用robots禁止baiduspider的方法
设置robots的说明

好了,关于百度蜘蛛的常见问题基本就这些,希望能够帮到你,如果你对关于百度spider有其他的问题欢迎你评论给我,我会第一时间给与回复!

【吴铃辉个人总结】

Baiduspider是百度搜索引擎的一个自动程序,它的作用是访问互联网上的网页,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站上的网页。

Baiduspider的user-agent是什么
产品名称        对应user-agent
无线搜索        Baiduspider
图片搜索        Baiduspider-image
视频搜索        Baiduspider-video
新闻搜索        Baiduspider-news
百度搜藏        Baiduspider-favo
百度联盟        Baiduspider-cpro
商务搜索        Baiduspider-ads
网页以及其他搜索        Baiduspider

如何判断是否冒充Baiduspider的抓取
1、站长工具IP查询(http://ip.chinaz.com/
2、nslookup ip命令反解ip来源判断是否来自Baiduspider的抓取


nslookup使用 电脑运行cmd
C:\Users\leoma>nslookup 220.181.108.95
服务器:  ns2.hn.cnc.cn
Address:  58.20.127.238
名称:    baiduspider-220-181-108-95.crawl.baidu.com
Address:  220.181.108.95
 


很赞哦! ()

文章评论

站点信息

打赏本站

  • 如果你觉得本站很棒,可以通过扫码支付打赏哦!
  • 微信扫码:你说多少就多少~
  • 支付宝扫码:你说多少就多少~