如何查看蜘蛛访问网站的记录

对于很多做网站的新手来说，都没有经过系统地授课进行网络技术和建站知识学习，做网站都是靠自学，遇到难题在论坛发帖提问，更不会懂得网站优化，对于较基本操作——通过网站日志看蜘蛛来访情况都不知到哪里看，怎么看。前两天看到很多人发帖提问，回复者的答案却比较精炼，不具体，提问者还是云里雾里的，现我就以自己的网站来系统地操作一次，提交给大家参考，有说错的地方，请批评指正。

为通州等地区用户提供了全套网页设计制作服务，及通州网站建设行业解决方案。主营业务为网站设计制作、成都网站制作、通州网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

1、打开FTP登录软件，我用的是FlashFXP，登录空间FTP

登录FTP后，你会发现根目录下有一个wwwlogs文件夹，（有的是weblog，注：不同的服务器空间生成的日志文件目录名称不一样，仅供参考，一般文件夹中包含Log字符的就是日志文件夹）。

2、打开wwwlogs文件夹后，里面有一些以日期格式特征为文件名的.gz后缀结尾的文件，这些就是我们需要下载到本地的日志文件。

3、下载到电脑桌面后，解压缩打开，里面是一个记事本格式的文件，打开文件，看到的是下图这样的代码，我下载的是3月7日的那个文件。

4、分析代码

上图1是百度蜘蛛的IP地址；

2是蜘蛛来访日期时间（2012年3月6日1时21分22秒），3月7日的日志文件记录的是从3月6日凌晨开始，至3月7日1时11分39秒整个时间段的n多次来访记录）；

3是百度蜘蛛baiduspider

4是我网站被访问的网页地址；

5是sogou 搜狗蜘蛛的来访，同样也能看到时间和被访网页。

如果是简单的查看，您可以在记事本中搜索baiduspider ，如果想精确分析，可借助一些专用的分析软件。分析下哪些时间段百度蜘蛛来的最频繁，那么我们就在这个时间段更新我们的网站内容，很容易被百度收录的。

通过分析蜘蛛来访纪录，可以了解本站的大体情况，而不用再为百度不放出内页或者不收录的问题而苦恼了。

蜘蛛来访正常，可以确切的说，搜索引擎对你的站很友好的，坚持更新自己的网站，会有不错的收录的。

注：有些共享IP空间可能不支持日志功能，对于独立ip虚拟主机则提供每天的日志下载，而实在没有可以日志功能的空间可以参考使用蜘蛛爬行插件的一些方法进行分析。

如何通过sitemap网站地图来吸引蜘蛛爬行

通过sitemap网站地图吸引蜘蛛爬行的方式主要有以下几点：

1、什么是 sitemap

简单理解：sitemap 就是网站地图，它通过可视化的形式，展示网站的主要结构比如：列表页、分类页、tag 页，以及内容页面。

网站地图的主要形式包括：sitemap.html、sitemap.xml、sitemap.txt，通常情况下这三种形式的

sitemap网站地图，主要被存放在：

① 网站前端页面

通常众多站长喜好将 sitemap.html

类型的网站地图，存放在前端页面，经常被放在网站导航中，用于向访客清晰的展示网站的结构框架，突出众多栏目。

在页面相对较多的网站，理论上它会出现多个 sitemap.html 用于展现不同专题的内容结构。

② 网站 Robots.txt 中

理论上 sitemap.xml 与 sitemap.txt 经常被存放在 Robots.txt

文件中，用于百度蜘蛛快速抓取，当然也可以做百度网址提交，加快页面收录。

具体有关 sitemap 配置的方法，你可以参考百度官方《平台工具使用帮助》中，链接提交的说明。

2、网站地图制作方法：

网站地图制作的方法有很多，通常来讲主要包括如下几个方面：

① 程序插件

一般情况下，知名的 cms 系统，都会配有 sitemap 网站地图生成插件，你需要在相应的应用市场去查询相关插件，并开启他们，比如：wordpress

插件、zblog 插件和 dedecms 织梦插件等，当然你也可以聘用技术人员，独立开发一个插件，性价比还是蛮高的。

② sitemap 生成器

目前市面上有很多在线生成 sitemap 的网站，以及客户端，比如：爱站网的 SEO 工具包，对于一些技术能力不强的小伙伴，还是很有帮助。

③ 手动生成

如果你在操作一个独立博客，每日更新的内容并不是特别多，比如在 10 篇以下，那么你完全可以手动添加 sitemap，如果你想在简单一点，你只需要选择

sitemap.txt，把 URL 网址复制到这个文本文件中就可以。

3、如何提交网站地图

通常向百度提交 sitemap 网站地图的方法很简单，你只需要登录百度搜索资源平台，你就会在：

网站支持-数据引用-链接提交中

怎么查看百度蜘蛛有没有来过我的网站

判断蜘蛛有没有来过自己的网站可以查看IIS日志代码。 或者联系空间商开通了蜘蛛访问记录也可以。如果你的空间商给你的空间支持查询蜘蛛访问记录的话。可以在ftp找到WebLog的文件夹，具体步骤如下：1. 打开FTP登陆软件(这里以FlashFxp为例),登陆你的空间FTP。登陆进FTP后,你会发现在根目录下有一个WebLog的文件夹 (注:不同的IDC空间生成的日志文件目录名称不一样,仅供参考.一般文件夹中包含Log字符的都是日志文件夹) 2.打开WebLog目录后,里面有一些以日期格式特征为文件名的.gz后缀结尾的文件.这些就是我们需要下载到本地的日志文件. 3.打开压缩文件,发现里面只有一个以.log结尾的日志文件,我们需要的就是这个文件了. 4.解压后,打开日志文件.Ctrl+F查找baidu.com/search 特征字符(这里以百度蜘蛛为例) 通过分析蜘蛛来访纪录,可以了解本站的大体情况,而不用再为百度不放出内页或者不收录的问题而苦恼了. 蜘蛛来访正常,可以确切的说,搜索引擎对你的站很友好的,坚持更新自己的网站,会有不错的收录的.注:有些共享IP空间可能不支持日志功能.对于独立ip虚拟主机则提供每天的日志下载.而实在没有可以日志功能的空间可以参考使用 蜘蛛爬行插件 的一些方法进行分析.

怎么查看网站被百度蜘蛛抓取的情况

百度用于抓取网页的程序叫做Baiduspider - 百度蜘蛛，我们查看网站被百度抓取的情况主要是分析，网站日志里百度蜘蛛Baiduspider的活跃性：抓取频率，返回的HTTP状态码。

查看日志的方式：

通过FTP，在网站根目录找到一个日志文件，文件名一般包含log，下载解压里面的记事本，这即是网站的日志，记录了网站被访问和操作的情况。

因为各个服务器和主机的情况不同，不同的主机日志功能记录的内容不同，有的甚至没有日志功能。

日志内容如下：

61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+)"

分析：

GET /bbs/thread-7303-1-1.html 代表，抓取/bbs/thread-7303-1-1.html 这个页面。

200 代表成功抓取。

8450 代表抓取了8450个字节。

如果你的日志里格式不是如此，则代表日志格式设置不同。

很多日志里可以看到 200 0 0和200 0 64 则都代表正常抓取。

抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字，我们一般通过多日的日志对比来判断。当然，我们希望百度蜘蛛每日抓取的次数越多越好。

网页题目：zblog百度蜘蛛查询 百度蜘蛛抓取查询
文章地址：http://ybzwz.com/article/doihcgo.html