网站建设完成之后，第一件事情就是向各大 搜索引擎提交新网站。搜索引擎提交包括提交给搜索引擎爬虫和提交给分类目录。提交给搜索引擎爬虫的目的是让搜索引擎将网站收录到索引数据库。检验网站是否被搜索引擎收录的 办法是直接在搜索引擎中搜索网址，查…

这几天要更换一下服务器。 之前用的是vu服务器，感觉最近抽疯抽的厉害。换到了香港的服务器。 睡觉之前（大约凌晨4点左右）测试，百度站长后台还没有更新过去。刚才从新查看百度的抓取诊断结果，已经更新到新服务器了。 按…

目前网站使用德迅云安全SCDN情况非常普遍，但也有些客户是第一次了解使用SCDN，会有担心一个百度蜘蛛抓取问题，担心使用了SCDN之后会影响百度蜘蛛抓取。其实是完全不必担心这个的，从理论上来讲，使用了SCDN并不会影响百度…

鼎峰_小配针对百度抓取的测试在学习和研究探索的过程中的一点点心得，从刚接触时的一脸懵逼，到后来慢慢的了解了，废话不多说，直接上干货。 测试分为两个部分，一是搭建环境，一是抓取测试。 一、搭建环境 1.自己的一台闲置独立服务器作为测试机，安装好系统（windows、lin…

正 文： 现在有些IDC为了服务器的稳定运行，会给服务器安装金盾防火墙来防止CC/DDOS攻击等，这本来是一件好事，可以有效的阻止这些非法攻击，但是由于开启了金盾防火墙，所有的网址后面会出现随机符：…

网站加载速度过度一定会被搜索引擎惩罚，所以当我们一个站优化之初就应该非常严格地控制百度蜘蛛抓取诊断结果在1秒以内。今天，错误博客( cuowu.com )分享的内容为《SEOer需要将百度蜘蛛抓取时间降低到1秒以下》。希望对大家有所帮助。 一、百度官方说法B…

大多数网站都会设置一系列的反爬虫策略，以避免服务器过载，爬虫工作者一般都会通过使用代理IP来解决瘦限制的问题。网站通常会识别用户的机器人并将其与真实用户区分开来，以下是一些网站常用的方法： 1、如果有大量请求从同一IP发送到URL，则其会被视为来自机器人。 2、如…

在百度站长平台里，有一个抓取诊断页面，这个页面可以提交链接，提交后百度蜘蛛可以实时来访问，或许可以带来抓取频次的增加。但是每周只能提交70个链接。对于单个域名提交有限制。如果我们有大量的二级域名或者泛域名进行批量自动化…