前言 对于爬虫来说，当你的访问频率达到了目标网站的预警值时，就可能触发目标网站的反爬机制。而封禁访问者ip就是很常见的一个反爬机制。 当ip被封禁后，从此ip发出的请求将不能得到正确的响应。这种时候，我们就需要一个代理ip池。 什么是代理ip池？ 通俗地比喻一下，它…

一、个人环境概述 本人拥有一个国内云服务商的云主机和一个备案好的域名，通过caddy2来作为web服务器。我的云主机系统是Ubuntu。 我的云主机是公网ip，地址为：43.126.100.78；我备案好的域名是：hotgirl.com。后面的文章…

要理解什么是 反向代理(reverse proxy) , 自然你得先知道什么是 正向代理(forward proxy). 另外需要说的是, 一般提到反向代理, 通常是指 http 反向代理, 但反向代理的范围可以更大, 比如 tcp 反向代理, 在这里, 不打算讨论 tcp 之类的反向代理, 当文中说到反向代理时, 指的就是…

代码是正经代码，但是程序员正不正经就不知道了。 ​ 前言 在使用爬虫对某些网站进行爬取时，为了不让网站发现我们的ip，模拟其他用户ip地址去访问网站。也就相当于间接的去访问网站，流程如图： 我们使用到代理服务器&…

文章目录 基础概念静态代理JDK 动态代理arthas 的简单使用启动 arthas选择java进程反编译class文件 CGLIB 动态代理jdk 和 CGlib的效率比较： 基础概念 ● 什么是代理： 顾名思义，代理就是帮别人做事情，比如代购，可能会…

强烈推荐下这篇文章，把代理模式说的很清楚了。这里我自己整理了一下并添加了一些其他的内容。 常用的代理技术分为正向代理，反向代理和透明代理。 一、正向代理 正向代理是一个位于客户端【用户A】和原始服务器【服务器B】之间的服务器【代理服务器Z】…

前言 之前因为每天需要获取某站公开的新闻之类的，分析下热点热词 频率没控制，被封服务器ip了 于是只好挂个代理ip 上网一查有个叫西刺的代理免费挂了好多页高匿ip 于是写了个抓取，结果全是垃圾，没几个能用的，白白浪费时间抓取。 后来又看了几个免费展示的，挂出来的…

前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS：如有需要Python学习资料的小伙伴可以点击下方链接自行获取 python免费学习资料、代码以及交流解答点击即可加入 反爬措施 上次给大家分享了怎么用…