前言 最近在学习python网络爬虫，从爬取图片入手。周末爬取了一个图标网站、果壳、数字尾巴的帖子的图片，现在尝试爬取蚂蜂窝的帖子里的图片。爬取图片仅为个人练习，侵删。 代码框架 import urllib.request import requests import re impo…

更多内容请关注博客： http://www.china10s.com/blog/?p150 一、产品概述 体验环境： 机型：iPhone 6 型号：64G版 系统：iOS9.2 蚂蜂窝APP版本：7.4.3 最世界APP版本：1.9.4 体验时间：20…

上一篇文章爬的是豆瓣电影，是属于静态页面的，而且很有规律的，做起来比较容易。这次的蚂蜂窝国内目的主要有三点比较困难的地方 1.不是静态页面，要通过post请求才能获得需要的信息，通过刷新网页可以看到发送了什么请求，或者也可以用网络监听器 2.返回的响应是json形式的…

这次先爬一下马蜂窝旅行的用户评论页面，即“蜂蜂点评”，首先进入所要爬取的页面，推荐使用谷歌浏览器，按F12显示源码信息，选中js，因为每一页的评论都是动态加载的(注意到不管点第几页浏览器的地址栏都是不变的)，用到了ajax技术，我们随意点一页看一下，比如第二页： 可以…

前言 网络爬虫技术作为互联网数据获取的重要工具，在各行各业都有着广泛的应用。而在本文中，我们将利用Java中的HttpClient库，通过编写一个简单而有效的网络爬虫程序，实现下载蚂蜂窝网站的图片的功能。通过这个例子，我…

7月14日下午消息，今年上半年拿到B轮融资的蚂蜂窝旅行网正在移动端发力。近日，蚂蜂窝升级了“旅游攻略”APP使其全面HTML5 化、“嗡嗡”也发布了“嗡嗡”4.0版本，同时蚂蜂窝新推出的一款“游记”APP也将于近期上线，供用户随时随地撰…

随着时代的发展，出去旅游是时常会有的事情，尤其是在年轻一代中，他们热衷于在空余时间和朋友出去游玩，又或者是自己独自出去。而与之而来的，旅游APP也随之发展起来，蚂蜂窝旅游网站在自由行消费者的角度，旨在帮助用户做出合理的旅游消费决策。本文是从四个角度来对蚂蜂窝旅…

http://www.mafengwo.cn/ 问题 大家都知道,数据采集需要先去了解数据的特征.数据采集一般都是先有列表,然后再有一个或者多个detail. 列表中有一个id.detail中有子id. 比如列表url有. http://www.mafengwo.cn/travel-scenic-spot/mafengwo/12711.html 这个是蚂蜂窝数据中…