淘宝宝贝url抓取如何实现

首先你需要一个ip代理池;

使用本机ip将淘宝中基本的商品分类抓取下来;

页面源链接：https://www.taobao.com/tbhome/page/market-list;

从页面源链接中解析到的url形如下：https://s.taobao.com/search?q=羽绒服&style=grid;

将诸如此类的urlhttps://s.taobao.com/search?q=羽绒服&style=grid作为任务队列，使用多线程对其进行抓取与解析(使用代理ip),解析的内容为第4点;

我们需要分析每一种类的商品在淘宝中大概具有多少数量，为此我解析出带有页面参数的url，在第3点中url的基础上：https://s.taobao.com/search?q=羽绒服&style=grid&s=44，在浏览器中打开url可发现此页面为此种类衣服的第二页;

我们得到了每一种商品带有页面参数的url，意味着我们可以得到此类商品中全部或部分的商品id，有了商品id，我们就可以进入商品详情页抓取我们想要的数据了;

为了实现第5点，我们先将第4点中抓取到的url全部存储进mysql中;

从mysql中将待抓取url全部取出，存储到一个队列中，使用多线程对此共享队列进行操作，使用代理ip从待解析url中解析出本页面中包含的商品id，并构建商品详情页url;

在第7点中解析商品id的时候，同时使用布隆过滤器，对重复id进行过滤，并将已经抓取过的url任务放入redis缓存中，等达到合适的阈值时，将存储在mysql中对应的url行记录中的flag置为true，表示此url已经被抓取过，等到下一次重启系统，可以不用对此url进行。

具体的代码实现如下(我们只需要注意其中的saveip方法，方法参数urls就是共享任务队列)：

如果想要抓取淘宝宝贝url的话，上面的思路需要大家去了解一下，一些代码需要你去了解，作为商家，可以通过抓取url爬取其它店铺的信息，用来做借鉴，并推广自己店铺的宝贝。

推荐阅读