国内最专业的IT技术学习网

UI设计

当前位置:主页 > UI设计 >

为了今晚的表白,我爬了知乎热门撩妹情话

发布时间:2019/08/07标签:   情话    点击量:

原标题:为了今晚的表白,我爬了知乎热门撩妹情话
明天七夕,给各人收拾了些有效的。我爬了下知乎上的撩妹情话,盼望各人可能学以至用。

为了今晚的表白,我爬了知乎热门撩妹情话
图片来自 Pexels文末会放上我挑选过的 99 条撩妹情话。话未几说,先来讲说爬虫思绪。咱们离开知乎,搜寻一上情话这个话题,咱们留神到知乎的每个话题下都有一个精髓答复的页面,这个精髓页面实在是全部按点赞数排序的内容,赞数越高的排在越后面。上面这个就是情话这个话题的的精髓页面:
为了今晚的表白,我爬了知乎热门撩妹情话
咱们把情话这个话题下每一页的内容都趴下来,存在数据库里,而后从数据库挑选赞数比拟高的那些答复,如许就实现了全部进程。为了今晚的表白,我爬了知乎热门撩妹情话思绪十分简略,代码也十分明白。详细代码以下:defget_qinghua_by_page(page_no):offset=page_no*10url="&limit=10&offset={}".format(offset)headers={"User-Agent":"Mozilla/5.0(Macintosh;IntelMacOSX10_13_6)AppleWebKit/537.36(KHTML,likeGecko)Chrome/69.0.3497.100Safari/537.36",}r=requests.get(url,verify=False,headers=headers)content=r.content.decode("utf-8")data=json.loads(content)is_end=data["paging"]["is_end"]items=data["data"]client=pymongo.MongoClient()db=client["qinghua"]iflen(items)>0:db.answers.insert_many(items)returnis_enddefget_qinghua():page_no=0client=pymongo.MongoClient()db=client["qinghua"]whileTrue:print(page_no)is_end=get_qinghua_by_page(page_no)page_no+=1ifis_end:break
咱们界说了 2 个函数:
get_qinghua_by_page:用于爬取一个页面下的情话。 get_qinghua:用于猎取全部页面下的情话。
咱们履行下面的 get_qinghua 函数,便可以爬取全部的情话内容了。

上一篇:.NET Core 3.0功能亮点抢先看

下一篇:没有了

返回
版权信息Copyright ? IT技术教程 版权所有??? ICP备案编号:鲁ICP备09013610号