更多技术文章:

背景

生成需要下一页的URL请求。

1.scrapy爬取图片的主要思路是什么？

2.新建文件夹以及爬虫文件。

3.发起请求

4.数据解析

5.将解析数据封装到item中

我们之前在mySpider/items.py 里定义了一个ItcastItem类。 这里引入进来

安装后，只要在命令终端输入 scrapy，提示类似以下结果，代表已经安装成功

作为海上丝绸之路重要门户和东南沿海重要港口城市，汕头还是中国大陆唯一拥有内海湾的城市，他的实力在2022年终于被发现了。

图|携程社区@JOJO带你游世界2

10

福建 · 泉州

创建爬虫: 进入项目根目录 scrapy genspider spider_name sprder_domian；

引擎：Hi！Spider, 你要处理哪一个网站？

来看一看昨天的爬虫处理：

那么，今年五一假期，我国哪些景区最为热闹？迎客最多？答桉来了。

首先将打开item文件中，设置属性src，代码如下：

执行正常

1.云南丽江：丽江是云南省的一个古城，以其独特的文化和美丽的自然景观而着名。游览丽江可以欣赏到玉龙雪山、拉市海等自然风景，还可以了解到纳西族等少数民族的文化和生活方式。

2.四川九寨沟：九寨沟是四川省的一个自然保护区，以其美丽的湖泊和多彩的森林而着名。游览九寨沟可以欣赏到着名的彩池、长海、熊猫海等景点，还可以感受到川西高原的原始风情。

3.西藏拉萨：拉萨是西藏自治区的首府，以其宏伟的布达拉宫和神秘的藏传佛教文化而着名。游览拉萨可以参观布达拉宫、大昭寺等寺庙，还可以了解到西藏的历史和文化。

4.贵州黄果树瀑布：黄果树瀑布是贵州省的一个着名景点，以其高耸的瀑布和壮观的景观而着名。游览黄果树瀑布可以欣赏到中国最大的瀑布之一，还可以参加各种户外活动，例如漂流、攀岩等。

5.浙江西塘：西塘是浙江省的一个古镇，以其水乡风光和古色古香的建筑而着名。游览西塘可以体验到江南水乡的风情和传统文化，还可以欣赏到精美的园林和古建筑。

6.广东阳江：阳江是广东省的一个海滨城市，以其美丽的海岸线和丰富的海鲜而着名。游览阳江可以欣赏到南海风光和美味的海鲜美食，还可以参加各种海上活动，例如游泳、钓鱼等。

7.陕西华山：华山是陕西省的一个着名景点，以其险峻的山峰和壮观的景色而着名。游览华山可以体验到中国古代道教文化和陕西的历史文化，还可以欣赏到绝美的山景和日出日落。

8.江苏苏州：苏州是江苏省的一个历史文化名城，以其精美的园林和古典的建筑而着名。游览苏州可以参观着名的拙政园、留园等园林，还可以了解到江南水乡的文化和生活方式。

9.山东泰山：泰山是山东省的一个着名景点，以其陡峭的山峰和古老的文化而着名。游览泰山可以参拜着名的岱庙和玄天观，还可以欣赏到绝美的山景和云海。

10.西安兵马俑：兵马俑是陕西省的一个着名景点，以其独特的历史和文化价值而着名。游览兵马俑可以了解到中国古代的军事和文化，还可以欣赏到精美的凋塑和文物。

总之，51假期是一个非常适合旅游的时段，希望以上的景点和建议可以帮助你选择一个令人难忘的旅游目的地，享受美食、美景和文化。出门在外，安全第一，祝您旅途愉快！

2021年5月3日晚9时许，西安，大唐芙蓉园地铁站已开始限流，游客需要排队30分钟才能进入地铁站内。

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等

藏匿在层层云雾之下，神农架有着丰富的自然资源，以及流传已久的“野人传说”，频频美上热搜的仙境，神农架的冬季多的是绝美雪景，滑雪、赏雾凇、泡温泉，每一帧都像电影画面。

假期接近尾声

旅行的意义大概就是努力在不完美的世界，去捕捉一些美好的瞬间，来使平凡的生活变得不凡。

04

调度器：给你，这是我处理好的request

真的假的？

可以看到 返回的页面源码中 只有一个天气表格的框架, 没有我们需要的天气信息. 而且出现了被检测的信息. 出现这种情况 是因为:

这是中国创建最早的博物馆，占地十叁万余㎡。有历史馆，特展馆，数字馆，艺术馆，非遗馆，民国馆。这里的产品不仅有江苏地域性的，也有全国性的，可以说是一座巨大的中华民族文化艺术宝库。这也成为了数千年中华文明历史发展的最直接见证。到这里看看过往的历史，让你读懂中华文明5000年的历史。

一、新建一个tupian爬虫项目

二、进入到tupian项目，新建一个image爬虫文件

叁、修改配置文件settings

ROBOTSTXT_OBEY = False LOG_LEVEL = 'ERROR' USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36"

四、指定要爬取的页面

五、获取图片的地址

def parse(self, response): 图片列表= response.xpath('/html/body/div[3]/div[2]/div') '/html/body/div[3]/div[2]/div[1]' '/html/body/div[3]/div[2]/div[1]/img' for i in 图片列表: 图片地址 ='https:'+i.xpath('./img/@data-original').extract_first() print(图片地址)

六、构建items对象

七、将item对象导入爬虫文件，并实例化该对象

八、新建管道类，并导入ImagesPipeline

九、开启管道，由于不是默认的管道类，所以需要修改一下

十、指定图片保存的路径

十一、启动爬虫

十二、运行结果