MOOC学习python爬虫之beautifulsoup
beautifulsoup4
安装
1 | pip3 install beautifulsoup4 |
bs4理解以及引用
bs类基本元素
Name属性
Attribus属性
NavigableString属性
Comment属性
总结
HTML基本格式以及遍历
下行遍历
上行遍历
平行遍历
迭代类型：只能放在循环里面
pretiffy()
美化代码
find_all
name
attrs
recursive
string
拓展办法
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 GreenHatHGのBlog！
相关推荐
2025-06-27
MOOC学习python爬虫之中国大学排名
定向爬虫 功能描述 还得确定排名信息是不是写在HTML里面 程序设计 实例代码 123456789101112131415161718192021222324252627282930313233import requestsfrom bs4 import BeautifulSoupimport bs4def getHTMLTest(url): try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return ""def fillUnivList(ulist, html): soup = BeautifulSoup(html, "html.parser") for tr in soup.find('tbody').children: if...
2025-06-27
MOOC学习python爬虫之简单实战
简单抓取京东，亚马逊，搜索引擎信息，ip归属地查询 京东无意外，status_code返回202 天猫status_code返回503。模拟一波head 搜索引擎 google: 1https://www.google.com/search?q=keyword 爬取网页图片并且保存 IP地址归属地自动查询
2025-06-27
MOOC学习python爬虫学习之Requests
Python-Requests库 安装12pip3 install requests# python3...
2025-06-27
MOOC学习python爬虫学习之入门
入门 几个库Requests：自动爬取HTML页面，自动网络请求提交 robots.txt：网络爬虫排除标准 Beautiful Soup：解析HTML页面 Scrapy：爬虫框架 采用Python 3.x系列版本 网络爬虫尺寸
2025-06-27
火车头使用教程
声明：本教程无任何盈利目的，仅供学习使用，也不会对网站运行造成负担，请勿用于任何商业用途。 火车头简介火车采集器官网-网页抓取工具火车头采集器免费网站采集软件 火车采集器，一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。火车采集器历经十二年的升级更新，积累了大量用户和良好口碑，是目前最受欢迎的网页数据采集软件。 简单来讲，就是使用软件来简化我们的爬虫过程，在整一个过程中，不需要编写代码就能够实现爬虫逻辑。 举例爬取任务需要分页爬取所有页面，并对页面上所有感兴趣的条目进一步爬取二级URL 新建任务添加一个任务 网址采集规则-网址获取 起始网址填上【第一页的URL】 网址获取选项的意思：提取当前页面上想要爬取的条目的URL，比如xx网第一页上的符合条件的所有商品链接。 12345678910111213141516171819202122<div class="Z_list-box">...<div...
评论
