首页 > 文章 > python教程

使用 Beautiful Soup 在 Python 中进行网页抓取和解析 HTML

时间：2025-01-21 12:42:58 197浏览收藏

珍惜时间，勤奋学习！今天给大家带来《使用 Beautiful Soup 在 Python 中进行网页抓取和解析 HTML》，正文内容主要涉及到等等，如果你正在学习文章，或者是对文章有疑问，欢迎大家关注我！后面我会持续更新相关内容的，希望都能帮到正在学习的大家！

利用Python和Beautiful Soup从网络抓取MIDI数据，训练Magenta神经网络生成经典任天堂风格音乐。本文将引导您完成整个过程，从环境搭建到数据下载，并提供代码示例。

准备工作与依赖安装

首先，确保已安装Python 3和pip。建议创建一个虚拟环境，以避免包冲突。激活虚拟环境后，运行以下命令安装必要的库：

import re
import requests
from bs4 import BeautifulSoup
 
vgm_url = 'https://www.vgmusic.com/music/console/nintendo/nes/'
html_text = requests.get(vgm_url).text
soup = BeautifulSoup(html_text, 'html.parser')
 
 
def download_track(count, track_element):
    track_title = track_element.text.strip().replace('/', '-')
    download_url = '{}{}'.format(vgm_url, track_element['href'])
    file_name = '{}_{}.mid'.format(count, track_title)
    r = requests.get(download_url, allow_redirects=True)
    with open(file_name, 'wb') as f:
        f.write(r.content)
    print('Downloaded: {}'.format(track_title))
 
 
if __name__ == '__main__':
    attrs = {'href': re.compile(r'\.mid$')}
    tracks = soup.find_all('a', attrs=attrs, string=re.compile(r'^((?!\().)*$'))
    count = 0
    for track in tracks:
        download_track(count, track)
        count += 1
    print(len(tracks))

运行此代码将下载所有过滤后的MIDI文件。

使用 Beautiful Soup 在 Python 中进行网页抓取和解析 HTML

总结与展望

通过Beautiful Soup，您可以轻松地从网页中抓取所需数据。请记住，网页结构可能会发生变化，需要定期检查和更新代码。您可以使用mido等库进一步处理MIDI数据，并使用Magenta训练神经网络生成音乐。希望您能利用这些技术创建令人惊叹的项目！

今天关于《使用 Beautiful Soup 在 Python 中进行网页抓取和解析 HTML》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！