BeautifulSoup

BeautifulSoup とは？

BeautifulSoupは、Pythonのライブラリで、HTMLやXMLなどの文書からデータを抽出するために使用されます。

特に、Webスクレイピングにおいて、Webページから必要な情報を抜き出すためによく使われます。

BeautifulSoupは、HTML文書をパースして、Pythonのオブジェクトに変換します。

そして、Pythonのオブジェクトとして扱うことができます。

これにより、HTML文書内の要素にアクセスすることができます。

BeautifulSoupを使って、HTML文書内の特定のタグやクラス、IDなどの属性を持つ要素を取得したり、テキストデータを抽出することができます。

また、要素の階層関係を考慮して要素を検索することもできます。

以下は、BeautifulSoupを使ってWebページからリンクを抽出する例です。

import requests
from bs4 import BeautifulSoup

# Webページの取得
url = 'https://example.com'
response = requests.get(url)

# BeautifulSoupオブジェクトの作成
soup = BeautifulSoup(response.text, 'html.parser')

# リンクの抽出
for link in soup.find_all('a'):
    print(link.get('href'))

この例では、requestsを使用してWebページを取得し、BeautifulSoupを使用してWebページからリンクを抽出しています。

find_allメソッドは、引数で指定した要素をすべて取得します。getメソッドは、要素の属性値を取得します。

BeautifulSoupは、Webスクレイピングにおいて非常に便利なライブラリであり、Webページから必要な情報を簡単に抽出することができます。

ただし、ウェブサイトの利用規約に違反していないか、スクレイピングによってサイトの負荷を増大させていないかを確認する必要があります。