Web Scraping mit Python und BeautifulSoup: Wie geht das einfach?

Web Scraping ist eine grundlegende Technik zum Extrahieren von Informationen aus Websites. Wenn Sie lernen möchten, wie Sie mit Python und BeautifulSoup Daten scrapen, führt Sie diese Anleitung Schritt für Schritt durch den Vorgang. Am Ende dieses Artikels wissen Sie, wie Sie mehrere Seiten scrapen, dynamische Inhalte verarbeiten und Proxyserver verwenden, um die Offenlegung Ihrer IP-Adresse zu vermeiden. Lassen Sie uns direkt loslegen!

1. Einführung in Web Scraping

Beim Web Scraping werden Daten von Websites mithilfe automatisierter Skripte extrahiert. Diese Technik wird häufig für verschiedene Zwecke verwendet, beispielsweise zur Datenanalyse, Preisüberwachung und Inhaltsaggregation. Python mit seinen leistungsstarken Bibliotheken wie BeautifulSoup und Requests macht Web Scraping unkompliziert und effizient.

2. Einrichten Ihrer Umgebung

Bevor wir mit dem Scraping beginnen, müssen wir unsere Entwicklungsumgebung einrichten. Dazu müssen wir die erforderlichen Bibliotheken installieren. So können Sie es tun:

pip install requests beautifulsoup4 pandas

Diese Bibliotheken sind wichtig:

• Anfragen: Zum Abrufen des Inhalts von Webseiten.
• Schöne Suppe: Zum Analysieren und Extrahieren von Daten aus HTML-Dokumenten.
• Pandas: Zum Speichern und Bearbeiten von Daten.

3. Scraping einer Website mit BeautifulSoup

Sobald Sie die Bibliotheken installiert haben, können Sie mit dem Schreiben Ihres Scraping-Skripts beginnen. Nehmen wir als Beispiel das Scraping einer Website, die Bücher auflistet.

Importieren von Bibliotheken

import requests
from bs4 import BeautifulSoup
import pandas as pd

Abrufen der Webseite

url = "http://books.toscrape.com/"
response = requests.get(url)
html_content = response.text

Analysieren des HTML

soup = BeautifulSoup(html_content, 'html.parser')

4. Umgang mit mehreren Seiten

Um mehrere Seiten zu scrapen, müssen Sie die Seiten durchlaufen und die Daten von jeder einzelnen Seite abrufen. So können Sie das tun:

Durch Seiten blättern

base_url = "http://books.toscrape.com/catalogue/page-{}.html"
data = []

for page_num in range(1, 51):  # Assuming there are 50 pages
    response = requests.get(base_url.format(page_num))
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # Extract book data here and append to data list
    books = soup.find_all('article', class_='product_pod')
    for book in books:
        title = book.h3.a['title']
        price = book.find('p', class_='price_color').text
        stock = book.find('p', class_='instock availability').text.strip()
        
        data.append({
            "Title": title,
            "Price": price,
            "Stock": stock
        })

5. Verwendung von Proxys zur Vermeidung von IP-Sperren

Websites verfolgen häufig IP-Adressen, um Scraping zu verhindern. Die Verwendung eines Proxyservers kann Ihnen helfen, dieses Problem zu vermeiden, indem Ihre IP-Adresse maskiert wird.

Einrichten eines Proxys

proxies = {
    "http": "http://your_proxy_server:port",
    "https": "http://your_proxy_server:port",
}

response = requests.get(url, proxies=proxies)

Durch die Verwendung eines Proxys wird Ihr gesamter Datenverkehr über einen anderen Server geleitet, sodass die Zielwebsite Ihre IP-Adresse nicht erkennen kann.

6. Daten im CSV- und Excel-Format speichern

Nachdem Sie die Daten extrahiert haben, möchten Sie sie für weitere Analysen speichern. Sie können Pandas verwenden, um die Daten im CSV- oder Excel-Format zu speichern.

Daten im CSV-Format speichern

df = pd.DataFrame(data)
df.to_csv('books.csv', index=False)

Speichern von Daten in Excel

df.to_excel('books.xlsx', index=False)

Beispieltabelle mit extrahierten Daten

Titel	Preis	Aktie
Der große Plan	£13.76	Auf Lager
Der Fänger im Roggen	£5.95	Auf Lager
Schöne neue Welt	£39.74	Auf Lager

7. Fazit

Web Scraping mit Python und BeautifulSoup ist eine leistungsstarke Technik zum Extrahieren von Daten von Websites. Wenn Sie dieser Anleitung folgen, sollten Sie in der Lage sein, mehrere Seiten zu scrapen, dynamische Inhalte zu verarbeiten und Proxys zu verwenden, um IP-Sperren zu vermeiden. Denken Sie daran, vor dem Scraping immer die Nutzungsbedingungen der Website zu prüfen und die Daten verantwortungsbewusst zu verwenden.