{"id":923136,"date":"2024-06-06T12:46:31","date_gmt":"2024-06-06T12:46:31","guid":{"rendered":"https:\/\/proxyelite.info\/?p=923136"},"modified":"2025-06-04T03:03:34","modified_gmt":"2025-06-04T03:03:34","slug":"web-scraping-with-python-and-beautifulsoup-how-to-do-it-easily","status":"publish","type":"post","link":"https:\/\/proxyelite.info\/de\/web-scraping-with-python-and-beautifulsoup-how-to-do-it-easily\/","title":{"rendered":"Web Scraping mit Python und BeautifulSoup: Wie geht das einfach?"},"content":{"rendered":"<p class=\"wp-block-paragraph\">Web Scraping ist eine grundlegende Technik zum Extrahieren von Informationen aus Websites. Wenn Sie lernen m\u00f6chten, wie Sie mit Python und BeautifulSoup Daten scrapen, f\u00fchrt Sie dieser Leitfaden Schritt f\u00fcr Schritt durch den Prozess. Am Ende dieses Artikels wissen Sie, wie Sie mehrere Seiten scrapen, dynamische Inhalte verarbeiten und verwenden <a href=\"https:\/\/proxyelite.info\/de\/solutions\/proxies-for-web-scraping\/\" data-type=\"link\" data-id=\"https:\/\/proxyelite.info\/solutions\/proxies-for-web-scraping\/\">Proxy-Server<\/a> um die Offenlegung Ihrer IP-Adresse zu verhindern. Lassen Sie uns direkt eintauchen!<\/p>\n\n\n\n<div class=\"wp-block-rank-math-toc-block\" id=\"rank-math-toc\"><h2>Inhaltsverzeichnis<\/h2><nav><div><div><a href=\"#1-introduction-to-web-scraping\">1. Einf\u00fchrung in Web Scraping<\/a><\/div><div><a href=\"#2-setting-up-your-environment\">2. Einrichten Ihrer Umgebung<\/a><\/div><div><a href=\"#3-scraping-a-website-with-beautiful-soup\">3. Scraping einer Website mit BeautifulSoup<\/a><div><div><a href=\"#importing-libraries\">Importieren von Bibliotheken<\/a><\/div><div><a href=\"#fetching-the-web-page\">Abrufen der Webseite<\/a><\/div><\/div><\/div><div><a href=\"#4-handling-multiple-pages\">4. Umgang mit mehreren Seiten<\/a><div><div><a href=\"#looping-through-pages\">Durch Seiten bl\u00e4ttern<\/a><\/div><\/div><\/div><div><a href=\"#5-using-proxies-to-avoid-ip-bans\">5. Verwendung von Proxys zur Vermeidung von IP-Sperren<\/a><div><div><a href=\"#setting-up-a-proxy\">Einrichten eines Proxys<\/a><\/div><\/div><\/div><div><a href=\"#6-storing-data-in-csv-and-excel-formats\">6. Daten im CSV- und Excel-Format speichern<\/a><div><div><a href=\"#saving-data-to-csv\">Daten im CSV-Format speichern<\/a><\/div><div><a href=\"#saving-data-to-excel\">Speichern von Daten in Excel<\/a><\/div><div><a href=\"#sample-table-of-scraped-data\">Beispieltabelle mit extrahierten Daten<\/a><\/div><\/div><\/div><div><a href=\"#7-conclusion\">7. Fazit<\/a><\/div><\/div><\/nav><\/div>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"1-introduction-to-web-scraping\">1. Einf\u00fchrung in Web Scraping<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Beim Web Scraping werden Daten von Websites mithilfe automatisierter Skripte extrahiert. Diese Technik wird h\u00e4ufig f\u00fcr verschiedene Zwecke verwendet, beispielsweise zur Datenanalyse, Preis\u00fcberwachung und Inhaltsaggregation. Python mit seinen leistungsstarken Bibliotheken wie BeautifulSoup und Requests macht Web Scraping unkompliziert und effizient.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"2-setting-up-your-environment\">2. Einrichten Ihrer Umgebung<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Bevor wir mit dem Scraping beginnen, m\u00fcssen wir unsere Entwicklungsumgebung einrichten. Dazu m\u00fcssen wir die erforderlichen Bibliotheken installieren. So k\u00f6nnen Sie es tun:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code data-no-translation=\"\">pip install requests beautifulsoup4 pandas<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Diese Bibliotheken sind wichtig:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Anfragen<\/strong>: Zum Abrufen des Inhalts von Webseiten.<\/li>\n\n\n\n<li><strong>Sch\u00f6ne Suppe<\/strong>: Zum Analysieren und Extrahieren von Daten aus HTML-Dokumenten.<\/li>\n\n\n\n<li><strong>Pandas<\/strong>: Zum Speichern und Bearbeiten von Daten.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"3-scraping-a-website-with-beautiful-soup\">3. Scraping einer Website mit BeautifulSoup<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Sobald Sie die Bibliotheken installiert haben, k\u00f6nnen Sie mit dem Schreiben Ihres Scraping-Skripts beginnen. Nehmen wir als Beispiel das Scraping einer Website, die B\u00fccher auflistet.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"importing-libraries\">Importieren von Bibliotheken<\/h4>\n\n\n\n<pre class=\"wp-block-code\"><code data-no-translation=\"\">import requests\nfrom bs4 import BeautifulSoup\nimport pandas as pd<\/code><\/pre>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"fetching-the-web-page\">Abrufen der Webseite<\/h4>\n\n\n\n<pre class=\"wp-block-code\"><code data-no-translation=\"\">url = \"http:\/\/books.toscrape.com\/\"\nresponse = requests.get(url)\nhtml_content = response.text<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Analysieren des HTML<\/strong><\/p>\n\n\n\n<pre class=\"wp-block-code\"><code data-no-translation=\"\">soup = BeautifulSoup(html_content, 'html.parser')<\/code><\/pre>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"4-handling-multiple-pages\">4. Umgang mit mehreren Seiten<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Um mehrere Seiten zu scrapen, m\u00fcssen Sie die Seiten durchlaufen und die Daten von jeder einzelnen Seite abrufen. So k\u00f6nnen Sie das tun:<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"looping-through-pages\">Durch Seiten bl\u00e4ttern<\/h4>\n\n\n\n<pre class=\"wp-block-code\"><code data-no-translation=\"\">base_url = \"http:\/\/books.toscrape.com\/catalogue\/page-{}.html\"\ndata = &#91;]\n\nfor page_num in range(1, 51):  # Assuming there are 50 pages\n    response = requests.get(base_url.format(page_num))\n    soup = BeautifulSoup(response.text, 'html.parser')\n    \n    # Extract book data here and append to data list\n    books = soup.find_all('article', class_='product_pod')\n    for book in books:\n        title = book.h3.a&#91;'title']\n        price = book.find('p', class_='price_color').text\n        stock = book.find('p', class_='instock availability').text.strip()\n        \n        data.append({\n            \"Title\": title,\n            \"Price\": price,\n            \"Stock\": stock\n        })<\/code><\/pre>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"5-using-proxies-to-avoid-ip-bans\">5. Verwendung von Proxys zur Vermeidung von IP-Sperren<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Websites verfolgen h\u00e4ufig IP-Adressen, um Scraping zu verhindern. Die Verwendung eines Proxyservers kann Ihnen helfen, dieses Problem zu vermeiden, indem Ihre IP-Adresse maskiert wird.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"setting-up-a-proxy\">Einrichten eines Proxys<\/h4>\n\n\n\n<pre class=\"wp-block-code\"><code data-no-translation=\"\">proxies = {\n    \"http\": \"http:\/\/your_proxy_server:port\",\n    \"https\": \"http:\/\/your_proxy_server:port\",\n}\n\nresponse = requests.get(url, proxies=proxies)<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Durch die Verwendung eines Proxys wird Ihr gesamter Datenverkehr \u00fcber einen anderen Server geleitet, sodass die Zielwebsite Ihre IP-Adresse nicht erkennen kann.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"6-storing-data-in-csv-and-excel-formats\">6. Daten im CSV- und Excel-Format speichern<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Nachdem Sie die Daten extrahiert haben, m\u00f6chten Sie sie f\u00fcr weitere Analysen speichern. Sie k\u00f6nnen Pandas verwenden, um die Daten im CSV- oder Excel-Format zu speichern.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"saving-data-to-csv\">Daten im CSV-Format speichern<\/h4>\n\n\n\n<pre class=\"wp-block-code\"><code data-no-translation=\"\">df = pd.DataFrame(data)\ndf.to_csv('books.csv', index=False)<\/code><\/pre>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"saving-data-to-excel\">Speichern von Daten in Excel<\/h4>\n\n\n\n<pre class=\"wp-block-code\"><code data-no-translation=\"\">df.to_excel('books.xlsx', index=False)<\/code><\/pre>\n\n\n\n<h4 class=\"wp-block-heading\" id=\"sample-table-of-scraped-data\">Beispieltabelle mit extrahierten Daten<\/h4>\n\n\n\n<figure class=\"wp-block-table\"><table><thead><tr><th>Titel<\/th><th>Preis<\/th><th>Aktie<\/th><\/tr><\/thead><tbody><tr><td>Der gro\u00dfe Plan<\/td><td>\u00a313.76<\/td><td>Auf Lager<\/td><\/tr><tr><td>Der F\u00e4nger im Roggen<\/td><td>\u00a35.95<\/td><td>Auf Lager<\/td><\/tr><tr><td>Sch\u00f6ne neue Welt<\/td><td>\u00a339.74<\/td><td>Auf Lager<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"7-conclusion\">7. Fazit<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Web Scraping mit Python und BeautifulSoup ist eine leistungsstarke Technik zum Extrahieren von Daten von Websites. Wenn Sie dieser Anleitung folgen, sollten Sie in der Lage sein, mehrere Seiten zu scrapen, dynamische Inhalte zu verarbeiten und Proxys zu verwenden, um IP-Sperren zu vermeiden. Denken Sie daran, vor dem Scraping immer die Nutzungsbedingungen der Website zu pr\u00fcfen und die Daten verantwortungsbewusst zu verwenden.<\/p>","protected":false},"excerpt":{"rendered":"<p>Web scraping is an essential technique for extracting information from websites. If you\u2019re looking to learn how to scrape data with Python and BeautifulSoup, this guide will walk you through the process step-by-step. By the end of this article, you\u2019ll know how to scrape multiple pages, handle dynamic content, and use proxy servers to avoid [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":923137,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"inline_featured_image":false,"footnotes":""},"categories":[1],"tags":[],"class_list":["post-923136","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-articles"],"acf":[],"_links":{"self":[{"href":"https:\/\/proxyelite.info\/de\/wp-json\/wp\/v2\/posts\/923136","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/proxyelite.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/proxyelite.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/proxyelite.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/proxyelite.info\/de\/wp-json\/wp\/v2\/comments?post=923136"}],"version-history":[{"count":1,"href":"https:\/\/proxyelite.info\/de\/wp-json\/wp\/v2\/posts\/923136\/revisions"}],"predecessor-version":[{"id":926430,"href":"https:\/\/proxyelite.info\/de\/wp-json\/wp\/v2\/posts\/923136\/revisions\/926430"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/proxyelite.info\/de\/wp-json\/wp\/v2\/media\/923137"}],"wp:attachment":[{"href":"https:\/\/proxyelite.info\/de\/wp-json\/wp\/v2\/media?parent=923136"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/proxyelite.info\/de\/wp-json\/wp\/v2\/categories?post=923136"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/proxyelite.info\/de\/wp-json\/wp\/v2\/tags?post=923136"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}