1.2. Access Contents of HTML Page#
Author: Johannes Maucher & Daniel Grießhaber
Last update: 2024-10-07
This notebook demonstrates how to parse a HTML document and access dedicated elements of the parse tree. Beautiful Soup is a python package for parsing HTML. Download and install version 4 by typing:
pip install beautifulsoup4
into the command shell. Once it is installed it can be imported by
from bs4 import BeautifulSoup
For accessing arbitrary resources by URL the python modul urllib is used. Import the method urlopen() from this module:
from urllib.request import urlopen
If these two modules are available the HTML parse tree of the specified URL can easily be generated as follows.
#url = "http://www.zeit.de"
url = "http://www.spiegel.de"
#url = "http://www.sueddeutsche.de"
html = urlopen(url).read()
soup = BeautifulSoup(html,"html.parser")
Now e.g. the title of the URL can be accessed by:
titleTag = soup.html.head.title
print(f"Title of page: {titleTag.string}")
Title of page: DER SPIEGEL | Online-Nachrichten
1.2.1. Get all links in the page#
All links in the page can be retrieven by the following code (only the first 20 links are printed)
href_links = [link for link in soup.findAll('a') if link.has_attr('href')]
for link in href_links[:20]:
print(link['href'])
#Inhalt
https://www.spiegel.de/
https://abo.spiegel.de/?b=SPOHNAVABO&requestAccessToken=true&sara_icid=disp_upd_9h6L5hu8K1AAnttzYATx3hvk7taDkP&targetUrl=https%3A%2F%2Fwww.spiegel.de%2F
https://gruppenkonto.spiegel.de/authenticate?requestAccessToken=true&targetUrl=https%3A%2F%2Fwww.spiegel.de%2F
https://www.spiegel.de/fuermich/
https://www.spiegel.de/
https://www.spiegel.de/schlagzeilen/
https://www.spiegel.de/spiegel/
https://www.spiegel.de/audio/
https://www.spiegel.de/fuermich/
https://www.spiegel.de/schlagzeilen/
https://www.spiegel.de/plus/
https://www.spiegel.de/magazine
https://www.spiegel.de/thema/nahostkonflikt/
https://www.spiegel.de/thema/us-praesidentschaftswahl-2024/
https://www.spiegel.de/thema/ukraine_konflikt/
https://www.spiegel.de/thema/klimawandel/
https://www.spiegel.de/politik/deutschland/
https://www.spiegel.de/ausland/
https://www.spiegel.de/panorama/
1.2.2. Get all news titles#
Get title of all news, which are currently listed on www.zeit.de:
all_titles = soup.findAll('h2')
all_title_links = []
for l in all_titles:
#print(l)
try:
title = l.find('a')['title']
link = l.find('a')['href']
print('-'*40)
print(title)
print(link)
all_title_links.append(link)
except:
pass
----------------------------------------
Kevin Kühnert tritt als SPD-Generalsekretär zurück
https://www.spiegel.de/politik/deutschland/kevin-kuehnert-tritt-als-spd-generalsekretaer-zurueck-a-07b4a07e-b914-4c55-97b8-faacbd983b76
----------------------------------------
Ihr tägliches Extra bei SPIEGEL+
https://www.spiegel.de/extra
----------------------------------------
»Wir wollen eine andere Regierung für die Menschen in Iran«
https://www.spiegel.de/politik/deutschland/iran-delegation-im-eu-parlament-hannah-neumann-ueber-die-strategie-in-nahost-a-12d64d78-d693-4480-83ff-cf3cfa8050ed
----------------------------------------
Jüdische Gemeinden berichten von mehr antisemitischen Vorfällen
https://www.spiegel.de/panorama/gesellschaft/juedische-gemeinden-josef-schuster-spricht-von-zunahme-antisemitischer-vorfaelle-a-a1aa71e9-2dbf-44a5-b378-1e954b17c096
----------------------------------------
Gelbe Schleife am Kanzleramt soll Solidarität mit Hamas-Geiseln zeigen
https://www.spiegel.de/politik/olaf-scholz-bundeskanzler-zeigt-solidaritaet-mit-israelischen-geiseln-im-gazastreifen-a-9fdb4f48-aa6b-4939-b306-48954b291d5a
----------------------------------------
Baerbock sagt Israel auf Hebräisch Unterstützung zu
https://www.spiegel.de/politik/deutschland/israel-gaza-krieg-annalena-baerbock-sagt-israel-unterstuetzung-zu-botschaft-auf-hebraeisch-a-46654733-0f84-4eea-9b98-27fcb86f15ac
----------------------------------------
»Wir können sie alle retten«
https://www.spiegel.de/panorama/hamas-geiseln-in-gaza-bruder-einer-ermordeten-kaempft-in-berlin-fuer-einen-deal-a-e47b3399-e13d-48fd-9a90-1772af7ca9f7
----------------------------------------
Klimaretterin a.D.
https://www.spiegel.de/wissenschaft/kamala-harris-fracking-wende-klimaretterin-a-d-a-fbace533-20e7-4b72-af41-d04e1b50eab6
----------------------------------------
Wehe, die Grünen lernen mal was dazu
https://www.spiegel.de/politik/deutschland/gruene-parteispitze-will-politischen-kurs-aendern-doch-anhaenger-wollen-lieber-verlieren-a-d59d8eff-c826-4e6c-af74-0d02e5be9744
----------------------------------------
Wissing dringt auf schnelle Staatshilfe für Flugtaxifirma Lilium
https://www.spiegel.de/wirtschaft/unternehmen/lilium-volker-wissing-dringt-auf-schnelle-staatshilfe-fuer-flugtaxifirma-a-56763669-5909-42cf-9877-be94dfe1222d
----------------------------------------
Mit 64,4 Jahren, da fängt das Leben an
https://www.spiegel.de/wirtschaft/soziales/rente-in-deutschland-mit-64-4-jahren-faengt-das-leben-an-a-603686e2-99c9-40bc-bfc9-029ded5325cb
----------------------------------------
Nobelpreis für Medizin geht an Genforscher Victor Ambros und Gary Ruvkun
https://www.spiegel.de/wissenschaft/medizin/nobelpreis-fuer-medizin-geht-an-genforscher-victor-ambros-und-gary-ruvkun-fuer-ihre-arbeit-zu-microrna-a-2e278d21-7f5b-4729-ae0c-548081a2dbdb
----------------------------------------
Freigelassener russischer Waffenhändler But offenbar wieder im Waffengeschäft
https://www.spiegel.de/ausland/wiktor-but-freigelassener-russischer-waffenhaendler-offenbar-wieder-im-waffengeschaeft-a-c62617d7-1514-4ee9-bf17-116fd9062238
----------------------------------------
Ukrainischer Drohnenangriff auf Ölterminal
https://www.spiegel.de/ausland/russland-ukraine-krieg-ukrainisches-militaer-meldet-erfolgreichen-angriff-auf-russischen-energiesektor-a-576a4ee0-c84d-414d-91d7-cd7a6b9bccfa
----------------------------------------
NOS, RAD, BUX, GMR, BKR – Experte schlägt neue Autokennzeichen für 320 Städte vor
https://www.spiegel.de/auto/auto-kennzeichen-bensheim-buxtehude-herzogenaurach-kommen-neue-kuerzel-auf-kfz-schildern-fuer-320-mittelstaedte-a-355b5638-915f-46d0-a252-0c5a2c4b2518
----------------------------------------
30 Verletzte bei Busunfall in Dresden
https://www.spiegel.de/panorama/dresden-30-verletzte-bei-busunfall-in-dresden-a-1120f454-5517-4ce4-a9ef-4d8b1f90d5c2
----------------------------------------
Bürgermeister und Kommunalpolitiker im Süden Mexikos ermordet
https://www.spiegel.de/ausland/mexiko-buergermeister-von-stadt-im-sueden-getoetet-a-d32f250f-6469-422f-b405-fb6b4d600721
----------------------------------------
Staatsanwaltschaft fordert zwölf Jahre Haft für Ex-Stasi-Mitarbeiter
https://www.spiegel.de/panorama/justiz/berlin-staatsanwaltschaft-fordert-zwoelf-jahre-haft-fuer-ex-stasi-mitarbeiter-a-f53e6761-c68d-4245-82fc-ce225f53697b
----------------------------------------
13 Prozent der jüngeren Rentner arbeiten noch
https://www.spiegel.de/wirtschaft/soziales/13-prozent-der-juengeren-rentner-arbeiten-noch-a-3797a2c0-9e98-4092-b052-8aef8fcdf7d9
----------------------------------------
Umsatzminus für Deutschlands Autobauer
https://www.spiegel.de/wirtschaft/deutsche-industrie-umsatzminus-fuer-deutschlands-autobauer-a-94b6e8e4-21b7-4c72-b363-fd8776242cb4
----------------------------------------
Bei Real auf dem Platz, bei Frankreichs Spielen Pause – Kritik an Kylian Mbappé
https://www.spiegel.de/sport/fussball/kritik-an-kylian-mbappe-bei-real-steht-er-in-der-startelf-in-frankreichs-kader-fehlt-er-a-6a6f3395-d1a5-4778-a8e8-28e2884448f3
----------------------------------------
Die Bayern sind verliebt in ihren Bud-Spencer-Fußball
https://www.spiegel.de/sport/fussball/fc-bayern-muenchen-kann-der-riskante-stil-von-vincent-kompany-erfolgreich-sein-a-c39995bc-160a-474c-868a-9a3c6dfd59cb
----------------------------------------
Wie gesund sind Übergewichtige, die viel Sport treiben?
https://www.spiegel.de/gesundheit/ernaehrung/bauchfett-wie-gesund-sind-uebergewichtige-die-viel-sport-treiben-a-9b3bc7e4-6de0-45a2-a162-0fc9b6e75fe1
----------------------------------------
Im Kampf ums Überleben aßen sie die Toten
https://www.spiegel.de/wissenschaft/polar-mission-von-1845-kannibalismus-opfer-der-franklin-expedition-identifiziert-a-12c175cb-3b09-4501-8f6b-e523e8e67b85
----------------------------------------
Der vergessene Spritsparer
https://www.spiegel.de/geschichte/innovatives-ddr-auto-rovomobil-der-vergessene-spritsparer-a-d1490685-8721-4abe-bce3-030d122ef917
----------------------------------------
Aufstieg der Außenseiter
https://www.spiegel.de/kultur/kino/ballettfilm-cranko-aufstieg-der-aussenseiter-a-f2012e64-cd27-438e-b782-0d8d7546e3b2
----------------------------------------
Personalkarussell
https://www.spiegel.de/thema/personalien/
----------------------------------------
Kathy Bates dachte jahrelang, sie hätte in Oscar-Dankesrede ihre Mutter vergessen
https://www.spiegel.de/kultur/hollywood-kathy-bates-dachte-jahrelang-sie-haette-in-oscar-dankesrede-ihre-mutter-vergessen-a-8b0d9be2-267b-4f9e-a2c4-d73b0bb583ef
----------------------------------------
Das Beste von SPIEGEL+
https://www.spiegel.de/plus/
----------------------------------------
»Hey Mom, wenn du das liest, bleib ganz ruhig«
https://www.spiegel.de/panorama/hamas-opfer-carolin-bohl-ihre-mutter-will-nach-israel-a-90ee4b8d-c822-49a8-8c28-dc903432aa51
----------------------------------------
Der grüne Kettensägenmann
https://www.spiegel.de/politik/deutschland/die-gruenen-und-robert-habeck-wie-die-spitzengruenen-ihre-glaubwuerdigkeit-gefaehrden-a-e7710284-f373-4c45-8df5-ad1fbc839be4
----------------------------------------
»In den Kitas verspielt man die Bildungspotenziale von Kindern«
https://www.spiegel.de/panorama/bildung/kita-krise-bildungsforscherin-kritisiert-verschwendung-von-bildungspotenzialen-der-kinder-a-9bd2ca0c-52ff-48f3-b3b1-869ded5f98e3
----------------------------------------
Wie werden wir glücklich? Ganz einfach
https://www.spiegel.de/psychologie/joerg-bernardy-ueber-einfachheit-wie-werden-wir-gluecklich-ganz-einfach-a-a58045cc-44da-40ce-8219-e3f00cf2dce9
----------------------------------------
Das Beste von SPIEGEL+
https://www.spiegel.de/plus/
----------------------------------------
»In den Kitas verspielt man die Bildungspotenziale von Kindern«
https://www.spiegel.de/panorama/bildung/kita-krise-bildungsforscherin-kritisiert-verschwendung-von-bildungspotenzialen-der-kinder-a-9bd2ca0c-52ff-48f3-b3b1-869ded5f98e3
----------------------------------------
Wie werden wir glücklich? Ganz einfach
https://www.spiegel.de/psychologie/joerg-bernardy-ueber-einfachheit-wie-werden-wir-gluecklich-ganz-einfach-a-a58045cc-44da-40ce-8219-e3f00cf2dce9
----------------------------------------
»Ich warne davor, dass unsere Wirtschaft wieder in eine Planwirtschaft kippt«
https://www.spiegel.de/wirtschaft/deutscher-mittelstand-orafol-chef-loclair-aeussert-besorgnis-ueber-den-aktuellen-zustand-a-9895deb3-a877-4d41-90d7-4a5fbfa095ce
----------------------------------------
Der grüne Kettensägenmann
https://www.spiegel.de/politik/deutschland/die-gruenen-und-robert-habeck-wie-die-spitzengruenen-ihre-glaubwuerdigkeit-gefaehrden-a-e7710284-f373-4c45-8df5-ad1fbc839be4
----------------------------------------
Podcasts
https://www.spiegel.de/audio/
----------------------------------------
Videos
https://www.spiegel.de/video/
----------------------------------------
Kommentare und Kolumnen
https://www.spiegel.de/thema/meinung/
----------------------------------------
Die Palästinenser bleiben, wo sie sind
https://www.spiegel.de/ausland/nahost-krieg-die-bedeutung-eines-ausgleichs-mit-den-palaestinensern-fuer-israels-sicherheit-a-e5e97598-71ef-4214-8eba-c88d1fed2b81
----------------------------------------
Steigen bald auch bei uns die Steuern?
https://www.spiegel.de/wirtschaft/unternehmen/finanzpolitik-steigen-bald-auch-bei-uns-die-steuern-henrik-mueller-kolumne-a-be1acb49-a04a-4de2-89c6-506902999d6c
----------------------------------------
Im Sturm der Daten Ruhe finden
https://www.spiegel.de/politik/smartphone-sucht-alte-hausmittel-gegen-die-ueberforderung-der-digitalisierung-a-1581776c-4ded-4e83-8a77-78debb1be2df
----------------------------------------
Sie will Präsidentin der Weltmacht USA werden – und versteckt sich
https://www.spiegel.de/ausland/kamala-harris-vergeigt-die-us-praesidentschaftskandidatin-chancen-aus-angst-vor-dem-waehler-a-cdff4824-bac0-488a-8365-c6f617f0f2a1
----------------------------------------
Politik
https://www.spiegel.de/politik/
----------------------------------------
Umstrittene »Anschubfinanzierung«: Habeck verteidigt 1000-Euro-Prämie bei Jobaufnahme
https://www.spiegel.de/politik/deutschland/buergergeld-reform-ampel-vorschlag-stoesst-auf-kritik-habeck-verteidigt-regelung-a-b64c204a-faa4-40bf-8ca7-3b476ba32455
----------------------------------------
Äußerung über muslimische Männer: Berliner SPD-Politiker wirft Kühnert Rassismus vor – und sorgt mit Foto für Aufregung
https://www.spiegel.de/politik/deutschland/kevin-kuehnert-berliner-queer-beauftragter-alfonso-pantisano-kritisiert-spd-generalsekretaer-und-sorgt-selbst-fuer-aufsehen-a-e55d2217-9f39-4b1f-85ce-cb72d655474b
----------------------------------------
Gazakrieg: Antisemitismusbeauftragter Klein kritisiert Verharmlosung von Islamismus
https://www.spiegel.de/politik/deutschland/antisemitismus-seit-dem-7-oktober-felix-klein-kritisiert-verharmlosung-von-islamismus-a-639cd988-ed47-472c-af1a-308eb655061f
----------------------------------------
Ausland
https://www.spiegel.de/ausland/
----------------------------------------
Krieg in Nahost: Die fünf wichtigsten SPIEGEL-Texte zum Jahrestag des 7. Oktober
https://www.spiegel.de/ausland/hamas-massaker-am-7-oktober-2023-die-fuenf-wichtigsten-spiegel-texte-zum-jahrestag-a-2163d335-0c5a-4f06-9baf-968e35d19b20
----------------------------------------
Ein Jahr nach dem 7. Oktober: »Die Trauer und der Schmerz sind Teil unseres Alltags«
https://www.spiegel.de/ausland/israel-und-gaza-wie-geht-es-den-menschen-ein-jahr-nach-dem-7-oktober-a-2fefd536-fd2a-4aa8-913e-54040d08f3fc
----------------------------------------
Ein Jahr nach dem 7. Oktober: Gewalt allein ist keine Lösung
https://www.spiegel.de/ausland/israel-ein-jahr-nach-dem-7-oktober-innere-spaltung-und-internationale-isolation-a-6794cc9e-d489-4d64-9304-f3e0ccdcf472
----------------------------------------
Panorama
https://www.spiegel.de/panorama/
----------------------------------------
Geschäftsführer einer Videothek: »Wir bekommen Anrufe, ob wir die Erotikfilme aus Opas Keller haben wollen«
https://www.spiegel.de/panorama/videothek-atlantis-in-bochum-wir-bekommen-anrufe-ob-wir-die-erotikfilme-aus-opas-keller-haben-wollen-a-f0bce050-cb5c-44c5-8708-ff584a6febf0
----------------------------------------
Notlage im Gebirge: Zwei Bergsteigerinnen im Himalaja gerettet
https://www.spiegel.de/panorama/indien-zwei-bergsteigerinnen-aus-grossbritannien-und-den-usa-im-himalaja-gerettet-a-930164c0-b36d-49b4-9e4a-25dc2c4cdfe6
----------------------------------------
Warnung vor Sturmfluten: Hurrikan »Milton« steuert auf Florida zu
https://www.spiegel.de/panorama/florida-hurrikan-milton-steuert-kurz-nach-helene-auf-us-kueste-zu-a-f55832f9-3960-4eb4-b2f7-27b9819d1d8a
----------------------------------------
Wissenschaft
https://www.spiegel.de/wissenschaft/
----------------------------------------
Paläontologin erforscht Dino-Zähne: Eine Kieler Paläontologin liest in den Zähnen längst ausgestorbener Lebewesen
https://www.spiegel.de/wissenschaft/natur/palaeontologin-ueber-dinosaurier-zaehne-war-tyrannosaurus-rex-ein-knabberer-a-d9a25749-17d9-475f-a721-3eadf1bab98f
----------------------------------------
Bislang nicht zugelassener Wirkstoff: Ruanda startet Versuchsimpfungen gegen Marburg-Virus
https://www.spiegel.de/wissenschaft/medizin/marburg-virus-ruanda-startet-versuchsimpfungen-mit-bislang-nicht-zugelassenem-wirkstoff-a-b5832388-6b1b-4b08-a103-66b343510b3a
----------------------------------------
Ex-Hurrikan »Kirk« nähert sich Europa: »Es wird eine intensive Sturmlage geben«
https://www.spiegel.de/wissenschaft/natur/hurrikan-kirk-rollt-auf-europa-zu-es-wird-eine-intensive-sturmlage-geben-a-d2c7c28d-4e6b-48c6-9936-b02119aa2274
----------------------------------------
Wirtschaft
https://www.spiegel.de/wirtschaft/
----------------------------------------
Schwache Konjunktur: Industrie verzeichnet starken Rückgang der Aufträge
https://www.spiegel.de/wirtschaft/unternehmen/konjunktur-industrie-verzeichnet-starken-rueckgang-der-auftraege-a-e8176e75-ed93-48ea-97de-387df920daf0
----------------------------------------
Vor allem aus Russland: Lidl-Konzernmutter meldet 350.000 Cyberangriffe – täglich
https://www.spiegel.de/wirtschaft/unternehmen/schwarz-gruppe-lidl-mutter-meldet-350-000-cyber-angriffe-taeglich-mutmasslich-aus-russland-a-5082297c-5a5f-40aa-8161-b7056b0ea6ad
----------------------------------------
Neue Commerzbank-Chefin: Orlopp warnt vor Risiken bei Übernahme durch UniCredit
https://www.spiegel.de/wirtschaft/unternehmen/commerzbank-chefin-bettina-orlopp-warnt-vor-risiken-bei-uebernahme-durch-unicredit-a-d8b4f51b-d545-4154-a14f-4894f71d4e9d
----------------------------------------
Streit um Legosteine: „Lego geht die Munition aus“
https://www.manager-magazin.de/unternehmen/lego-kampf-gegen-guenstigere-klemmbaustein-konkurrenten-vor-gericht-a-c47fe151-4d75-4957-a9fb-2e0bd1e500a4
----------------------------------------
Immobilien statt Handel: Das Tedi-Phantom – die Zukunftspläne des Ramschkönigs Jost-Stefan Heinig
https://www.manager-magazin.de/unternehmen/handel/reichste-deutsche-2024-kik-tedi-woolwor-inhaber-jost-stefan-heinig-kauft-ruhrpott-auf-a-73f9576a-a53d-43b5-80dc-e13e90307363
----------------------------------------
Offener Brief wegen CO₂-Zielen: Stellantis-Händler stellen sich gegen Konzernchef Tavares
https://www.manager-magazin.de/unternehmen/autoindustrie/stellantis-haendler-stellen-sich-bei-co2-zielen-gegen-konzernchef-carlos-tavares-a-4382ed26-29ae-4384-a9c6-3cd0f9845d4b
----------------------------------------
Börsenkurse manager magazin
https://boersen.manager-magazin.de
----------------------------------------
Sport
https://www.spiegel.de/sport/
----------------------------------------
In ihrem ersten Jahr in der Liga: Basketballerin Fiebich stürmt mit ihrem Team ins WNBA-Finale
https://www.spiegel.de/sport/basketball/basketball-leonie-fiebich-stuermt-als-erste-deutsche-ins-finale-der-wnba-a-906520bf-1026-4db3-95df-31b2f5a62ce3
----------------------------------------
Basketball-Superstar schreibt Geschichte: LeBron James und sein Sohn Bronny stehen erstmals gemeinsam auf dem Feld
https://www.spiegel.de/sport/basketball/lebron-james-und-bronny-james-stehen-erstmals-zusammen-auf-dem-nba-court-a-0fd1f4bc-dc59-4452-9dcf-e8d0eea64f0e
----------------------------------------
Fußball-Bundesliga: Ausgleich in der neunten Minute der Nachspielzeit – Demirović rettet Stuttgart einen Punkt
https://www.spiegel.de/sport/fussball/bundesliga-ermedin-demirovic-rettet-stuttgart-einen-punkt-gegen-hoffenheim-a-2de3d960-d7fe-4a47-b114-488c27658de0
----------------------------------------
Die Memes zum 6. Spieltag: „It's showtime“
https://www.11freunde.de/bundesliga/kevin-vogt-omar-marmoush-der-bvb-die-memes-zum-6-spieltag-its-showtime-a-5786dce7-67dc-4037-b9d2-84e0fa4842eb
----------------------------------------
Die 11 des 6. Spieltags: Ritter der Burkardt
https://www.11freunde.de/bundesliga/bundesliga-marmoush-olise-und-co-das-ist-die-11-des-6-spieltags-a-9d88e436-893a-4bc4-8569-d07f5d2aaef2
----------------------------------------
Die besten Bilder von Eduard Geyer: Ede Gnadenlos
https://www.11freunde.de/bundesliga/eduard-geyer-wird-80-die-besten-bilder-der-fussball-legende-a-e357de0e-0004-0001-0000-000000333655
----------------------------------------
Netzwelt
https://www.spiegel.de/netzwelt/
----------------------------------------
Gegen Betrug: Google testet offenbar blauen Haken für Suchergebnisse
https://www.spiegel.de/netzwelt/web/google-testet-offenbar-blauen-haken-fuer-suchergebnisse-a-abc87cee-2d0e-482f-be0d-253068b34e1e
----------------------------------------
TikTok-Star Noel Robinson: »Für den Bildschirm musst du halt alles extremer machen«
https://www.spiegel.de/netzwelt/apps/tiktok-star-noel-robinson-fuer-den-bildschirm-musst-du-halt-alles-extremer-machen-a-2e2a30a2-134d-429f-b21a-1d74946183f9
----------------------------------------
Sperre in Brasilien: X will Millionenstrafe bezahlt haben – und wieder online gehen
https://www.spiegel.de/netzwelt/netzpolitik/brasilien-x-will-millionen-strafe-bezahlt-haben-und-wieder-online-gehen-a-4fb45a19-837e-41bb-9fe3-012f687a4651
----------------------------------------
Kultur
https://www.spiegel.de/kultur/
----------------------------------------
Schlechte Publikumsnoten: »Joker« hat an den Kinokassen nichts zu lachen
https://www.spiegel.de/kultur/kino/joker-folie-a-deux-flop-an-kinokassen-schlechte-publikumsnoten-a-86442fb1-83a6-4a1d-8d5e-4ec2247ea0d3
----------------------------------------
Nahost-Talk mit Baerbock: »In der Außenpolitik hat man ja keinen Zauberstab«
https://www.spiegel.de/kultur/tv/annalena-baerbock-bei-caren-miosga-in-der-aussenpolitik-hat-man-ja-keinen-zauberstab-a-110cfcb2-86b3-4ba4-9b12-d643f0d225f1
----------------------------------------
Instagram, TikTok und die Jahreszeiten: Endlich Herbst! Endlich kann ich mir die Decke über den Kopf ziehen und lesen!
https://www.spiegel.de/kultur/tiktok-und-der-herbst-wie-die-jahreszeit-auf-der-plattform-zum-trend-wird-a-fafa617e-50ef-4df0-8f95-1a94bdb23f1d
----------------------------------------
Job & Karriere
https://www.spiegel.de/karriere/
----------------------------------------
Tipps von der Karriereberaterin: 200 Bewerbungen verschickt mit über 50 – und kein Job in Sicht
https://www.spiegel.de/karriere/bewerbungstipps-wie-ue50-jaehrige-sich-auf-einen-job-bewerben-a-3a5c2e7a-a0cc-4795-9386-96832f3db329
----------------------------------------
WORK: Raus hier!
https://www.spiegel.de/karriere/kuendigungsschutz-fuer-betriebsraete-schwangere-dauerkranke-mythos-oder-realitaet-a-b20da45e-1dc2-4cd0-a855-8d07ad564256
----------------------------------------
Arbeitsrecht: So werden Unternehmen Leute los, die sie nicht mehr haben wollen
https://www.spiegel.de/karriere/arbeitsrecht-die-fiesesten-kuendigungstricks-und-wie-man-sich-dagegen-wehren-kann-a-8befc453-79d6-4ff4-bdf7-e9a47e2a4bac
----------------------------------------
Start
https://www.spiegel.de/start/
----------------------------------------
»Finfluencer« werden beliebter: Wie seriös sind Anlagetipps aus dem Internet?
https://www.spiegel.de/start/finfluencer-social-media-ersetzt-die-bankberater-a-f84527f3-e963-4acb-a31d-cf1f758b1599
----------------------------------------
Berufseinstieg als Suchtberaterin: »Solche Taten haben immer eine Vorgeschichte«
https://www.spiegel.de/start/berufseinstieg-als-suchtberaterin-solche-taten-haben-immer-eine-vorgeschichte-a-b09c4502-b84a-4149-9f59-40b90e312e6f
----------------------------------------
Startklar-Newsletter: Wie gelingt der Start ins Unileben?
https://www.spiegel.de/start/erstiwoche-wie-gelingt-der-start-ins-unileben-a-25cd5633-7fab-4a3c-abfd-d5fed5bc44a3
----------------------------------------
Geschichte
https://www.spiegel.de/geschichte/
----------------------------------------
Erziehung in der DDR: Der Absturz der Beate Ulbricht
https://www.spiegel.de/geschichte/erziehung-in-der-ddr-wie-beate-ulbricht-mit-zwang-auf-linie-gebracht-werden-sollte-a-4d3bb624-be97-4e9a-b2a5-3ecb86c20957
----------------------------------------
Deutsche Landkommune in Italien: Lieber nackt im Garten als bewaffnet im Untergrund
https://www.spiegel.de/geschichte/deutsche-landkommune-utopiaggia-in-italien-lieber-nackt-im-garten-als-bewaffnet-im-untergrund-a-a6d3d0e8-5357-458f-adb2-b5d51f09af30
----------------------------------------
Deutsche Auswanderer in den USA: Wilde Dreizehn
https://www.spiegel.de/geschichte/germantown-wie-franz-daniel-pastorius-die-ersten-deutschen-nach-amerika-lotste-a-77f5e98d-3bf0-46be-900c-86e060db3390
----------------------------------------
Tests
https://www.spiegel.de/tests/
----------------------------------------
Kugelbahnen im Test: So bringen Sie die Dinge ins Rollen
https://www.spiegel.de/tests/brettspiele/kugelbahnen-im-test-so-gut-sind-cuboro-hubelino-gravitrax-gecko-run-connetix-und-co-a-84c2720f-2283-451d-94b3-285e4e559746
----------------------------------------
Laptops im Test: Zum Mitnehmen, bitte!
https://www.spiegel.de/tests/elektronik/stiftung-warentest-die-besten-laptops-2024-a-3082d383-3762-460d-ab2c-5957161e8db6
----------------------------------------
Mobilität
https://www.spiegel.de/auto/
----------------------------------------
Baustelle bis August 2026: Die Avus wird saniert – und das dauert knapp zwei Jahre
https://www.spiegel.de/auto/a115-in-berlin-die-avus-wird-saniert-knapp-zwei-jahre-stau-a-a613ad93-286f-4233-ae10-2d77c6da8073
----------------------------------------
»Stilles Sterben« bei Autozulieferern: Ex-SPD-Chef Gabriel geißelt Verbrenner-Aus – und lobt Umweltbilanz des Diesels
https://www.spiegel.de/auto/sigmar-gabriel-ex-spd-chef-geisselt-verbrenner-aus-und-lobt-umweltbilanz-des-diesel-a-2b40ee17-a4bc-46ef-9ee7-f2ae69c5a441
----------------------------------------
Sensationelle Schrottplatz-Auktion: Wo die alten Porsches verrotten
https://www.spiegel.de/auto/fahrkultur/oldtimer-sothebys-versteigert-schrottplatz-schatz-von-rudi-klein-in-los-angeles-a-afc154eb-d6e9-4b16-9b33-fc6cb22cd003
----------------------------------------
SPIEGEL Bestseller: Sachbuch Hardcover
https://www.spiegel.de/kultur/literatur/spiegel-bestseller-hardcover-a-1025428.html
----------------------------------------
Leben
https://www.spiegel.de/thema/leben/
----------------------------------------
Wann das Wetter zu Schlaganfällen führen kann
https://www.spiegel.de/gesundheit/diagnose/schlaganfall-durch-temperatursturz-warum-wetterumschwuenge-gefaehrlich-sein-koennen-a-449e5f77-0f67-4de0-9308-f1d5d379fe4b
----------------------------------------
Wie gefährlich ist Bluthochdruck bei Kindern?
https://www.spiegel.de/gesundheit/diagnose/bluthochdruck-bei-kindern-wann-es-gefaehrlich-wird-und-wie-herzinfarkte-verhindert-werden-koennen-a-ad3f11aa-3139-4484-8fda-a0c096c99c0f
----------------------------------------
Sitzen die Emotionen wirklich in den Hüften?
https://www.spiegel.de/gesundheit/yoga-und-psychologie-sitzen-die-emotionen-wirklich-in-den-hueften-a-0451ff26-22a0-4698-9c68-7ff249ab01b3
----------------------------------------
Taugt Instagram als Erziehungsratgeber?
https://www.spiegel.de/familie/momfluencerinnen-und-social-media-taugt-instagram-als-erziehungsratgeber-a-e08f1a25-455c-42a1-9d5f-eb3200e566eb
----------------------------------------
Lowkey ganz entspannt, die Party
https://www.spiegel.de/familie/jugendsprache-und-erwachsene-lowkey-ganz-entspannt-die-party-a-ffd3ca84-d54f-4f86-bd43-89e88342f290
----------------------------------------
In den Fußstapfen der Männer
https://www.spiegel.de/stil/frauen-mit-cowboystiefeln-warum-die-schuhe-von-lucky-luke-wieder-in-mode-sind-a-506a2a38-c47a-4616-9861-b9f1a2462a00
----------------------------------------
Haare sind systemrelevant
https://www.spiegel.de/stil/grow-it-show-it-ausstellung-in-essen-das-museum-folkwang-beleuchtet-die-kulturelle-bedeutung-von-haaren-a-2ba17803-db29-4993-a1b7-871fef18e7d3
----------------------------------------
Welcher Herbstreisetyp sind Sie?
https://www.spiegel.de/reise/urlaub-in-den-herbstferien-welcher-herbstreisetyp-sind-sie-a-736a3054-fbac-420d-98c9-d14f8738073d
----------------------------------------
Hubschrauberlandeplatz: Check! Privater Konzertsaal: Check!
https://www.spiegel.de/reise/luxusjachten-der-superreichen-die-top-10-der-weltgroessten-boote-a-15924208-713c-4332-a635-2d0134e85559
----------------------------------------
Familienurlaub ohne Auto – wie hat das geklappt?
https://www.spiegel.de/reise/europa/familienurlaub-ohne-auto-in-polen-und-schweden-wie-hat-das-geklappt-a-eddd1922-e2bc-4384-a696-1451392bc354
----------------------------------------
Produkte im Test
https://www.spiegel.de/tests/
----------------------------------------
Was für welches neue Apple-Handy spricht
https://www.spiegel.de/netzwelt/gadgets/iphone-16-und-16-pro-max-im-test-was-fuer-welches-neue-apple-handy-spricht-a-a8305aa2-08b3-4fef-b13e-ed384557d3ee
----------------------------------------
Eine Uhr, wie gemacht für die Nacht
https://www.spiegel.de/netzwelt/gadgets/apple-watch-10-im-test-eine-uhr-wie-gemacht-fuer-die-nacht-a-15178db7-cc1c-4338-a2b8-c8155afced35
----------------------------------------
50 Euro für ein bisschen mehr Ruhe
https://www.spiegel.de/netzwelt/gadgets/airpods-4-im-test-50-euro-aufpreis-fuer-geraeuschunterdrueckung-lohnt-sich-das-a-119aada3-8489-4d70-a3b5-aef9aa19e657
----------------------------------------
Dem Wildwuchs keine Chance
https://www.spiegel.de/tests/garten/unkrautentferner-im-test-dem-wildwuchs-keine-chance-a-c7a42147-bcee-48b2-8493-978eb6b5163c
----------------------------------------
Alles kalter Kaffee?
https://www.spiegel.de/tests/kueche/cold-brew-kaffeemaschinen-modelle-von-bodum-hario-und-tradena-im-test-a-653d990c-b342-4773-b6cd-41ec4f97c46a
----------------------------------------
So lecker kann asiatische Küche sein
https://www.spiegel.de/tests/kueche/kochbuch-tipps-ramen-forever-malaysia-und-thai-kitchen-a-350ef615-af0d-4a7e-a8dd-63052e61c05c
----------------------------------------
Trockner wird’s nicht
https://www.spiegel.de/tests/haushalt/stiftung-warentest-das-sind-die-besten-waeschetrockner-2024-a-d58ee311-6c23-4232-a0da-69ed16323721
----------------------------------------
Habt ihr mal ein paar Sekunden?
https://www.spiegel.de/tests/brettspiele/partyspiele-habt-ihr-mal-ein-paar-sekunden-a-f5aa2aa3-8860-4e1b-8d10-089c877f3ef6
----------------------------------------
Dein SPIEGEL
https://www.spiegel.de/deinspiegel/
----------------------------------------
Hämmern, schmieden, raspeln, schleifen
https://www.spiegel.de/deinspiegel/so-arbeitet-ein-hufschmied-haemmern-schmieden-raspeln-schleifen-a-8fbe3967-a855-4224-be03-67a9f8648f08
----------------------------------------
»Ich kann Feuer löschen«
https://www.spiegel.de/deinspiegel/jugendfeuerwehr-eine-zwoelfjaehrige-erzaehlt-ich-kann-feuer-loeschen-a-5da5fc6c-a823-49fb-8bd4-56c09a98b860
1.2.3. Get all images of the page#
Get url of all images, which are currently displayed on www.zeit.de:
all_images = [img for img in soup.findAll('img') if img.has_attr('src')]
for img in all_images[:10]:
print(img['src'])
data:image/svg+xml,%3Csvg xmlns='http://www.w3.org/2000/svg' viewBox='0 0 949 534' width='949' height='534' %3E%3C/svg%3E
https://cdn.prod.www.spiegel.de/images/07a33cdb-c94f-4205-b72d-8192d3de791e_w960_r2.194_fpx50_fpy40.jpg
https://cdn.prod.www.spiegel.de/images/07a33cdb-c94f-4205-b72d-8192d3de791e_w920_r1.778_fpx50_fpy40.jpg
https://cdn.prod.www.spiegel.de/images/07a33cdb-c94f-4205-b72d-8192d3de791e_w520_r1.33_fpx50_fpy40.jpg
data:image/svg+xml,%3Csvg xmlns='http://www.w3.org/2000/svg' viewBox='0 0 520 520' width='520' height='520' %3E%3C/svg%3E
https://cdn.prod.www.spiegel.de/images/b689cf7a-d2b0-4edb-9ee6-83bd0bd313b7_w288_r1_fpx45_fpy57.jpg
data:image/svg+xml,%3Csvg xmlns='http://www.w3.org/2000/svg' viewBox='0 0 112 112' width='112' height='112' %3E%3C/svg%3E
https://cdn.prod.www.spiegel.de/images/9265dbae-c6f2-4be8-be44-1e5d08feff31_w112_r1_fpx42.75_fpy44.99.jpg
data:image/svg+xml,%3Csvg xmlns='http://www.w3.org/2000/svg' viewBox='0 0 112 112' width='112' height='112' %3E%3C/svg%3E
https://cdn.prod.www.spiegel.de/images/478f7c4a-6436-4cbd-b334-f62baec84804_w112_r1_fpx50_fpy50.jpg
1.2.4. Get entire text of a news-article#
article_url = all_title_links[0]
try:
html=urlopen(article_url).read() #works if subdomains are referenced by absolute path
except:
html=urlopen(url + article_url).read() #works if subdomains are referenced by relative path
soup=BeautifulSoup(html, "html.parser")
all_paragraphs = soup.findAll('p')
for paragraph in all_paragraphs:
print(paragraph.get_text())
SPD-Generalsekretär Kevin Kühnert: »Jeder von uns muss und wird in dieser Kampagne über sich hinauswachsens«
Urban Zintel / DER SPIEGEL
SPD-Generalsekretär Kevin Kühnert hat seinen Rücktritt erklärt. In einem Brief schreibt er, dass er außerdem nicht mehr als Kandidat für die nächste Bundestagswahl antreten werde. Als Grund für seinen Rückzug aus der Politik nennt Kühnert seinen gesundheitlichen Zustand: »Die Energie, die für mein Amt und einen Wahlkampf nötig ist, brauche ich auf absehbare Zeit, um wieder gesund zu werden. Deshalb ziehe ich die Konsequenzen.«
Genauere Angaben zu seinem gesundheitlichen Zustand macht Kühnert in der Nachricht nicht. Er erwähnt, dass er den Stichtag gut ein Jahr vor der nächsten Bundestagswahl zum Anlass genommen habe, um dem SPIEGEL ein Interview zu geben
. Gefragt nach den Wahlchancen der SPD für 2025 habe er gesagt: »Jeder von uns muss und wird in dieser Kampagne über sich hinauswachsen.«
Aber: »Ich selbst kann im Moment nicht über mich hinauswachsen, weil ich leider nicht gesund bin.«
Kühnert schreibt weiter, der Schritt habe ihn viel Überwindung gekostet, aber er werde damit nun seiner Verantwortung gegenüber sich selbst und seiner Partei gerecht. »Für einen Wahlsieg braucht es den vollen Einsatz der gesamten SPD.« Kühnert bedankt sich bei seinen Parteikolleginnen und Parteikollegen und gibt auch der AfD einen Seitenhieb mit: »Während manch andere Partei und Gruppe niederste Instinkte bedient, arbeitet ihr unermüdlich dafür, das Beste aus euch und euren Mitmenschen herauszuholen.«
Nach SPIEGEL-Informationen steht Kühnert auf absehbare Zeit nicht für Anfragen zur Verfügung. Er ist krankgeschrieben. Um 14.45 Uhr wollen die Parteivorsitzenden ein Statement abgeben. Dabei dürfte es auch um die Nachfolge gehen. Am Abend tagen Präsidium und Parteivorstand digital.
Kühnert wurde 2021 Generalsekretär der Sozialdemokraten. Im selben Jahr zog er über das Direktmandat im Berliner Bezirk Tempelhof-Schöneberg in den Bundestag ein. Zuvor war er als Vorsitzender der Jusos bundesweit bekannt geworden, weil er unter anderem eine Kampagne gegen eine GroKo aus Union und SPD organisierte. 2019 spielte er eine entscheidende Rolle, als die Parteilinken Saskia Esken und Norbert Walter-Borjans in der Stichwahl gegen den heutigen Kanzler Olaf Scholz und Klara Geywitz an die SPD-Spitze kamen.
SPD-Generalsekretär Kevin Kühnert: »Jeder von uns muss und wird in dieser Kampagne über sich hinauswachsens«
Urban Zintel / DER SPIEGEL
1.2.5. Questions and Remarks#
This notebook demonstrates how raw-text can be crawled from news-sites. But what is the drawback of this method?
Execute the entire notebook also for
www.zeit.deandwww.sueddeutsche.de.What do you observe? How to solve the problem?