Turing-Test, Chatbots, neuronale Netzwerke Künstliche Intelligenz - endlich verständlich

In kaum einem Tech-Forschungsfeld gibt es solche Fortschritte wie bei der künstlichen Intelligenz (KI). Aber was ist das eigentlich genau? Und was bringt KI für die Zukunft? Die wichtigsten Antworten im Hintergrundformat "Endlich verständlich".

Roboter in Japan
DPA

Roboter in Japan


Inhaltsverzeichnis

  1. Was ist gemeint, wenn von künstlicher Intelligenz die Rede ist?
  2. Ist KI dasselbe wie ein Algorithmus?
  3. Was war vor KI?
  4. Woher kommt der Begriff KI?
  5. Was waren Meilensteine der KI-Forschung?
  6. Was ist der Turing-Test? Und wurde er schon mal bestanden?
  7. Welche Beispiele für KI gibt es heute im Alltag?
  8. In welchen Forschungsfeldern gibt es Fortschritte?
  9. Was steckt technisch hinter einer KI?
  10. Was sind künstliche neuronale Netzwerke?
  11. Was ist Deep Learning?
  12. Was ist Technologische Singularität?
  13. Welche Unternehmen arbeiten mit KI?
  14. Was erhoffen sich Enthusiasten und Optimisten von KI?
  15. Was wird an KI kritisiert - und ist Angst vor KI berechtigt?
  16. Kann KI schlauer sein als Menschen? Kann sie einen eigenen Willen haben?
  17. Wieso gibt es KIs mit Persönlichkeiten – und was macht das mit uns?

1. Was ist gemeint, wenn von künstlicher Intelligenz die Rede ist?

Der Begriff künstliche Intelligenz, abgekürzt KI, steht für Computersysteme, die menschliche Intelligenz nachahmen. Eine ideale KI gibt es aber bis heute nicht. Ein solches System müsste in der Lage sein, seine Umwelt selbstständig zu erfassen, auf diese zu reagieren und ihren Fortbestand zu sichern. Schon weil sie keine Gefühle empfinden kann, würde sich die Denkweise einer solchen KI aber vermutlich stark von der eines Menschen unterscheiden.

Das, was man bislang allgemein als KI bezeichnet, sind eher Simulationen intelligenten Verhaltens auf Basis vorgegebener oder erlernter Muster. KI, so wie sie bislang eingesetzt wird, versucht eher, konkrete Probleme zu lösen beziehungsweise bei der Lösung solcher Probleme zu helfen. Eine KI ist daher praktisch immer ein Spezialist, ein System, das für eine bestimmte Fragestellung entwickelt worden ist.

Trotzdem sind KI-Systeme keine grundsätzlich starren Computeranwendungen, denn sie können ihre Fähigkeiten durch Lernprozesse erweitern (siehe Fragen 10 und 11). Solche Systeme agieren zudem anders als herkömmliche Software, weil sie nicht nur starr binär arbeiten - also entweder "ja" oder "nein" kennen -, sondern Entscheidungen auch anhand von Wahrscheinlichkeiten treffen.

Der Begriff KI wird seit mehreren Jahrzehnten inflationär benutzt, und das auch im Kontext vieler Anwendungen, die keine KI im klassischen Sinne bieten. So wird etwa bei Computerspielen oft von KI-Gegnern gesprochen. Diese Gegner können zwar auf Aktionen des Spielers reagieren, tun das aber meistens auf Basis einer reproduzierbaren Regelung. Oft können sie sich nicht auf die typische Vorgehensweise eines Spielers einstellen.

Ähnliches gilt für viele Gadgets, bei denen von KI die Rede ist. Auch hier arbeitet eine Software in der Regel nur hochspezialisierte Programmanweisungen ab, die an die jeweilige Anwendung, etwa an eine Heizungssteuerung, angepasst ist.

Analog zum Kürzel KI wird oft auch das Kürzel AI benutzt. Hierbei handelt es sich schlicht um die verkürzte Form des englischen Begriffes " Artificial Intelligence ", der dasselbe meint wie KI. In der KI-Forschung kommen verschiedene Disziplinen wie Kybernetik, Computer-Linguistik, Psycho- und Soziolinguistik, Neurophysiologie, Psychologie, Elektronik, Elektrotechnik und Philosophie zusammen.

Wired-Gründungschefredakteur Kevin Kelly schreibt in seinem Buch "The Inevitable", KI werde den Menschen helfen, besser zu verstehen, was überhaupt mit dem Begriff "Intelligenz" gemeint ist. "In der Vergangenheit haben wir gesagt, dass nur eine superintelligente KI Autos fahren kann oder einen Menschen in "Jeopardy!" schlagen oder eine Milliarde Gesichter erkennen kann. Aber als Computer in den letzten Jahren jede dieser Sachen geschafft haben, kamen wir immer zu dem Schluss, dass diese Leistung offenbar maschinenmäßig sei und kaum das Label 'echte Intelligenz' verdient hat." Erfolge im Bereich KI würden so auch definieren helfen, was es bedeutet, Mensch zu sein.

2. Ist KI dasselbe wie ein Algorithmus?

Die Begriffe KI und Algorithmus werden mitunter synonym verwendet, meinen aber nicht unbedingt dasselbe. Oft ist es aber so, dass eine KI sich aus Algorithmen zusammensetzt, während ein Algorithmus nicht immer eine KI ist.

Ein Algorithmus ist im Tech-Bereich eine in Computersprache formulierte Vorschrift, die aus einer Folge von Anweisungen besteht, mit der bestimmte Aufgaben gelöst werden können. Es gibt zahlreiche Algorithmen, die nichts mit einer KI zu tun haben. Damit ein Algorithmus zur KI wird, muss er versuchen, etwas zu imitieren, was intelligente Wesen machen.

Der Mathematiker Sebastian Stiller schreibt in seinem Buch "Planet der Algorithmen", KI sei ein unnötig anmaßender Name für eine bestimmte Art von Algorithmen. Er selbst nennt Algorithmen unter anderem "Kunstwerke der Faulheit". In einem Algorithmus werde das Lösen von Problemen in kleine Schritte heruntergebrochen, fasst er in seinem Buch unterschiedliche wissenschaftliche Definitionen zum Thema zusammen.

3. Was war vor KI?

Die Idee von künstlichen Wesen fasziniert die Menschheit seit der Antike. In der griechischen Mythologie wird beispielsweise der vom Gott des Feuers Hephaistos geschaffene Talos in Gestalt eines bronzenen Riesen erwähnt. Von Leonardo da Vinci stammt die Skizze eines Roboters, der seine Arme bewegen, sich aufsetzen und seinen Kopf drehen konnte. Bei frühen Roboterkonzepten ging es allerdings nicht um künstliche Intelligenz. Das Ziel war es vielmehr, mechanische Automaten zu bauen.

1942 formulierte der Schriftsteller Isaac Asimov in einer Kurzgeschichte drei Gesetze als "Grundregeln des Roboterdienstes". Die sogenannten Asimovschen Gesetze lauten:

  • 1. Ein Roboter darf Menschen nicht verletzen oder durch Untätigkeit dulden, dass Menschen zu Schaden kommen.
  • 2. Ein Roboter hat allen Anweisungen von Menschen zu gehorchen, außer er gerät dadurch mit dem ersten Gesetz in Konflikt.
  • 3. Ein Roboter muss sich selbst schützen, außer er gerät dadurch mit dem ersten oder dem zweiten Gesetz in Konflikt.

Später fügte Asimov noch das "Nullte Gesetz" hinzu. Es lautet: "Ein Roboter darf der Menschheit keinen Schaden zufügen oder durch Untätigkeit dulden, dass die Menschheit zu Schaden kommt."

4. Woher kommt der Begriff KI?

KI als Forschungsfeld lässt sich auf eine Konferenz zurückführen, die der Informatiker John McCarthy im Sommer 1956 organisierte. Zu der zweimonatigen Veranstaltung versammelten sich in New Hampshire Vordenker der KI wie Marvin Minsky und Allen Newell. In seinem Antrag für Fördermittel verwendete McCarthy erstmals den Begriff Artificial Intelligence, was auf Deutsch KI entspricht (siehe Frage 1).

Der Konferenz vorausgegangen waren enorme Fortschritte in der Computertechnik seit den Dreißigerjahren. Im Jahr 1936 zum Beispiel erfand der Mathematiker Alan Turing die sogenannte Turing-Maschine. Mit Hilfe der Turing-Bombe, einem Entschlüsselungsgerät, gelang es britischen Wissenschaftlern später im Zweiten Weltkrieg, das Enigma-Verschlüsselungssystem der Nazis zu knacken. 1941 stellte der deutsche Ingenieur Konrad Zuse derweil den ersten automatischen Computer der Welt fertig, der als funktionsfähig gilt.

Im Laufe der Zeit bildeten sich im Bereich KI zwei unterschiedliche Schulen heraus. Einige Pioniere wollten Computer erschaffen, die das menschliche Denken mechanisieren sollten. Diese philosophisch geprägte Ausrichtung wird mit dem Stichwort "starke KI" in Verbindung gebracht. Die andere Gruppe stellte mögliche Anwendungen in den Mittelpunkt. Dafür werden Teilaspekte der menschlichen Intelligenz auf ihre Nachformbarkeit und Nutzbarmachung untersucht. Zu diesem pragmatisch orientierten Zweig gehört das Stichwort "schwache KI".

5. Was waren Meilensteine der KI-Forschung?

Bis heute relevant ist der sogenannte Turing-Test, den Alan Turing 1950 publizierte (siehe Frage 6). Ein Jahr später, 1951, schuf der amerikanische Forscher Marvin Minsky das erste künstliche neuronale Netz (siehe Frage 10). Der Computer Snarc war eine Konstruktion aus Motoren, Röhren und Kupplungen. Das Netz simulierte die Situation einer Ratte, die in einem Irrgarten den Weg zum Futter finden sollte.

In den Sechzigerjahren entwickelte Joseph Weizenbaum mit Eliza den Vorläufer aller Chatbots, also automatischen Chatpartnern. Mit Eliza wollte er zeigen, wie sich die menschliche Sprache formalisieren und digital verarbeiten lässt. Über Skripte können verschiedene Gesprächspartner simuliert werden. Am bekanntesten machte Eliza die Simulation eines Psychotherapeuten.

Zu den Erfolgen der Siebzigerjahre zählt unter anderem das Expertenprogramm Mycin, das der kanadische Mathematiker Edward H. Shortliffe entwickelt hat. Die Software wurde zur Diagnose und Therapie von Infektionskrankheiten durch Antibiotika eingesetzt. Mycin erreichte sehr hohe Trefferquoten bei der Diagnose, war aber nur bei fest eingegrenzten Parametern erfolgreich.

In den Achtziger- und Neunzigerjahren wurden wichtige KI-Verfahren entwickelt, allerdings stießen viele Forscher durch die verfügbare Hardware an ihre Grenzen. Erst als die Computer leistungsfähiger wurden, gab es merkliche Fortschritte. 1997 war KI zeitweise ein Mainstream-Thema, als IBMs Schachcomputer Deep Blue den damaligen Schachweltmeister Garri Kasparow besiegte.

Insgesamt war das Interesse an KI aber geringer als heute: Experten wie der Informatiker Jürgen Schmidhuber nutzen Begriff wie "Winter der neuronalen Netzwerke" oder "KI-Winter", wenn sie etwa über die Neunzigerjahre sprechen. Wichtige Fortschritte gab es auch damals: So stellte etwa der deutsche Forscher Schmidhuber selber mit seinem Kollegen Sepp Hochreiter in einer Veröffentlichung sogenannte Long-Short-Term-Memory-Netze (LSTM-Netze) vor, die in den kommenden Jahren im Bereich der Spracherkennung an Bedeutung gewinnen sollten. Die Arbeiten seiner Forscherteams revolutionierten bereits Handschrifterkennung, Spracherkennung, maschinelle Übersetzung und automatische Bildbeschreibung, können heute beispielsweise bei der Krebsfrüherkennung helfen.

2005 machte KI dann wieder weltweit Schlagzeilen, weil in diesem Jahr bei der sogenannten Darpa-Challenge erstmals Autos autonom rund 213 Kilometer weit fuhren. Im Jahr zuvor war es noch keinem Auto gelungen, den Kurs erfolgreich zu absolvieren.

2011 schlug IBMs Computerprogramm Watson die bis dahin erfolgreichsten Spieler im Quiz "Jeopardy!", bei dem die richtigen Fragen zu vorgegebenen Antworten gefunden werden müssen. 2016 besiegte eine KI des zu Google gehörenden Unternehmens DeepMind im direkten Duell Lee Sedol, einen der weltbesten Go-Spieler. Das asiatische Brettspiel gilt als extrem komplex.

6. Was ist der Turing-Test? Und wurde er schon mal bestanden?

Der sogenannte Turing-Test stammt aus dem Jahr 1950 und wird eingesetzt, um zu überprüfen, ob eine Maschine das Denkvermögen eines Menschen hat. Für den Test chattet eine Versuchsperson mit einem Menschen und mit einem Computer. Dann muss sie entscheiden: Welcher Gesprächspartner ist der Mensch und welcher die Maschine?

Der Erfinder des Tests, der britische Mathematiker Alan Turing, sah den Test für eine Maschine als bestanden, wenn mindestens 30 Prozent der Versuchspersonen sie für einen Menschen hielten.

Ob schon eine Maschine den Turing-Test geknackt hat, ist umstritten. So konnte das russische Programm "Eugene Goostman" 2014 zwar in 33 Prozent der Fälle seine Tester täuschen. "Eugene" habe dennoch keine menschliche Intelligenz bewiesen, sagten Kritiker damals. Das Skript habe in einer knapp bemessenen Testzeit von zweieinhalb Minuten vielmehr seine Beschränkungen geschickt verschleiert: Durch die Behauptung, Englisch sei nicht seine Muttersprache, habe "Eugene" von Fehlern abgelenkt. Ähnliche Vorwürfe gab es auch schon im Fall von Eliza (siehe Frage 5) in den Sechzigerjahren.

Viele Forscher favorisieren mittlerweile neue Testkriterien, die stärker prüfen, wie tief das Verständnis einer Situation reicht. Zum Beispiel könnten Anwärter über ein gezeigtes YouTube-Video oder eine Serie sprechen. "Warum ist diese Szene mit Bart Simpson lustig?" etwa wäre eine Frage, die für einen Computer schwerer zu beantworten ist als "Erzähl mir von deinem Beruf".

Auch Internetnutzer können einem von Turing inspirierten Test täglich im Netz begegnen: Um Spam-Programme abzuwehren, werden Nutzer auf vielen Seiten aufgefordert, eine angezeigte Buchstaben- oder Ziffernkombination einzugeben. So sollen sie beweisen, dass sie ein echter menschlicher Nutzer sind. Die Abkürzung für das Verfahren, CAPTCHA, leitet sich vom Turing-Test ab und steht für "completely automated public Turing test to tell computers and humans apart".

7. Welche Beispiele für KI gibt es heute im Alltag?

Lange wurden Schachcomputer als typisches Beispiel für KI im Alltag herangezogen - dabei wird längst in vielen Branchen weiter entwickelte KI eingesetzt. Die Leistung von Schachcomputern besteht prinzipiell darin, alle anhand einer bestimmten Ausgangsposition möglichen Züge theoretisch durchzuspielen und deren Erfolgsaussichten zu bewerten. Je mehr Rechenleistung man solchen Computern zur Verfügung stellt, desto größer sind auch ihre Chancen, das Spiel gegen einen Menschen zu gewinnen.

Mittlerweile stößt man aber schon beim Surfen im Web regelmäßig auf vermeintlich intelligentere Anwendungen. Google beispielsweise nutzt KI in seiner Übersetzungsmaschine Translate. Bisher haben solche Angebote Sätze zuerst in ihre Bestandteile zerlegt und dann Wort für Wort übersetzt. Das Ergebnis waren oft Satzkonstruktionen, die so hölzern und teils grammatikalisch unsinnig waren, dass man die maschinelle Übersetzung sofort erkannte.

Das neue System dagegen analysiert die Sätze der Ursprungssprache komplett auf ihren Inhalt hin und erzeugt dadurch auch in der Zielsprache meist einen korrekten, menschlich klingenden Satzbau.

Auch hinter digitalen Assistenten wie Siri, Cortana und dem Google Assistant steckt KI. Zum einen wird schon die Spracherkennung solcher Funktionen von einer KI durchgeführt. Zum anderen bemüht sich die KI dieser Systeme, die an sie gerichteten Anfragen zu interpretieren und statt der immer gleichen Ergebnisse auf den Nutzer und seine Situation abgestimmte Informationen zu liefern.

Praktisch klappt das etwa, indem die Frage nach dem Wetter nicht einfach mit Temperatur und Niederschlagsdaten beantwortet wird, sondern auch mit dem Hinweis, man solle einen Regenschirm mitnehmen. Nach demselben Prinzip funktionieren auch Gadgets wie Amazons und Googles interaktive Lautsprecher Echo und Home.

Eine derzeit besonders beliebte KI-Anwendung sind sogenannte Chatbots. Dabei handelt es sich um Software, die innerhalb von Chat-Programmen agiert und einen menschlichen Berater simuliert. Der erste bekannte Chatbot war das 1966 von dem Informatiker und Gesellschaftskritiker Joseph Weizenbaum entwickelte Programm Eliza (siehe Frage 5). Bei der Software merkte man aber schon nach wenigen Sätzen, dass sie nicht wirklich versteht, was man schreibt, sondern die Sätze nur nach bekannten Begriffen durchsucht und auf diese mit den immer gleichen Antworten reagiert.

Moderne Chatbots sind da weit flexibler. In den USA kann man via Chat Pizzabestellungen für einen Lieferservice aufgeben. Die Software fragt den Kunden im Gespräch nach Sonderwünschen und bietet Extras an, die man mitbestellen kann. Andere Chatbots erstellen zusammen mit dem Nutzer Playlisten, die zu dessen Stimmung und Geschmack passen oder suchen bei Netflix nach passenden Filmen und Serien.

8. In welchen Forschungsfeldern gibt es Fortschritte?

Die KI-Forschung macht gerade in vielen Bereichen große Fortschritte. Dafür gibt es mehrere Gründe, die sich gegenseitig verstärken. So nimmt etwa die Rechengeschwindigkeit von Computern zu. Nachvollziehen kann man das schon daran, dass heute die meisten Menschen Computer in Form von Smartphones mit sich herumtragen, die vor einigen Jahrzehnten als Supercomputer gegolten hätten. Zudem sind die Speicherkapazitäten gewachsen, Speicher ist billiger geworden und die Algorithmen sind besser geworden.

Außerdem gibt es heute viel mehr Daten, mit denen sich KIs trainieren und so verbessern lassen. Lernende Maschinen etwa können die Masse der Fotos und Informationen im Internet als Wissensquelle anzapfen. Hier haben besonders Internetfirmen wie Google und Facebook den Vorteil, allein wegen ihrer Webdienste und ihres Geschäftsmodells riesige Datenmengen zu horten.

Will man zeigen, welche Sprünge KI im Moment macht, lohnt ein Blick auf die Firma DeepMind, die mittlerweile zu Google gehört. Einer KI von DeepMind, hinter der ein künstliches neuronales Netzwerk (siehe Frage 10) steckt, gelang es 2016, einen der weltbesten "Go"-Spieler zu besiegen - ein Erfolg, der noch vor Jahren als sehr unwahrscheinlich galt.

Bald will sich DeepMind mit seiner KI an " StarCraft II ", einem Echtzeitstrategiespiel, versuchen. Spiele sind bei KI-Forschern seit jeher beliebt: Einerseits, weil sie feste Regeln haben, anderseits mit Blick aufs Marketing, weil sich im Spielekontext viele Leute für das Thema KI begeistern lassen.

Voran geht es momentan auch bei der Sprach- oder Bilderkennung, wo schon jetzt Millionen Menschen mit KI in Berührung kommen, etwa bei Google-Produkten. Mittlerweile arbeiten Tech-Firmen wie Google, aber auch Autobauer wie Mercedes und Tesla an der Technologie für selbstfahrende Autos. Einige Prototypen sind auch schon auf der Straße ausprobiert worden. Stand der Technik sind bislang aber eher teilautonome als komplett selbstständig fahrende Autos.

Facebooks Technikchef Mike Schroepfer sagte auf einer Konferenz im November 2016 allerdings, KI habe trotz großer Fortschritte in jüngster Zeit noch einen weiten Weg vor sich. So könne lernende Software etwa bei der Bilderkennung erfassen, wenn eine Giraffe neben einem Baum steht, jedoch nicht die Frage beantworten, ob die Pizza auf einem Foto vegetarisch ist. "Nach menschlichen Maßstäben wird es noch lange dauern, bis künstliche Intelligenz wirklich nützlich sein wird", meint Schroepfer.

9. Was steckt technisch hinter einer KI?

Virtuelle Assistenten wie Siri und Cortana erwecken den Eindruck, dass die vermeintliche Intelligenz im Smartphone oder Laptop steckt. Dass das keineswegs so ist, merkt man spätestens, wenn die Internetanbindung ausfällt. Tatsächlich nämlich schicken die Programme meistens lediglich kleine Datenpakete an die Rechenzentren der jeweiligen Betreiber.

Erst dort werden die Anfragen von Servern mit gewaltiger Rechenleistung und ebenso gewaltigem Speicherplatz bearbeitet. Oft kommen dabei anstelle von Serverprozessoren spezielle Grafikkarten zum Einsatz, weil deren Prozessoren bei bestimmten Aufgaben deutlich leistungsfähiger sind.

Google hat speziell für KI einen neuen Typ Computerprozessor, die Tensor Processing Unit (TPU), entwickelt, der nach einer mathematischen Funktion benannt wurde. TPUs können wie Festplatten in Server eingesteckt werden. So lässt sich die Rechenleistung einfach und schnell erweitern oder anpassen. Vor allem aber liefern TPUs bei KI-Anwendungen eine Leistung, die um ein Vielfaches höher ist als bei herkömmlichen Prozessoren. Das liegt laut Google daran, dass die Chips bei KI-Berechnungen weniger Transistoren benötigen, und deshalb schneller sind.

Es ist zu erwarten, dass derartige Chips künftig eine immer wichtigere Rolle bei der Entwicklung von KI haben werden, schon aus Kostengründen. Der Aufbau von Rechenzentren mit herkömmlicher Hardware erfordert beträchtliche Investitionen und steht aufgrund des enormen Stromverbrauchs auch mit gewaltigen Kosten in den Jahresbilanzen der Konzerne. Jede Möglichkeit, die Kosten für KI zu reduzieren wird daher gerne angenommen. Google etwa überlässt die Steuerung der Kühlsysteme seiner Rechenzentren bereits einer KI selbst und konnte die Energiekosten der Kühlung so um 40 Prozent senken.

Mit Blick in die Zukunft hoffen Forscher vor allem auf sogenannte Quantencomputer, die unter bestimmten Bedingungen wohl viel schneller arbeiten können als bisherige Rechner. Die Grundlage für Quantencomputer bilden sogenannte Qubits. Ihr Name leitet sich von Quanten-Bits ab: Sie können Zustände annehmen, die einer Mischung aus "an" und "aus" entsprechen. Wenn nun mehrere Qubits auch noch miteinander verschränkt werden, lässt sich damit schnell eine unglaublich hohe Zahl von Werten gleichzeitig messen - und damit theoretisch viel komplexere Probleme lösen als heute selbst mit den größten Supercomputern.

Nasa- und Google-Forscher wie der Deutsche Harmut Neven hatten Ende 2015 bekannt gegeben, den Beweis dafür liefern zu können, dass Quantencomputer funktionieren. Die Wissenschaftler träumen mittlerweile zum Beispiel von Flugzeugen, die keinen menschlichen Piloten mehr brauchen, oder von klugen Maschinen, die etwa neuartige Batterien konstruieren, mit einer hundertmal längeren Laufzeit.

10. Was sind künstliche neuronale Netzwerke?

Als künstliches neuronales Netz bezeichnet man ein Programm, das die Funktionsweise eines Gehirns nachahmt. Ursprünglich stammt der Begriff aus den Neurowissenschaften. Dort sind Verknüpfungen von Nervenzellen, Neuronen genannt, gemeint. Sie verarbeiten im Gehirn und dem Rückenmark Informationen. Vereinfacht gesagt dienen sie dem Lernen und Erinnern.

Typische Anwendungsbereiche für künstliche neuronale Netze sind automatische Sprachübersetzungen, Bildanalysen und Dinge wie Sprach- und Schrifterkennung.

Und so funktionieren sie: Grob gesagt werden Informationen auf der einen Seite eingegeben (Input), verrechnet, und als Ergebnis (Output) auf der anderen Seite wieder ausgegeben. Das Innenleben des Netzwerks besteht aus zwei oder mehr Schichten. In jeder Schicht stecken Knotenpunkte. In der Regel ist jeder dieser Knoten mit allen Knoten der nächsten Schicht verbunden.

Wird ein Knoten in einer niedrigen Schicht aktiviert, reicht er diese Aktivierung an die Knoten der nächsthöheren Schicht weiter. Die Verbindungen werden dabei unterschiedlich gewichtet. Man kann sie sich als unterschiedlich dick vorstellen. Je dicker die Verbindung, desto stärker die Aktivierung, die am nächsten Knoten ankommt.

Belehrt wird so ein Netzwerk gewissermaßen rückwärts, nach dem Trial-and-Error-Prinzip. Wenn die Output-Schicht nicht das gewünschte Ergebnis produziert, werden die Gewichtungen der Verbindungen mithilfe eines mathematischen Mechanismus Schicht für Schicht angepasst. Das Ziel ist, dass das Ergebnis beim nächsten Mal besser zum tatsächlichen Input passt. Mit vielen Durchgängen können die Netze so lernen, Inputs korrekt mit Outputs zu verknüpfen.

11. Was ist Deep Learning?

Deep Learning ist ein Unterbereich des "Maschinellen Lernens". Dieser Begriff meint Verfahren, bei denen Computer sich selbst, durch Erfahrungen, Wissen aneignen.

Viele aktuelle Entwicklungen im Bereich KI stehen mit der Deep-Learning-Technik in Verbindung. Mit steigender Rechenleistung und immer mehr Daten als Lernmaterial wurde dieses Verfahren aus den Achtzigerjahren wieder interessant - und bringt plötzlich erstaunliche Ergebnisse hervor.

Dem Deep Learning liegt die Idee zugrunde, das menschliche Nervensystem nachzubilden, und ähnlich wie ein menschliches Gehirn aus Daten zu lernen.

Der Lernprozess gleicht dem kleiner Kinder, die sich die Welt durch Ausprobieren und Abgleich der Ergebnisse erschließen.

Die sogenannten neuronalen Netzwerke verarbeiten Informationen in Schichten von Knotenpunkten. Beim Deep Learning, dem "tiefen Lernen", sind sehr viele solcher hierarchisch geordneten Netzwerk-Schichten vorhanden. Weil Computer immer leistungsfähiger werden, ist es überhaupt erst möglich, mehr als zwei oder drei Merkmalsschichten zu berechnen.

Statt dem System Lernschritte vorzuschreiben, können die tiefen Neuronen mit Hilfe eines Algorithmus darauf trainiert werden, eigenständig Merkmale und Muster zu erkennen. Dazu sind viele Durchgänge und viele Daten als Trainingsmaterial nötig.

Eines der wichtigsten Einsatzgebiete für Deep Learning ist aktuell das Erkennen von Dingen auf Bildern. Mit Deep Learning lassen sich zum Beispiel aus Millionen von Bilddateien diejenigen identifizieren, auf denen eine Katze oder ein Haus oder ein Hund zu sehen ist.

Dabei identifiziert das System zunächst beispielsweise Bildkontraste, dann Kanten, dann aus diesen Kanten zusammengesetzte Formen, wie etwa einen Katzenschwanz. Darauf aufbauend erkennt es Formkombinationen: Katzenschwanz plus Rumpf plus Kopf plus Beine macht zum Beispiel eine ganze Katze. Je höher die Schicht, desto komplexere Merkmale werden verwendet, um den Inhalt des Bildes zu erkennen.

Da Katzen auf Fotos aber nicht immer gleich aussehen, braucht man für ein Deep-Learning-Verfahren viele verschiedene Katzenfotos. Nur so lässt sich dem System beibringen, was alles als Katze interpretiert werden kann - und wo Bildinformationen anfangs noch falsch interpretiert wurden. Eine Lernerkenntnis könnte lauten: "Ein Tiger ist größer als eine Katze".

12. Was ist Technologische Singularität?

Ein wichtiges Stichwort, wenn es um die Chancen und Risiken von KI geht, ist Technologische Singularität, ein Begriff aus der Zukunftsforschung. Damit wird ein Zeitpunkt gemeint, von dem an sich Maschinen per KI selbst verbessern können - was den Fortschritt auf dem Feld und seine Folgen für die Menschheit von da an kaum mehr vorhersehbar macht. Es ist allerdings umstritten, ob, wann und wie Singularität erreicht werden kann.

Der Mathematiker Vernor Vinge hatte 1993 in seinem viel zitierten Artikel "The Coming Technological Singularity" prognostiziert, dass "wir innerhalb von 30 Jahren über die technologischen Mittel verfügen werden, um übermenschliche Intelligenz zu schaffen. Wenig später ist die Ära der Menschen beendet."

Ray Kurzweil, KI-Experte und Leiter der technischen Entwicklung bei Google, schätzte 2006 in "The Singularity is near", dass Technologische Singularität im Jahr 2045 erreicht werde.

In einem Interview sagte Kurzweil 2016, dramatische Veränderungen werde es schon eher geben. So glaubt er, dass Computer ab 2029 den Turing-Test (siehe Frage 6) bestehen werden, was bedeuten würde, dass sie sich in Unterhaltungen nicht von menschlicher Intelligenz unterscheiden lassen.

13. Welche Unternehmen arbeiten mit KI?

Praktisch alle großen Tech-Konzerne setzen sich mit dem Thema KI auseinander - zum Teil sogar gemeinsam. Im September 2016 schlossen sich die fünf Unternehmen Google, Facebook, Amazon, IBM und Microsoft zu einer Allianz zusammen, um ihre Kräfte bei der Erforschung von KI zu bündeln. Ziel ist es, die öffentliche Meinung gegenüber KI positiv zu beeinflussen und Standards für künftige Forschung zu entwickeln.

Neben der Forschungsgemeinschaft sind auch Apple und das von Tesla-Chef Elon Musk geförderte unabhängige Forschungslabor Open AI stark in der KI-Forschung engagiert. Open AI gilt mit einer Finanzierung von einer Milliarde Dollar als eines der bestgeförderten unabhängigen Forschungslabors auf diesem Gebiet.

Oft verstärken die großen Konzerne ihre KI-Kompetenz durch Zukäufe.

Im Oktober 2015 etwa übernahm Apple mit dem britischen Vocal-IQ ein Start-up, das auf natürliche Spracherkennung spezialisiert ist, und mit Perceptio einen Bilderkennungs-Spezialisten. Im August 2016 legte sich der Konzern dann Turi zu, ein Start-up, dessen Software unter anderem darauf spezialisiert ist, Muster in Nutzungsdaten von Kunden zu finden und Betrugsversuche aufzudecken.

Google wiederum kaufte im Januar 2014 das britische Unternehmen DeepMind, für geschätzte 500 Millionen Dollar. Das Unternehmen steckt unter anderem hinter der Go-Software AlphaGo. 2013 hatte Google bereits den Robotik-Spezialisten Boston Dynamics übernommen. Bekannt geworden ist die aus dem Massachusetts Institute of Technology (MIT) hervorgegangene Firma vor allem durch seine zwei- und vierbeinigen Laufroboter, darunter der sich wie ein Gepard bewegende Cheetah, und Militärroboter.

Microsoft kaufte im Februar 2016 das britische Unternehmen Swiftkey, das hinter der bekannten Tastatur-App steckt. Das Programm schlägt dem Nutzer während der Eingabe Wörter vor, um den Text zu ergänzen. Im März 2016 machte Microsoft dann mit dem Test eines Chatbots namens Tay die Erfahrung, dass es nicht immer eine gute Idee ist, wenn die Öffentlichkeit die Rolle des Lehrmeisters übernimmt. Innerhalb weniger Stunden antwortete der auf Nutzer reagierende Chatbot auf Twitter mit rassistischen und sexistischen Sprüchen. Microsoft nahm Tay daraufhin vom Netz.

Verstärkt mit KI beschäftigen wollen sich auch nicht-amerikanische Konzerne. Das südkoreanische Unternehmen Samsung hat erst im Oktober 2016 den auf digitale Assistenten spezialisierten KI-Entwickler Viv übernommen. Dabei handelt es sich um die Nachfolgefirma der Erfinder von Siri. Im Gegensatz zu Apples Assistenten Siri kann das neue Produkt von Viv auch komplexe mehrschichtige Fragen beantworten.

In China gehören derweil die Internetunternehmen Tencent und Alibaba zu den Vorreitern in der KI-Forschung, sie profitieren dabei von ihren riesigen Datenmengen.

Und auch Autohersteller wie Volkswagen und BMW umtreibt das Thema KI, vor allem mit Blick auf selbstfahrende Autos: Beide Unternehmen sind am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) beteiligt.

Start-ups, die oft aus dem wissenschaftlichen Umfeld von Universitäten und Forschungseinrichtungen hervorgehen, haben im Bereich KI gute Chancen auf sich aufmerksam machen. Ihnen zugute kommt die Tatsache, dass große Konzerne ihre KI-Dienste wie Spracherkennung, Bild- und Sprachanalyse sowie Daten frei verfügbar machen. Start-ups können die Anwendungen so kombinieren und neue Produkte und Dienste entwickeln. Die großen Unternehmen wiederum profitieren von neuen Daten, die durch die Anwendungen generiert werden.

14. Was erhoffen sich Enthusiasten und Optimisten von KI?

Was für manche Arbeitnehmer der größte Albtraum ist, ist für viele Entwickler eine schöne Zukunftsvision: KI, die Menschen sämtliche Aufgaben abnehmen kann, etwa im Dienstleistungsbereich. Wieso sollte jemand noch Telefon-Support machen, wenn auch eine KI - etwa in Form eines Chatbots - alle Antworten parat hat? Wieso sollten Menschen noch in einem Warenlager arbeiten, wenn Roboter die Pakete transportieren könnten? Und weshalb sollten Fahrer Ware ausfahren, die anders als Maschinen Ruhezeiten brauchen?

Zunächst zielen Forscher darauf, vermeintlich simple Jobs überflüssig werden zu lassen, in denen eine Software schneller und verlässlicher arbeitet. Mit ähnlichen Argumenten wird auch für selbstfahrende Autos geworben: Sie nehmen Menschen (vermeintlich) undankbare Aufgaben ab und geben ihnen (theoretisch) mehr Zeit für andere Dinge. Und eine KI mag zwar auch den ein oder anderen Unfall verursachen, allerdings ist ihre Fehlerquote deutlich geringer als bei Menschen.

Ein Gremium aus über 20 Experten kam in einer Studie der Stanford University im Sommer 2016 auch zu dem Schluss, dass das Verkehrswesen der erste Bereich sein wird, in der die Menschen der Sicherheit und Zuverlässigkeit eines KI-Systems vertrauen werden müssen.

Große Umwälzungen halten die Forscher aber auch im Bereich Gesundheitswesen für möglich. So könnte Software die Aufgabe von Ärzte übernehmen, sich Beschreibungen der Patienten-Symptome anzuhören und sie mit bekannten Krankheiten zu vergleichen. Die Ärzte würden dann nicht mehr selbst diagnostizieren, sondern vielmehr ihre automatisierten Helfer bei der Diagnose überwachen und ihre eigene Erfahrung und Intuition einbringen.

Konkrete Aufgaben, in denen KI dem Menschen überlegen ist, gibt es mittlerweile einige: vom Maschinenwarten bis zum Erkennen von Verkehrsschildern: Wissenschaftler aus London und Sheffield haben sogar einen Algorithmus geschrieben, mit dem versucht wird, Gerichtsurteile vorauszusagen : "Wir sehen nicht, dass KI Richter oder Anwälte ersetzen würde", sagte einer der Forscher dem "Telegraph". Man glaube aber, dass Richter und Anwälte die KI nützlich finden könnten, weil sie schnell Muster in Fällen erkennt, die zu bestimmten Ausgängen des Verfahrens führen."

Geht man über das hinaus, woran KI-Forscher bereits konkret arbeiten, scheint das große Ziel die Erschaffung einer Superintelligenz beziehungsweise einer General-KI, die nicht nur Fachidiot ist.

Enthusiasten unterstützen KI aber natürlich nicht nur, um Menschen den Alltag zu erleichtern - sie erhoffen sich durch Technologie auch Einnahmen oder Ersparnisse. Eine Studie der Bank of America Merrill Lynch von Ende 2015 etwa prognostiziert, bis 2020 würden KI und Robotik gemeinsam mehr als 150 Milliarden Dollar Umsatz pro Jahr generieren.

Die Folgen für etablierte Branchen aber schätzen die Analysten noch weit gravierender ein: Jährlich 14 bis 33 Billionen Dollar Kosten könnten die neuen Technologien durch "kreative Disruption" einsparen helfen, also durch Innovationen, die ein bestehendes Produkt oder eine bestehende Dienstleistung vollständig verdrängen.

15. Was wird an KI kritisiert - und ist Angst vor KI berechtigt?

Durch KI könnte das Ende der Menschheit eingeleitet werden - diese Sorge äußert niemand Geringeres als der britische Astrophysiker Stephen Hawking. Er zählt zu den größten KI-Kritikern und warnt schon lange vor unvorhersehbaren Konsequenzen der Forschung auf diesem Gebiet.

So fürchtet Hawking, dass Maschinen irgendwann die Kontrolle übernehmen könnten. "Da der Mensch durch langsame biologische Evolution beschränkt ist, könnte er nicht konkurrieren und würde verdrängt werden", sagte er einmal der "Financial Times". Schon heute sei etwa zu beobachten, dass Maschinen zunehmend die Menschen vom Arbeitsmarkt verdrängten.

Auch Tesla-Chef Elon Musk - der interessanterweise selbst viel Geld in KI investiert - warnte bereits vor Robotern, die den Menschen auslöschen könnten. Es bestehe das Risiko, dass binnen fünf Jahren etwas ernsthaft Gefährliches passiere, schrieb Musk 2014 in einem Beitrag auf Edge.org, der schnell wieder gelöscht wurde.

Mitte 2015 veröffentlichten Hunderte KI-Forscher, Wissenschaftler und Entwickler, darunter Hawking und Musk, aber etwa auch der Schriftsteller Daniel Suarez ("Daemon"), einen Brief, in welchem sie ein "Verbot offensiver, autonomer Waffensysteme ohne ernstzunehmende menschliche Kontrolle" fordern. "KI-Technologie hat einen Punkt erreicht, an dem der Einsatz autonomer Waffensysteme - praktisch, wenn auch nicht rechtlich - innerhalb von Jahren, nicht von Jahrzehnten, möglich ist", heißt es in dem Schreiben, "und die Risiken sind hoch: Autonome Waffen sind als die dritte Revolution der Kriegführung nach Schießpulver und Nuklearwaffen beschrieben worden."

Zusammengetrommelt hatte die Mahner das sogenannte Future of Life Institute (FLI) eine Forschungs- und Lobbyorganisation mit dem Ziel, vor den Gefahren unkontrollierter künstlicher Intelligenz zu warnen. Das FLI hatte, auch damals unterstützt von Musk und Hawking, zuvor schon einmal einen offenen Brief initiiert, in dem unter anderem vor autonomen Waffensystemen gewarnt wird.

Auch der schwedische Philosoph Nick Bostrom macht sich Sorgen um die Zukunft: In seinem Buch "Superintelligenz: Szenarien einer kommenden Revolution" mahnt er, dass KIs eine Gefahr sein könnten, die jede bisherige Bedrohung durch Technologie, wie etwa Atomwaffen, in den Schatten stellen. Eine zu schnelle Entwicklung in diese Richtung könnte in einer "Intelligenzexplosion" münden, in der Maschinen fähig wären, sich selbst mittels KI rasant zu verbessern (siehe Frage 12). Der Mensch würde so die Kontrolle über die Technik verlieren, glaubt Bostrom, drohen könnte das Ende der Menschheit.

Die Medizinethikerin Christiane Woopen dagegen befürchtet, dass der Fortschritt von KI eher zu neuen Abhängigkeiten führen könnte - etwa im Bereich der Pflege, bei der Arbeit oder im Verkehr. Pflegeroboter oder auch autonome Fahrzeuge würden die Menschen zu überwachten Objekten technischer Systeme oder machtvoller Monopole machen. Der Mensch würde in der Folge womöglich seine Privatheit und Selbstbestimmung verlieren.

Manfred Hild, Professor an der an der Beuth Hochschule für Technik Berlin, sieht die Gefahren nicht so sehr in Kampfmaschinen allein, sondern mehr darin, dass sich Konzerne, Staaten und Regierungen der Computer-Techniken zu eigenen, auch aggressiven Zwecken bedienen - egal ob mit Robotern, Cyborgs und oder anderen Formen.

Noch bleibt nach seiner Prognose jedoch Zeit bis zum Zusammentreffen mit den Maschinen-Menschen: "Ich glaube, dass wir in den nächsten 200 Jahren immer werden sagen können, ob da ein Roboter oder ein echter Mensch vor uns steht", sagt Hild.

Aber muss die Menschheit wirklich besorgt sein? 2016 ist auch ein Gremium aus über 20 Experten für die Stanford University der Frage nachgegangen, wie KI unseren Alltag verändert. In ihrer Studie hieß es schließlich: "Im Gegensatz zu den aus Massenmedien bekannten, fantasievollen Prognosen, sieht unser Gremium keinen Grund zur Sorge, dass die KI eine unmittelbare Bedrohung für die Menschheit darstellt."

Die Forscher kamen in ihrer Studie allerdings auch zu dem Schluss, dass sich die Arbeitswelt durch KI verändern wird. Ob der Einfluss positiv oder negativ sein werde, sei schwer einzuschätzen, heißt es. Die Veränderungen würden aber wohl dazu führen, dass viele Menschen ihren Lebensunterhalt nicht mehr allein mit ihrer Arbeit bestreiten könnten.

Sorge bereitet den Forschern - wie vielen Bürgerrechtlern - die Anwendung von KI im Polizeibereich. So könnten manche Menschen durch Technik zu Unrecht ins Fadenkreuz der Behörden geraten, heißt es. Auch müsse man dafür sorgen, dass Vorurteile durch die Algorithmen nicht systematisiert werden. Aktuell versucht unter anderem der Google-Forscher Moritz Hardt einen Test zu erarbeiten, der ausschließt, dass KI-Entscheidungen durch Vorurteile verändert werden, etwa mit Blick auf Geschlechter oder Ethnien.

16. Kann KI schlauer sein als Menschen? Kann sie einen eigenen Willen haben?

Die Angst des Menschen sitzt tief, dass die Maschinen, die er baut, ihn irgendwann einmal überflügeln - und dass sie ihre Intelligenz dafür einsetzen, eigene Ziele zu verfolgen. Der Science-Fiction-Autor Philip K. Dick etwa erschuf mit seinem Roman "Träumen Androiden von elektrischen Schafen?" eine Welt, in der Roboter sich kaum noch von Menschen unterscheiden lassen und eigenständig handeln. Das Buch war die Vorlage für den Spielfilm "Blade Runner".

Auch Michael Crichtons 1973 ins Kino gekommener und 2016 als TV-Serie verfilmter Sciene-Fiction-Epos "Westworld" handelt von menschenähnlichen Robotern. Diese dienen allerdings der Unterhaltung, indem sie es Menschen in einem Freizeitpark ermöglichen, ihre Fantasien auszuleben.

Im Film "Matrix" haben die Menschen den Krieg gegen die von ihnen erschaffenen Maschinen längst verloren. Und auch in "Ex Machina" begibt sich ein vom Menschen als treuer Helfer gedachte KI auf selbst erdachte Abwege.

Herbert Simon von der Carnegie Mellon University behauptete im Jahr 1965: "Maschinen werden innerhalb von 20 Jahren alles können, was Menschen auch können." Das allerdings hat sich bis heute nicht bewahrheitet. Die prinzipielle Frage, wie intelligent, wie menschlich Maschinen werden können, wird weiter von Philosophen und Wissenschaftlern weltweit kontrovers diskutiert.

Wer über intelligente autonome Technik nachdenkt, muss sich vor allem fragen: Was macht eigentlich einen Menschen und seine Intelligenz aus? Der menschliche Geist werde bestimmt von Fähigkeiten wie Introspektion und Kreativität, meint etwa der Informatiker David Gelernter. Die könne eine Maschine nur simulieren, meint er. Auch wenn Programme aus ausreichend viel Datenmaterial zum Beispiel eigene Geschichten oder sogar Drehbücher schreiben können: Ein neuer Shakespeare in Computerform entstünde so noch nicht, glaubt Gelernter. Ein Mensch könne sich auch von Regeln frei machen und Neues erschaffen.

Doch es gibt auch Experten, die den Maschinen mehr zutrauen. Jürgen Schmidhuber, der Wissenschaftliche Direktor des Schweizer Künstliche-Intelligenz-Instituts IDSIA, etwa sagte Anfang 2016: "In naher Zukunft werden wir kleine Maschinen haben, deren Fähigkeiten denen eines menschlichen Gehirns entsprechen." Einige Zeit später dann gäbe es dann Maschinen mit der Rechenkraft "aller menschlichen Gehirne zusammen". Das werde "die gesamte menschliche Zivilisation grundlegend verändern".

17. Wieso gibt es KIs mit Persönlichkeiten – und was macht das mit uns?

In einer berühmten Filmszene aus "Cast Away" riskiert Tom Hanks als Schiffbrüchiger sein Leben, um seinen geliebten Volleyball "Wilson" zu retten. Er scheitert und entschuldigt sich tränenreich.

Auch Menschen, die nicht jahrelang auf einer einsamen Insel festsaßen, tendieren dazu, Dingen in ihrer Umgebung menschliche Züge zuzuschreiben. Anthropomorphismus heißt dieses Phänomen. Auch gegenüber Robotern und Code-Zeilen zeigen Menschen dieses Verhalten. Dabei muss der Roboter nicht einmal einem Menschen nachempfunden sein, zeigt eine viel zitierte Anekdote, in der ein Oberst der US-Armee einst das Experiment mit einem Minensuchroboter stoppte. Die Idee war, dass das insektengleiche Gerät die Minen auslöst, indem es auf sie tritt. Trotz Verlusten von Gliedmaßen bewegte sich der Roboter auf dem Testgelände in Arizona hinkend weiter vorwärts. Der Oberst aber konnte den Anblick des verkrüppelten Roboters nicht ertragen, er hatte Mitleid.

Die Frage, wie wir Menschen uns gegenüber KI-gesteuerten Gegenständen verhalten, wird immer relevanter, denn im Alltag gibt es immer mehr von ihnen. Die International Federation of Robotics (IFR) etwa prognostiziert, dass im Zeitraum von 2016 bis 2019 etwa 42 Millionen Service-Roboter weltweit für rund 22 Milliarden Dollar verkauft werden. Viele davon dürften mit einer - aktuell noch recht rudimentären - KI funktionieren.

Die Zuschreibung von menschlichen Eigenschaften dürfte vielen Nutzern künftig leichter fallen, wenn sie dank technischer Fortschritte noch eher das Gefühl hätten, mit einem tatsächlich intelligenten Gegenüber zu kommunizieren. Digitale Sprachassistenten wie Siri von Apple oder Cortana von Microsoft sind extra schon so gebaut, dass Nutzer im Dialog mit der Software menschliche Züge zu erkennen meinen. Und der Science-Fiction-Film "Her" zeigt, wie sehr eine Art Super-Siri Menschen in ihren Bann ziehen könnte - so sehr, dass sich in die Stimme im Ohr verlieben.

Bei Microsoft war Ingenieurin Susan Hendrich dafür verantwortlich, Cortana eine Persönlichkeit zu verpassen. Sie interviewte Assistenten von Prominenten und definierte Cortana als "kompetente, fürsorgliche, selbstbewusste und loyale" Persönlichkeit, die aber nicht herrisch daherkommt. "Sie kann richtig witzig und neckisch bei ihren Antworten sein", beschreibt Hendrich Cortanas Persönlichkeit.

Und auch wenn Siri oder Cortana oder Alexa von Amazon noch längst nicht auf jede Frage eine kluge Antwort haben: Sprichwörtlich roboterhafte Aussagen wollen die großen Tech-Firmen bei ihren KIs vermeiden - und sie werden darin immer besser.

Autoren: Andreas Albert, Markus Böhm, Anna Gröhn, Angela Gruber, Matthias Kremp

Dokumentation: Peter Wetter, Almut Cieschinger und Claudia Niesen

Produktion: Guido Grigat

Layout: Katja Braun, Hanz Sayami

Programmierung: Guido Grigat, Frank Kalinowski, Chris Kurt


Hier finden Sie alle bisher veröffentlichten Folgen von Endlich verständlich: Brexit, Erdöl, Fifa, Finanzkrise in Griechenland, Flüchtlingskrise, G20 in Hamburg, Hacking, Impeachment, "Islamischer Staat", Klimawandel, Krieg in Syrien, künstliche Intelligenz, Nordkorea, Panama Papers, Rente, Steuern, TTIP, türkische Verfassungsreform, US-Vorwahlen, US-Wahl, VW-Abgasaffäre, Wahl 2017, Zinsen

Diesen Artikel...


© SPIEGEL ONLINE 2017
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung der SPIEGELnet GmbH


TOP
Die Homepage wurde aktualisiert. Jetzt aufrufen.
Hinweis nicht mehr anzeigen.