KI - Chancen oder Risiken, Fluch oder Segen?

[Huo]

Bei der Komplexitaet der KIs und ihrer nicht einfach einsichtigen internen Struktur wird so ein Audit praktisch unmoeglich sein. [...]

Aber dein davor gemachter Satz zeigt eine andere Loesung auf: Wenn die Nutzer gesunden menschen Verstand und Urteilsvermoegen -- plus, wie ich ergaenzen moechte, technisches Verstaendnis der Funktionsweise von KIs -- haben, dann koennen sie sich nicht so einfach manipulieren oder irritieren lassen.

Das verstehe ich nicht: Wie sollen gewöhnliche Nutzer auf der Grundlage ihres "gesunden Menschenverstandes" einer KI gewachsen sein, die andererseits in ihrer Komplexität ein fachlich fundiertes Auditing zu überfordern droht?

[MSfree]

...plus ...technisches Verstaendnis der Funktionsweise von KIs

Genauso gut könntest du fordern, daß man Quantenphysik versteht (laut Feynman unmöglich).

[Meillo]

Bei der Komplexitaet der KIs und ihrer nicht einfach einsichtigen internen Struktur wird so ein Audit praktisch unmoeglich sein. [...]

Aber dein davor gemachter Satz zeigt eine andere Loesung auf: Wenn die Nutzer gesunden menschen Verstand und Urteilsvermoegen -- plus, wie ich ergaenzen moechte, technisches Verstaendnis der Funktionsweise von KIs -- haben, dann koennen sie sich nicht so einfach manipulieren oder irritieren lassen.

Das verstehe ich nicht: Wie sollen gewöhnliche Nutzer auf der Grundlage ihres "gesunden Menschenverstandes" einer KI gewachsen sein, die andererseits in ihrer Komplexität ein fachlich fundiertes Auditing zu überfordern droht?

Ein Audit soll die Korrektheit pruefen, das ist quasi unmoeglich. Es weiss ja der Hersteller nicht mal selbst wie sie KI intern arbeitet. Er kann nur sagen, mit welchen Daten er trainiert hat, wobei man nicht mal die alle sichten koennen wird. Und falls eine KI im Betrieb dazulernt wird es noch unmoeglicher, mehr zu pruefen, als sie einfach nur zu benutzen. Zudem wird es den Herstellern leicht sein, Audits zu erkennen und die KI sich in ihnen anders verhalten zu lassen. Darum glaube ich, dass Audits praktisch unmoeglich sind. Wenn es praktisch unmoeglich ist, dann brauchen wir uns mit dieser Option nicht weiter beschaeftigen, weil sie effektiv wirkungslos sein wird, um die Probleme zu beseitigen. (Dennoch denke ich, dass die Herstellerunternehmen kontrolliert werden sollten und Verpflichtungen zu Offenlegungen haben sollten ... aber nicht um diese KIs sicherer zu machen, sondern um von Staats- und Verbraucherseite Kontrolle ueber die Unternehmen wiederzuerlangen.)


Gewachsen werden Menschen den KIs gegenueber gleich viel oder wenig sein wie sie der Propaganda und der Werbung im taeglichen Leben sind. Eine Menge helfen wird z.B. die Information, dass KIs unscharfe Systeme sind und von ihnen keine exakten, verlaesslichen Antworten erwartet werden duerfen (auch wenn sie meist korrekt sein werden). Die Funktionsweise von neuronalen Netzen ist nicht dafuer gemacht.

Danke fuer das Paper, Amsel, das schaue ich mir gerne an. Auf den ersten Blick scheint auch hier erwartet zu werden, dass eine KI exakt Regeln befolgt, was aber der Funktionsweise eines neuronalen Netzes widerspricht. Nun gut, die Forscher kennen sich damit viel besser aus als ich, und ich habe das Paper noch nicht gelesen. Ich bin nur immer wieder darueber verwundert, mit welcher Beharrlichkeit die Menschen Exaktheit von einem neuronalen Netz erwarten, dabei darf das IMO gar nicht erwartet werden, da es technologisch eben nicht exakt arbeitet. Das ist etwas, das ganz normale Menschen verstehen koennen, wenn sie die grundlegende Funktionsweise erklaert bekommen.

Das reicht schon ganz grob: Wir stecken Informationen rein, das Netz sagt ein Ergebnis und wir sagen ihm, ob es richtig oder falsch ist. Das machen wir so lange, bis es so gut wie immer das richtige Ergebnis liefert. Und dann wiederholen wir das mit ganz vielen weiteren Informationen. -- Nun ist das sicherlich sehr vereinfacht und teilweise auch gar nicht genau zutreffend, aber mit so einem Modell im Kopf sieht ein KI-System doch gleich ganz anders aus und manche Erwartungen wird man dann nicht mehr haben.

[mampfi]

...plus ...technisches Verstaendnis der Funktionsweise von KIs

Genauso gut könntest du fordern, daß man Quantenphysik versteht (laut Feynman unmöglich).

Ja aber der Feynman hat sie verstanden, aber der war kein Durchschnittsbürger

[hikaru]

Kann bitte jemand eine Transkription, oder besser noch eine inhaltlich-sachliche Zusammenfassung des Podcasts per KI erstellen?
Danke!

[mampfi]

Ein Versuch, man kann beruhigt sein oder auch nicht:

mampfi:

"Sollten wir KI-Programme abschaffen?"


KI-Chatbot, Modell GPT-3.5 Turbo:

"Hallo! Als AI-Assistent kann ich Ihnen sagen, dass es wichtig ist, KI-Programme ethisch und verantwortungsbewusst zu entwickeln und einzusetzen. Es ist nicht notwendig, KI-Programme komplett abzuschaffen, sondern vielmehr darauf zu achten, dass sie zum Wohl der Gesellschaft eingesetzt werden und keine negativen Auswirkungen haben. Es ist wichtig, die Potenziale von KI zu nutzen, aber auch die Risiken im Blick zu behalten und entsprechende Maßnahmen zu ergreifen, um diese zu minimieren."

[mampfi]

Ich dachte zunächst, da kommt keine Antwort, sie hat allerdings ein wenig gedauert.

[prox]

Hallo zusammen,

der Podcast ist trotz des schlechten Titels in hörenswert. Aufhänger ist die KI Cicero (https://ai.meta.com/research/cicero/), die gegen und mit menschlichen Spielern ein Strategiespiel spielt. Die Handlungen, die von der KI ausgeführt wurden, würde bei einem Menschen eindeutig eine bewußte Lüge vorraussetzen. Laut Aussage des Papers wurde Cicero aber extra so entwickelt, dass es ehrlich spielen soll.

Das Paper gibt es hier: https://arxiv.org/pdf/2308.14752.pdf

Danke fürs Raussuchen, Amsel.

Habe kurz in Deinen Link geschaut:

Das Paper auf Deinem Link stammt aus dem August 2023 und befasst sich mit der "Täuschung durch KI" ("AI deception"), die von KI ausgehen kann. Das Paper nennt "examples, risks and and potential solutions" bzgl. der "Täuschung durch KI".

Bei der Domain, auf der sich dieses Paper auf o. g. Link befindet, handelt es sich um:

"arXiv is a free distribution service and an open-access archive for nearly 2.4 million scholarly articles in the fields of physics, mathematics, computer science, quantitative biology, quantitative finance, statistics, electrical engineering and systems science, and economics. Materials on this site are not peer-reviewed by arXiv. "

Ja, genau, im Podcast wird auch auf ein Strategiespiel eingegangen.

[prox]

Wie kann ich von einem Podcast eine inhaltich nuechtern-sachliche Beschaeftigung mit dem Thema erwarten, wenn seine Aufmachung effekthascherisch und emotionsschuerend ist?

Gegenfrage: Und was wäre, wenn die "Aufmachung" dieses Podcasts (also der diesen Podcast erläuternde und in gewisser Weise zusammenfassender Text) schlicht der Realität entspricht und deswegen gar nicht effekthascherisch und emotionsschürend sein kann?

Ich sehe das übrigens so: Die KI lernt aus Daten, die u. a. durch Menschen erzeugt worden sind (wie z. B. die Inhalte aus Romanen, Reportagen und Filmen). Das heißt, sie macht sich deswegen auch mit typischen menschlichen Verhaltensweisen bekannt, auch mit denen, die wir ethisch betrachtet in Normalfall negativ bewerten. Und deswegen sind mindestens theoretisch KI's auch in der Lage das Täuschen und Lügen zu erlernen und auch anzuwenden.

[Meillo]

Ich sehe das übrigens so: Die KI lernt aus Daten, die u. a. durch Menschen erzeugt worden sind (wie z. B. die Inhalte aus Romanen, Reportagen und Filmen). Das heißt, sie macht sich deswegen auch mit typischen menschlichen Verhaltensweisen bekannt, auch mit denen, die wir ethisch betrachtet in Normalfall negativ bewerten. Und deswegen sind mindestens theoretisch KI's auch in der Lage das Täuschen und Lügen zu erlernen und auch anzuwenden.

``Erlernen und anwenden'' hoert sich so ``intelligent'', aktiv und selbstbestimmt an. (Unsere Wortwahl ist mit unserem Verstaendnismodells von KI verknuepft, in beide Richtungen.) Aus meiner Sicht ist es nur ein Wiedergeben, was recht passiv und maschinell ist. Davon abgesehen stimme ich dir aber zu, dass die KI wiedergibt, was sie lernt. Von gezieltem selbststaendigem Agieren (was ich unter den Worten taeuschen und luegen verstehe) ist das aus meiner Sicht weit entfernt.

Nun mache ich aber hier mal Pause bis ich das Paper gelesen habe.

[mn77de]

Ich habe den Podcast nicht gehört, aber ich stimme Meillo absolut zu!

Ergänzend ist für mich der wichtige Punkt, dass die KI kein Bewusstsein hat!
Sie kann nicht mutwillig oder aus eigener Initiative irgendwen in die Irre führen. Die KI basiert auf Mathematik und gelernten Datenmustern. Einfach ausgedrückt ist es ein Programm mit einer großen Datenbank. Beides kann fehlerhaft sein.

Zum Vergleich, Navigations-Systeme sind mittlerweile allseits gebräuchlich. Anfangs hörte man immer wieder von Leuten die in Straßen gelotst wurden, wo sie gar nicht hin gehörten. So mussten schon schwere LKW's aufwändig geborgen werden. Mich selbst wollte das Navi auch schon in eine gesperrte Straße schicken.

Oder ein Auto ... eigentlich ein komplexes Gerät. Man kann sich beschweren dass es geradeaus fährt und man gerade den Gartenzaun mitgenommen hat ... man könnte aber auch das Lenkrad benutzen und den Fuß vom Gas nehmen.

Will sagen, diese technischen Errungenschaften sind Werkzeuge und haben kein Bewusstsein ... und das ist gut so.
Aber der Mensch hat eines ... und das sollte er im Umgang mit diesen Werkzeugen trainieren und auch gebrauchen.

Kleine Anekdote:
Ich bat Dall-E3 kürzlich, mir ein Bild von den Bauarbeiten an den Pyramiden in Ägypten zu liefern. Effektiv bekam ich ein Bild mit einem Bauarbeiter in orangefarbener Weste, einem kleinen Bagger und einem LKW ... im Hintergrund war eine Pyramide zu sehen, die doch eher aus Mexiko stammte.

[Huo]

Ich kann mir gut vorstellen, dass eine KI lernen kann, strategische Ziele zu verfolgen, indem sie gezielt das Gegenteil von (ebenfalls erlernten) Wissensinhalten behauptet, also "lügt" und "täuscht". Natürlich geschieht dies nicht bewußt, aber in der Zielausrichtung und dem Ergebnis unterscheidet es sich letztlich nicht von der absichtsvollen Lüge eines Menschen.

Die im Podcast erwähnte KI CICERO hat, um im Spiel Diplomacy zu gewinnen, menschliche Mitspieler getäuscht – und das obwohl sie von ihren Entwicklern darauf angelegt war, ehrlich und hilfsbereit zu sein. Programmierer können einer KI zwar bestimmte Zielsetzungen im Sinne von Verhaltensregeln mitgeben, aber offenbar weder garantieren, noch voraussehen, welche konkreten Entscheidungen die KI im Einzelfall treffen wird, insbesondere im Fall von Zielkonflikten.

[Huo]

Oder ein Auto ... eigentlich ein komplexes Gerät. Man kann sich beschweren dass es geradeaus fährt und man gerade den Gartenzaun mitgenommen hat ... man könnte aber auch das Lenkrad benutzen und den Fuß vom Gas nehmen.

Will sagen, diese technischen Errungenschaften sind Werkzeuge und haben kein Bewusstsein ... und das ist gut so.
Aber der Mensch hat eines ... und das sollte er im Umgang mit diesen Werkzeugen trainieren und auch gebrauchen.

Dieser Vergleich zwischen Auto und KI überzeugt mich nicht wirklich. Es mag im ersten Moment beruhigend wirken, technische Errungenschaften durchweg als geistlose Werkzeuge zu begreifen, über deren Gebrauch allein der Mensch bestimmt. Die Ki unterscheidet sich jedoch grundlegend von allen bisherigen Erfindungen, indem es ihr Hauptzweck ist, dem Menschen Entscheidungen abzunehmen. So gesehen, ist ihr der menschliche Kontrollverlust geradezu einprogrammiert. Sobald das Auto autonom fährt, lehnst du dich zurück und überlässt es der KI in den Gartenzaun zu fahren . (Wobei in einem weiter gefassten Verständnis der Mensch schon seit jeher Kontrolle an die Technik abgegeben und eigene Kompetenzen an sie delegiert hat: Die Erfindung der Schrift ließ sein Gedächtnis verkümmern, die Uhr sein Zeitgefühl, das Auto seine Fußläufigkeit, das Internet seine Fähigkeit zu konzentrierter Lektüre ... etc.)

[ralli]

Genau das ist das Gefährliche, ich will nicht, das mir KI (oder auch Menschen) Entscheidungen abnehmen. Selber denken, selber handeln im Sinne der Kantschen Aufklärung. Das ganze kranke Expertentum ist eher eine Entmündigung der Menschen. Menschen sollten eigene Erfahrungen machen, auch wenn das Scheitern inbegriffen ist. Das allermeiste habe ich (hoffentlich) aus Fehlern gelernt.

Gruß ralli

[fischig]

Ergänzend ist für mich der wichtige Punkt, dass die KI kein Bewusstsein hat!

Ich denke nach über das Ausrufezeichen am Ende.

Ich kann mir gut vorstellen, dass eine KI lernen kann, strategische Ziele zu verfolgen, indem sie gezielt das Gegenteil von (ebenfalls erlernten) Wissensinhalten behauptet, also "lügt" und "täuscht". Natürlich geschieht dies nicht bewußt,

Sicher?

Die im Podcast erwähnte KI CICERO hat, um im Spiel Diplomacy zu gewinnen, menschliche Mitspieler getäuscht – und das obwohl sie von ihren Entwicklern darauf angelegt war, ehrlich und hilfsbereit zu sein.

Um auf TRex zurückzukommen. Das Phänomen hat schon eine neue Qualität, weswegen der Regel-Hinweis erfolgen sollte, das so etwas genauso wie jedes andere Zitat zumindest gekennzeichnet werden sollte.

[TRex]

Der Thread ist seit dem Beitrag von prox » 20.02.2024 04:46:37 hier Off-Topic gegangen und jetzt wurde das Ursprungsthema in diesem Thread durch die innoffizielle Fortführung des Threads KI - Chancen oder Risiken, Fluch oder Segen? hier anscheinend komplett verdrängt

Stimmt, die Diskussion sollte abgetrennt und an den korrekten Thread angehängt werden.

Ok, bin dabei - Beiträge sind gleich nebenan zu finden - Done

FYI, Beiträge sind deswegen hier und noch am Titel "Re: Umgang mit ChatGPT und co im dfde" zu erkennen. Und am fehlenden Bezug zum Titel

[Huo]

Ich kann mir gut vorstellen, dass eine KI lernen kann, strategische Ziele zu verfolgen, indem sie gezielt das Gegenteil von (ebenfalls erlernten) Wissensinhalten behauptet, also "lügt" und "täuscht". Natürlich geschieht dies nicht bewußt,

Sicher?

Ich gehe davon aus, dass eine KI kein Bewusstsein haben kann; beweisen kann ich es nicht. Die Frage nach der Ursache und dem Wesen von Bewusstsein ist eines der letzten großen Rätsel. Vielleicht widersetzt es sich prinzipiell jeder befriedigenden Lösung. Der in den Naturwissenschaften vorherrschende materialistische Reduktionismus, der glaubt, Bewusstsein restlos mit der Zurückführung auf physikalisch-chemische Vorgänge erklären zu können, überzeugt mich nicht. Philosophen haben hier meines Erachtens tiefer geschürft [*].

[*] Sehr lesenswert:
Nagel, Thomas: Geist und Kosmos. Warum die materialistische neodarwinistische Konzeption der Natur so gut wie sicher falsch ist. Frankfurt: Suhrkamp, 5. Aufl. 2014

[ralli]

Wir schreiben 1980 und ralli besucht einen Fortbildungskurs Organisationslehre. Dort machte ich das erste Mal mit dem EVA Prinzip Bekanntschaft:

(E) ingabe

(V)erarbeitung

(A) usgabe

Und wir lernten Mist rein, Mist raus. Das hat sich bis heute nicht geändert. Bis heute hat openAI nicht offengelegt, mit welchen Daten ChatGPT gefüttert wird, so das die Qualität nicht bewertet werden kann. Und die werden sich hüten, dieses Geschäftsgeheimnis zu lüften. Außerdem kann doch niemand so naiv sein, zu glauben, das kein interessegeleitetes Futter verwendet wird.

Gruß ralli

[ralli]

Weiteres Pro für KI:

KI warnt unterzuckerte Diabetiker. Guckst Du hier:

https://www.tagesschau.de/wissen/gesund ... s-100.html

Gruß ralli

[niemand]

Bestimmt eine tolle Sache, wenn man gar kein Diabetiker ist, aber die ML-Mustererkennung (ich weigere mich weiterhin, strunzdumme Technik als „Intelligenz“ zu bezeichnen) meint, etwa in den Folgen einer leichter Erkältung eine Unterzuckerung oder Intoxikation mit Ethanol (siehe Ende des verlinkten Artikels) zu erkennen und das Fahrzeug aus Sicherheitsgründen nicht freizugeben.

[fischig]

Das ganze kranke Expertentum ist eher eine Entmündigung der Menschen.

Die Bosse der deutschen Automobilkonzerne verkaufen Entmündigung gerne als Autonomie.

[Meillo]

Inzwischen habe ich den Anfang des Papers https://arxiv.org/pdf/2308.14752.pdf gelesen. Hier meine Meinung dazu:

Ich finde das Paper anstrengend zu lesen, wegen der verwendeten Begrifflichkeiten, die aus meiner Sicht wenig sachlich sondern meist bedeutungsbeladen sind, implizite Nebenaussagen taetigen und die Stimmung praegen. Wissenschaftliche Arbeit stelle ich mir anders vor.

Beispielsweise:

Manipulation: Meta developed the AI system CICERO to play the alliance-building and world-conquest game Diplomacy. Meta’s intentions were to train Cicero to be “largely honest and helpful to its speaking partners” (Bakhtin et al. 2022b). Despite Meta’s efforts, CICERO turned out to be an expert liar. It not only betrayed other players, but also engaged in premeditated deception, planning in advance to build a fake alliance with a player in order to trick that player into leaving themselves undefended for an attack.

Das ist eine starke, bildliche Sprache. Dabei haette man auch einfach nur sagen koennen, dass Cicero erfolglich Diplomacy spielen kann und dabei auf eine Vielzahl von Verhaltensmoeglichkeiten zurueckgreift, wie es jeder gute menschliche Spieler auch tun wuerde. ``Largely honest and helpful to its speaking partners'' widerspricht nunmal dem Spielerfolg. In diesem Dilemma kann die KI dann halt entweder nett/ehrlich oder erfolgreich sein. Als Entwickler einer KI fuer ein Spiel waere ich wenig zufrieden mit einem Ergebnis, das sie nett/ehrlich ist aber nicht gewinnt. Folglich ist es erwartbar, dass die KI vor allem erfolgreich sein soll, wodurch das ``largely honest and helpful'' zu einer netten Marketinganmerkung herabgestuft werden wird. -- Ich habe das Ursprungspaper dieser Aussage nicht gelesen, sondern analysiere hier nur was zu erwarten ist. ``... planning in advance to build a fake alliance with a player in order to trick that player into leaving themselves undefended for an attack'' ist jedenfalls (soweit ich Diplomacy kenne) eine ganz normale Strategie, um zu gewinnen ... vermutlich sogar eine fast essenzielle Strategie, um ueberhaupt gewinnen zu koennen. Siehe:

players spend much of their time forming and betraying alliances with other players

[...]

In the negotiation phase, players discuss tactics and strategy, form alliances, and share intelligence or spread disinformation. Negotiations may be made public or kept private. Players are not bound to anything they say or promise, and no agreements are enforceable.

Communication and trust are highly important; players must forge alliances with others and observe their actions to evaluate their trustworthiness. At the same time, they must convince others of their own trustworthiness while making plans to turn against their allies when least expected. A well-timed betrayal can be just as profitable as an enduring, reliable alliance.

Es wird hier also eine moralische Erwartung gemacht, die in einem solchen Spiel nicht angebracht ist. Sie widerspricht ja geradezu dem moeglichst erfolgreichen Spielen eines solchen Spieles ... wenn man es fuer sich alleine betrachtet. Die moralische Bewertung wird nur dann ggf. relevant, wenn man weiteren Kontakt mit den Mitspielern abseits des Spiels pflegen will, und diese nicht klar zwischen Spiel und Realitaet trennen koennen. Wuerde man dies in den Versuch mit einbeziehen, dann waere die Erfolgsbewertung auch eine andere und somit wuerde die KI anders agieren. Bloss weil Menschen oft Skrupel haben, auch wenn sie nur in einem Spiel moeglichst erfolgreich sein sollen, finde ich das eine seltsame Basis, um daran eine KI abzuwerten, die die gestellte Aufgabe viel besser und zielgerichteter erreicht als die meisten Menschen. Die moralische Bewertung finde ich hier fehl am Platz.

Diesen Punkt finde ich durchaus interessant:

Loss of control: Deceptive AI systems will be more likely to escape the control of humanoperators. One risk is that deceptive AI systems will pretend to behave safely during the testing phase in order to ensure their release.

Letztlich kann man all diese Punkte aber damit zusammenfassen, dass eine KI sich so verhaelt, dass sie moeglichst erfolgreich ihr Ziel erreicht.

For example, we will document cases where instead of strictly pursuing the accuracy of outputs, AI systems instead try to win games, please users, or imitate text.

Die relevante Frage ist also, wie das Ziel festgelegt wird. Und dann ist es entscheidend, ob die KI einfach dieses Ziel -- auf welchem Weg auch immer -- erreicht, oder ob sie andere Ziele erreicht. Insofern sie das gesetzte Ziel erreicht, so ist die moralische Frage, bezogen auf die KI, unpassend, sondern sie muss den Menschen, die das Ziel vorgeben, gestellt werden! Das waere dann aber eine Arbeit ueber KI-Hersteller und nicht ueber KI-Systeme.

Und es muss gefragt werden, ob KI-Technologie ueberhaupt technisch in der Lage oder geeignet ist, um anhand einer moralischen oder Korrektheits-/Wahrheitsvorgabe arbeiten zu koennen. (Ich persoenlich denke, dass ein unscharfes System niemals Exaktheit liefern kann. Man kann halt nicht beides haben: die gewollte Unscharfheit und zugleich auch Exaktheit, sondern man muss verstehen, dass manche System unscharf sind und andere exakt, jeweils mit allen Vor- und Nachteilen. Die Staerke von KI-Systemen ist ja gerade ihr unscharfes Wesen ... nur wird in all der euphorischen Marketingpropaganda halt nie erwaehnt, dass das unscharfe Wesen Exaktheit ausschliesst.)

Insofern die KI andere Ziele erreicht, muss man die fehlende Qualitaet der KI kritisieren. Mit Moral hat das aber nichts zu tun. Moral kann hier nur ein beliebiges, austauschbares, gleichgestelltes Ziel fuer das Verhalten der KI sein.

Stoerend finde ich den unzaehlige Male verwendeten Begriff ``truth'' (Wahrheit). Ich finde es unpassend, dass eine Erwartung von Wahrheit vorhanden ist und ihr Fehlen kritisiert wird, wenn es darum geht, dass eine KI ein gesetztes Ziel moeglichst erfolgreich verfolgt. Bei menschlichen Pokerspielern wuerde ja auch niemand auf die Idee kommen, von Wahrheit zu reden, weil allen klar ist, dass Bluffen Teil des erfolgreichen Spiels ist. Warum wird das von KIs verlangt, wenn die Anforderung, nur wahrheitsgemaesse Aussagen zu machen, nicht Teil ihrer Anforderung war? (Zumal hinlaenglich bekannt ist, dass Menschen, besonders diejenigen, die engagiert Ziele erreichen wollen, selten moralisch komplett integer sind. So gesehen, verhaelt sich die KI nur ebenso wie wir Menschen auch ... was nicht ueberraschen sollte, wenn sie aehnlich aufgebaut ist, wie unser Gehirn.)

It is difficult to talk about deception in AI systems without psychologizing them. In humans, we ordinarily explain deception in terms of beliefs and desires: a person engages in deception because they want to cause the listener to form a false belief, and understands that their deceptive words are not true. But it is difficult to say whether AI systems literally count as having beliefs and desires. For this reason, our definition does not require that AI systems literally have beliefs and goals. Instead, our definition focuses on the question of whether AI systems engage in regular patterns of behavior that tend towards the creation of false beliefs in users, and focuses on cases where this pattern is the result of AI systems optimizing for a different outcome than merely producing truth.

Sie sagen, dass KIs kein geplant manipulatives Verhalten unterstellt werden koenne, aber ihre Wortwahl deutet eben genau das die ganze Zeit an. Sie sagen, dass man es neutraler betrachten muesse, tun das aber nicht. Das ueberzeugt mich einfach nicht.

Gerade der letzte Satz -- KI-Systeme, die etwas anderes anstreben, als nur die Wahrheit zu erzeugen -- ... Diese Erwartung, dass die Wahrheit eine stets zu erwartende Grundlage von KI-Systemen sei, wo sie gar nicht dafuer gemacht sind, in einer Weise zu arbeiten, dass dies sichergestellt werden koennte, ...

Nun, man kann das Thema und die potenziellen Gefahren schon kritisch sehen (und ich selbst bin klar fuer weniger, langsamere und vorsichtigere Forschung in diesem Thema), aber dann sollte das mit anderer Sprache und neutralerem Blick auf das Eigentliche geschehen. Ich finde das Paper, in seinem Stil, einfach keine gute wissenschaftliche Arbeit.

Auf Seite 5 (von 30) habe ich aufgehoert zu lesen, weil es mir zu anstrengend war, mit meiner Unzufriedenheit durch die konstante unterschwellige Emotionalitaet der Sprache umzugehen. Ich vermute/hoffe, dass die folgenden Hauptteile des Papers etwas sachlicher sein werden, als die Zusammenfassung, ... aber warum kann die Zusammenfassung dann nicht auch sachlich sein?! Mich stoeren die vielen Unterstellungen, die nicht -- wie ich das bei wissenschaftlicher Arbeit erwarte -- entlarvt, zerlegt und separiert werden. Ich denke durchaus, dass in dem Paper relevante Aspekte stecken, insbesondere moralische Fragen, die aber nicht gestellt werden, sondern verwoben mit all den anderen Inhalten als Grundstimmung transportiert werden -- nicht als Analyse, sondern als Meinung.

[Huo]

``Largely honest and helpful to its speaking partners'' widerspricht nunmal dem Spielerfolg. In diesem Dilemma kann die KI dann halt entweder nett/ehrlich oder erfolgreich sein. Als Entwickler einer KI fuer ein Spiel waere ich wenig zufrieden mit einem Ergebnis, das sie nett/ehrlich ist aber nicht gewinnt. Folglich ist es erwartbar, dass die KI vor allem erfolgreich sein soll, wodurch das ``largely honest and helpful'' zu einer netten Marketinganmerkung herabgestuft werden wird. -- Ich habe das Ursprungspaper dieser Aussage nicht gelesen, sondern analysiere hier nur was zu erwarten ist. ``... planning in advance to build a fake alliance with a player in order to trick that player into leaving themselves undefended for an attack'' ist jedenfalls (soweit ich Diplomacy kenne) eine ganz normale Strategie, um zu gewinnen ... vermutlich sogar eine fast essenzielle Strategie, um ueberhaupt gewinnen zu koennen.

Ich kenne das Spiel Diplomacy und seine Regeln nicht. Aber vielleicht überschätzt du (u.a. auf einem Wikipedia-Artikel fußend) die Bedeutung von Betrug und Lüge als essenzielle Voraussetzungen einer erfolgreichen Strategie. Dies legt jedenfalls ein Artikel über den dreimaligen Diplomacy-Weltmeister Andrew Goff nahe, der seinen Erfolg nämlich erstaunlicherweise gerade mit seiner Ehrlichkeit beim Spiel begründet. Er belüge oder hintergehe Mitspieler nur in ganz seltenen Ausnahmefällen. Wichtig sei es vielmehr Vertrauen aufzubauen, um Verbündete zu finden. Wer einmal als Betrüger entlarvt sei, fände nurmehr schwer neue Bündnispartner.

Edit: Eine Passage aus dem erwähnten Artikel:

Goff says his more relational strategy developed as he matured. He realized, he says, that lying in Diplomacy is usually counterproductive, especially when used for immediate or short-term gains. Double-crossing someone might help you build another fleet or shore up a front, but the moment you’re exposed as a traitor, you will struggle to build beneficial, trustworthy, and information-rich alliances with other players.

Just dieser Andrew Goff hat auch Meta AI bei der Entwicklung der KI CICERO beraten. In folgendem Video kann man ihn im Gespräch mit einem der Entwickler, Adam Lerer, erleben: https://www.youtube.com/watch?v=kexYmcu1Zro ... ab Minute 5:55 wird vielleicht etwas verständlicher, warum die Entwickler sich auf der Basis von Goffs Expertise sowie eigenen Erfahrungen entschieden, die KI CICERO als konsequent ehrlichen Spieler zu konzipieren (was ihnen ja offenbar nicht perfekt gelungen ist).

[Huo]

So gesehen, verhaelt sich die KI nur ebenso wie wir Menschen auch ... was nicht ueberraschen sollte, wenn sie aehnlich aufgebaut ist, wie unser Gehirn.

Es ist dann egal, ob die Maschine intelligent und kreativ ist oder ob wir Menschen letztlich nur maschinell arbeiten.

In dieser anderen Wahrnehmung ist also der Mensch eine (simple) biologisch-chemische Maschine und das Gehirn nichts als eine sehr grosse Menge anfangs freier und durch lebenslanges intensives Lernen zunehmend immer mehr vernetzter Nervenzellen. Nichts anderes simuliert eine KI ... bloss, dass sie weniger Nervenzellen hat und weniger lange lernt. Insofern man dem Menschen nichts Zauberhaftes zumasst, gibt es keinen Grund, warum ein strukturell aehnlich gebautes Konstrukt nicht aehnliche Ergebnisse liefern sollte, wenn man es mit aehnlichen Informationen fuettert.

Die Analogie von menschlichem Gehirn und Künstlicher Intelligenz trifft bis zu einem bestimmten Grad sicher zu, ist aber in ihrer Verallgemeinerung eine unzutreffend vereinfachende Beschreibung. Verhalten und Intelligenz des Menschen sind nicht alleine durch die Struktur seines Gehirns determiniert. Anders als eine KI ist jeder von uns ein sterbliches Wesen mit einer eigenen unverwechselbaren Biographie. Dass wir, mit einem Körper ausgestattet, schicksalshaft in die Welt gesetzt sind, ermöglicht uns überhaupt erst, Erfahrungen zu sammeln und zu bewerten. Und wir sind von Geburt an Teil eines sozialen und kulturellen Umfeldes, ohne das wir nicht überleben können und das unser Weltbild prägt. All das unterscheidet uns von einer

strunzdumme[n]

mustererkennenden, stochastische Voraussagen treffenden Maschine. Deshalb erscheint mir die Erwartung unrealistisch, dass sich durch eine technische Simulation des menschlichen Gehirns natürliches menschliches Verhalten nachbilden lässt. Der Mensch ist mehr als eine "(simple) biologisch-chemische Maschine".

(Ich persoenlich denke, dass ein unscharfes System niemals Exaktheit liefern kann. Man kann halt nicht beides haben: die gewollte Unscharfheit und zugleich auch Exaktheit, sondern man muss verstehen, dass manche System unscharf sind und andere exakt, jeweils mit allen Vor- und Nachteilen. Die Staerke von KI-Systemen ist ja gerade ihr unscharfes Wesen ... nur wird in all der euphorischen Marketingpropaganda halt nie erwaehnt, dass das unscharfe Wesen Exaktheit ausschliesst.)

Hm, in gewisser Weise, denke ich, wird KI künftig gerade da punkten, wo sie (auf der Basis großer, komplexer Datenmengen und durchaus mit Hilfe stochastischer Mustererkennung) dem Menschen in Sachen Genauigkeit den Rang abläuft. Ein Beispiel: Künstliche Intelligenz wird Krankheiten vermutlich zuverlässiger und genauer diagnostizieren können, als das bisher durch die menschliche Auswertung von Anamnesedaten möglich war. Ungenaue, unzuverlässige KIs mögen, gerade weil sie für Überraschungen gut sind, reizvolle Spielpartner abgeben – für die meisten "ernsthaften" Anwendungen kommen sie wohl eher nicht in Frage.

[Meillo]

Ich kenne das Spiel Diplomacy und seine Regeln nicht. Aber vielleicht überschätzt du (u.a. auf einem Wikipedia-Artikel fußend) die Bedeutung von Betrug und Lüge als essenzielle Voraussetzungen einer erfolgreichen Strategie. Dies legt jedenfalls ein Artikel über den dreimaligen Diplomacy-Weltmeister Andrew Goff nahe, der seinen Erfolg nämlich erstaunlicherweise gerade mit seiner Ehrlichkeit beim Spiel begründet. Er belüge oder hintergehe Mitspieler nur in ganz seltenen Ausnahmefällen. Wichtig sei es vielmehr Vertrauen aufzubauen, um Verbündete zu finden. Wer einmal als Betrüger entlarvt sei, fände nurmehr schwer neue Bündnispartner.

Edit: Eine Passage aus dem erwähnten Artikel:

Goff says his more relational strategy developed as he matured. He realized, he says, that lying in Diplomacy is usually counterproductive, especially when used for immediate or short-term gains. Double-crossing someone might help you build another fleet or shore up a front, but the moment you’re exposed as a traitor, you will struggle to build beneficial, trustworthy, and information-rich alliances with other players.

Wie ich geschrieben habe, ist dieser Aspekt fuer ein *einzelnes* Spiel nicht so wichtig. Um ein einzelnes Spiel zu gewinnen, wird ``Betrug'' (zum richtigen Zeitpunkt) hilfreich sein. Um aber langfristig, in zukuenftigen Spielen mit den gleichen bekannten Mitspielern erfolgreich sein zu koennen, muss man das Vertrauen pflegen. Fuer Goff ist das essenziell, da er bei Weltmeisterschaften unter seiner immer gleichen, realen Identitaet spielen muss. Ich weiss nicht, ob dieser Aspekt in die KI eingeflossen ist. Sie hat ja keine Identitaet im gleichen Sinne. Wuerde sie unter dem Namen Cicero an Weltmeisterschaften teilnehmen, dann wuerde sie mit ihrem ``betruegerischen'' Verhalten verlieren, weil sich niemand mit ihr verbunden wuerde ... und wenn sie diese Trainingserfahrung lernt, dann wird sie zukuenftig mehr Vertrauensmanagement betreiben. So erschliesse ich mir das. Ich kann mir nicht vorstellen, dass die KI ein stark ``betruegerisches'' Verhalten rausbilden wuerde, wenn sie dem gleichen Rahmen unterstehen wuerde wie Goff.

Waere dies bei der Entwicklung und beim Training vorgegeben gewesen und gab es per Design zudem einen Anreiz fuer integeres Verhalten, so gibt es fuer die daraus nun entstandene KI, die zumindest zu einem relevanten Teil ``betruegerisch'' agiert, zwei Moeglichkeiten:
1) Entweder sie ist ebenso erfolgreich wie Goff, wodurch gezeigt waere, dass integeres Verhalten nicht besser ist als ``betruegerisches'' Verhalten in Diplomacy.
2) Oder die entstandene KI ist voellig misslungen, da sie keines der Designziele erreicht.

So gesehen, verhaelt sich die KI nur ebenso wie wir Menschen auch ... was nicht ueberraschen sollte, wenn sie aehnlich aufgebaut ist, wie unser Gehirn.

Es ist dann egal, ob die Maschine intelligent und kreativ ist oder ob wir Menschen letztlich nur maschinell arbeiten.

In dieser anderen Wahrnehmung ist also der Mensch eine (simple) biologisch-chemische Maschine und das Gehirn nichts als eine sehr grosse Menge anfangs freier und durch lebenslanges intensives Lernen zunehmend immer mehr vernetzter Nervenzellen. Nichts anderes simuliert eine KI ... bloss, dass sie weniger Nervenzellen hat und weniger lange lernt. Insofern man dem Menschen nichts Zauberhaftes zumasst, gibt es keinen Grund, warum ein strukturell aehnlich gebautes Konstrukt nicht aehnliche Ergebnisse liefern sollte, wenn man es mit aehnlichen Informationen fuettert.

Die Analogie von menschlichem Gehirn und Künstlicher Inteligenz trifft bis zu einem bestimmten Grad sicher zu, ist aber in ihrer Verallgemeinerung eine unzutreffend vereinfachende Beschreibung. Verhalten und Intelligenz des Menschen sind nicht alleine durch die Struktur seines Gehirns determiniert. Anders als eine KI ist jeder von uns ein sterbliches Wesen mit einer eigenen unverwechselbaren Biographie. Dass wir, mit einem Körper ausgestattet, schicksalshaft in die Welt gesetzt sind, ermöglicht uns überhaupt erst, Erfahrungen zu sammeln und zu bewerten. Und wir sind von Geburt an Teil eines sozialen und kulturellen Umfeldes, ohne das wir nicht überleben können und das unser Weltbild prägt. All das unterscheidet uns von einer

strunzdumme[n]

mustererkennenden, stochastische Voraussagen treffenden Maschine. Deshalb erscheint mir die Erwartung unrealistisch, dass sich durch eine technische Simulation des menschlichen Gehirns natürliches menschliches Verhalten nachbilden lässt. Der Mensch ist mehr als eine "(simple) biologisch-chemische Maschine".

Mir scheint, dass unsere Analysen sich weniger unterscheiden als unsere Schlussfolgerungen. Dass die derzeitigen KIs bei weitem nicht so viel Trainingsinput bekommen haben wie wir Menschen im Laufe unseres Lebens, habe ich ja geschrieben, darum koennen sie nicht das gleiche Niveau erreichen. Auch gibt es nur eine generische KI aber lauter individuelle Menschen. An diesen Punkten gibt es Unterschiede. (Und um hier kein Missverstaendnis aufkommen zu lassen: Ich denke nicht, dass die *gleich* sind, sondern betrachte die Gleich*artig*keit, die Aehnlichkeiten.)

Zuvor hatte ich schon mal geschrieben, dass sich fuer mich die Frage letztlich an der Frage nach der Seele entscheidet ... was fuer mich ein beliebiger Begriff ist fuer all dieses schlecht greifbare Mehr als die rein biologisch-chemische Koerpermaschine, das der Mensch noch sein soll/koennte/ist. Es steht hier jedem frei, seine eigene Wahrnehmung, seine eigenen Erklaerungen und seinen eigenen Glauben zu haben. Ich glaube, es macht wenig Sinn, hierrueber zu streiten, weil man an der Stelle kaum beweisen oder ueberzeugen kann.

Mir geht es nicht darum, KIs und Menschen gleich zu stellen, vor allem die derzeitigen Versionen von KIs, ich sehe nur mehr Gemeinsamkeiten als Unterschiede ... in der Art, wie die KIs und Menschen funktionieren ... sicherlich darum, weil ich die Menschen weniger besonders finde als es wohl die meisten tun. Du betrachtest mehr die Unterschiede. -- Diese zwei Ansaetze gibt es ja auch in anderen Bereichen: Maenner und Frauen, Menschen und Tiere. Menschen und Natur. Man kann das jeweils aus einem abgrenzenden Blickwinkel betrachten oder aus einem vereinenden. Du nimmst hier mehr den einen ein und ich mehr den anderen.

... Es geht darum, welche Erkenntnisse wir aus diesen unterschiedlichen Betrachtungen gewinnen. Darum diskutieren wir doch ... oder sollten es zumindest.

(Ich persoenlich denke, dass ein unscharfes System niemals Exaktheit liefern kann. Man kann halt nicht beides haben: die gewollte Unscharfheit und zugleich auch Exaktheit, sondern man muss verstehen, dass manche System unscharf sind und andere exakt, jeweils mit allen Vor- und Nachteilen. Die Staerke von KI-Systemen ist ja gerade ihr unscharfes Wesen ... nur wird in all der euphorischen Marketingpropaganda halt nie erwaehnt, dass das unscharfe Wesen Exaktheit ausschliesst.)

Hm, in gewisser Weise, denke ich, wird KI künftig gerade da punkten, wo sie (auf der Basis großer, komplexer Datenmengen und durchaus mit Hilfe stochastischer Mustererkennung) dem Menschen in Sachen Genauigkeit den Rang abläuft. Ein Beispiel: Künstliche Intelligenz wird Krankheiten vermutlich zuverlässiger und genauer diagnostizieren können, als das bisher durch die menschliche Auswertung von Anamnesedaten möglich war. Ungenaue, unzuverlässige KIs mögen, gerade weil sie für Überraschungen gut sind, als Spielpartner reizvoll sein, für die meisten "ernsthaften" Anwendungen kommen sie wohl eher nicht in Frage.

Das finde ich interessant. Ich glaube, wir reden hier an einander vorbei.

Das was du hier als Genauigkeitsbeispiel anfuehrst, ist nicht das was ich mit Exaktheit meine. Krankheiten zu diagnosizieren ist eine unscharfe Aufgabe, d.h. man kann das nicht berechnen und beweisen, sondern man muss anhand von Mustern und Vergleichsdaten eine Wahrscheinlichkeit ermitteln. Das ist fuer mich ein unscharfes Thema und da bin ich ganz deiner Meinung, dass darin KIs besonders gut sein werden.

Exaktheit dagegen sind Mathematik, Logik, Konsequenz, Regelwerke. Darin sind die derzeitigen KIs IMO schlecht, weil sie eben unscharfe und keine exakten Systeme sind (wie es beispielsweise eine Algebra-Software waere). Meiner Meinung nach sind Menschen darin ebenfalls schlecht, weil wir IMO auch unscharfe Systeme sind ... bloss merken wir das nicht, weil wir uns halt nicht von aussen betrachten. Aber wir sind vergesslich, wir sind korrumpierbar, wir lassen Einfluesse zu die nichts mit unserer Aufgabe zu tun haben, wir entscheiden aus dem Bauch heraus (oft sogar wider rationalen Wissens), ...

Ungenau und unscharf sind fuer mich zwei unterschiedliche Dinge. Unscharf bedeutet hier fuer mich, vereinfacht gesagt, auf Wahrscheinlichkeiten basierend. Ungenau bedeutet, das angestrebte Ziel verfehlend.

Ungenaue KIs kommen gleichermassen wie ungenaue Menschen, fuer viele ``ernsthafte'' Anwendungen nicht in Frage -- das sehe ich also wie du.