ChatGPT Privat und ohne Einschränkungen

Beitragsverfasser

dampfrad

i´m only the fellow who does the stuff here

...and you could be kind and (if you love it as i do) help me share my work! Thanks in advance!

Wie nutzt man ChatGPT komplett OHNE Zensuren und Einschränkungen?

In der Welt der künstlichen Intelligenz schreitet die Entwicklung rasant voran. Vor Kurzem hat ein Entwickler namens Georgi Gerganov ein neues Tool namens “llama.cpp” kreiert, das in der Lage ist, Metas neues KI-Sprachmodell namens LLaMA der GPT-3-Klasse auf einem Mac-Laptop auszuführen. Es dauerte nicht lange, bis andere Personen herausgefunden haben, wie man LLaMA auch unter Windows verwenden kann. Ein weiterer Nutzer zeigte, dass es sogar auf einem Pixel 6-Telefon läuft. Schließlich wurde es sogar auf einem Raspberry Pi getestet, obwohl die Geschwindigkeit hierbei sehr langsam war.

ChatGPT auf dem PC, dem Handy oder sogar dem Raspberry!

Es ist denkbar, dass wir in naher Zukunft einen handlichen Konkurrenten von ChatGPT sehen werden, wenn sich der derzeitige Fortschritt fortsetzt.

Jedoch sollten wir einen Moment innehalten und uns bewusst machen, dass wir noch nicht das Ziel erreicht haben – zumindest nicht bis heute, den 13. März 2023. Was uns nächste Woche erwarten wird, bleibt ungewiss.

Seit dem Launch von ChatGPT gibt es einige Menschen, die frustriert sind über die Einschränkungen des KI-Modells, die von OpenAI als sensibel erachtet werden und somit bestimmte Themen nicht diskutieren können. In einigen Kreisen wird daher der Traum eines Open-Source-Large-Language-Models (LLM) geträumt, welches jeder lokal und ohne Zensur ausführen könnte, ohne dabei API-Gebühren an OpenAI zu zahlen. Welche Möglichkeiten sich damit (rein theoretisch) ergeben dürfte dem Leser eines Tech-Blogs klar sein 😉

ChatGPT ist nach wie vor OpenSource

Unter den verfügbaren Optionen für KI-Lösungen gibt es einige Open-Source-Varianten, darunter auch GPT-J. Allerdings stellen diese Ansätze hohe Anforderungen an die GPU-RAM-Kapazität und den Speicherplatz. Andere kostenlose Alternativen, die für allgemein zugängliche Hardware geeignet sind, haben bisher nicht das Leistungsniveau von GPT-3 erreichen können.

Ja dann sind ja auch ALLE Daten Open Source... möchte man meinen...

Sie können nach LLaMA suchen, das ein LLM ist, welches in Größen von 7B bis 65B Parametern verfügbar ist (dies ist “B” wie in “Milliarden Parametern”, welche in Matrizen als Gleitkommazahlen gespeichert sind, welche das Modell “kennt”). LLaMA gab eine beeindruckende Behauptung ab: dass seine kleineren Modelle die Qualität und Geschwindigkeit von GPT-3 von OpenAI erreichen können, dem grundlegenden Modell, das ChatGPT antreibt. Es gab jedoch ein Problem – Meta veröffentlichte den Code für LLaMA als Open Source, hielt aber die “Gewichte” (das trainierte “Wissen”, das in einem neuronalen Netzwerk gespeichert ist) nur für qualifizierte Forscher zurück.

Aber braucht ChatGPT nicht deutlich mehr Rechenleistung?

Die Einschränkungen, die Meta für LLaMA festlegte, wurden nicht lange beibehalten, denn jemand hat am 2. März die Gewichte für LLaMA auf BitTorrent geleakt. Seitdem hat sich die Entwicklung rund um LLaMA rasant entwickelt. Ein unabhängiger KI-Forscher namens Simon Willison hat diese Situation mit der Veröffentlichung von Stable Diffusion verglichen, einem Open-Source-Modell für Bildsynthese, das im vergangenen August vorgestellt wurde.

Normalerweise erfordert die Ausführung von GPT-3 mehrere GPUs der Rechenzentrumsklasse, und die Gewichte des Modells sind nicht öffentlich zugänglich. LLaMA hat jedoch kürzlich für Aufregung gesorgt, da es auf einer einzelnen, leistungsstarken GPU für Endverbraucher ausgeführt werden kann. Es wurden auch Optimierungen durchgeführt, die die Modellgröße durch die Verwendung von Quantisierungstechniken reduzieren, was es ermöglicht, LLaMA auf kleineren GPUs wie dem M1-Mac oder einer kleineren Nvidia-Verbraucher-GPU auszuführen. Derzeit wird “llama.cpp” nur auf der CPU ausgeführt, was beeindruckend und auf seine eigene Weise überraschend ist.

Es kann schwierig sein, mit den neuesten Entwicklungen Schritt zu halten, da sich die Dinge manchmal sehr schnell bewegen. Ein anderer KI-Reporter beschrieb die Fortschrittsrate der KI gegenüber Ars als vergleichbar mit einem Video von Hunden, die mit einer Kiste voller Tennisbälle überhäuft werden. Die Hunde wissen nicht, wohin sie zuerst jagen sollen und geraten in Verwirrung. Da wollen wir doch mal hoffen dass wir nicht am Ende singen: “Who let the dogs out?”…