Anthropic bietet kleinen Einblick in das Innere eines großen KI-Modells

  • 📰 heise_de
  • ⏱ Reading Time:
  • 66 sec. here
  • 4 min. at publisher
  • 📊 Quality Score:
  • News: 33%
  • Publisher: 68%

Anthropic Nachrichten

Künstliche Intelligenz

Mit einer speziellen Analysemethode haben Anthropic-Forscher Einblicke in die internen Repräsentationen ihres Sprachmodells Claude 3 Sonnet gewonnen.

Die verwendete Methode basiert auf der Idee, dass künstliche neuronale Netze Konzepte in Form von Aktivierungsmustern in ihren internen Schichten repräsentieren. Durch die Analyse dieser Muster können die gelernten Konzepte sichtbar gemacht werden.Konkret nutzten die Forscher eine Technik namens "Dictionary Learning".

Darüber hinaus fanden die Forscher Hinweise auf eine hierarchische Organisation der Merkmale. So spaltet sich etwa ein allgemeines Feature "San Francisco" bei einer detaillierteren Analyse in mehrere spezifischere Features für einzelne Sehenswürdigkeiten und Stadtteile auf. Ähnliches gilt für Länderfeatures wie Kanada oder Island, die sich bei näherer Betrachtung in Unterfeatures zu Geografie, Kultur und Politik aufspalten..

"Die Merkmale, die wir gefunden haben, stellen nur eine kleine Teilmenge aller Konzepte dar, die das Modell während des Trainings gelernt hat. Mit unseren heutigen Techniken wäre es viel zu rechenintensiv, einen vollständigen Satz von Merkmalen zu finden – der dafür notwendige Rechenaufwand würde die für das Training des Modells verwendete Rechenleistung bei Weitem übersteigen.

Die Forscher stießen auch auf potenziell problematische Eigenschaften des Modells. So gibt es Funktionen, die auf die Entwicklung von Biowaffen, Betrug oder Manipulation reagieren und das Verhalten des Modells entsprechend beeinflussen können.Die bloße Existenz dieser Funktionen bedeute nicht zwangsläufig, dass die Modelle gefährlich seien, heißt es in dem Papier.

Künstliche Intelligenz

 

Vielen Dank für Ihren Kommentar.Ihr Kommentar wird nach Prüfung veröffentlicht.
Wir haben diese Nachrichten zusammengefasst, damit Sie sie schnell lesen können. Wenn Sie sich für die Nachrichten interessieren, können Sie den vollständigen Text hier lesen. Weiterlesen:

 /  🏆 20. in DE

Deutschland Neuesten Nachrichten, Deutschland Schlagzeilen

Similar News:Sie können auch ähnliche Nachrichten wie diese lesen, die wir aus anderen Nachrichtenquellen gesammelt haben.

OpenAI-Rivale Anthropic holt Instagram-Mitgründer an BordSan Francisco - Mike Krieger gründete die Foto-App Instagram im Jahr 2010. Zuletzt entwickelte er eine News-App - jetzt hat er einen neuen Job.
Herkunft: nordbayern - 🏆 33. / 63 Weiterlesen »

Software: OpenAI-Rivale Anthropic holt Instagram-Mitgründer an BordMike Krieger gründete die Foto-App Instagram im Jahr 2010. Zuletzt entwickelte er eine News-App - jetzt hat er einen neuen Job.
Herkunft: focusonline - 🏆 6. / 82 Weiterlesen »

Software: OpenAI-Rivale Anthropic holt Instagram-Mitgründer an BordSan Francisco - Die mit dem ChatGPT-Erfinder Open AI konkurrierende KI-Firma Anthropic holt Instagram-Mitgründer Mike Krieger als Produktchef an Bord.
Herkunft: sternde - 🏆 31. / 63 Weiterlesen »

OpenAI-Rivale Anthropic holt Instagram-Mitgründer an BordMike Krieger gründete die Foto-App Instagram im Jahr 2010. Zuletzt entwickelte er eine News-App - jetzt hat er einen neuen Job.
Herkunft: AZ_Augsburg - 🏆 14. / 69 Weiterlesen »

OpenAI-Rivale Anthropic holt Instagram-Mitgründer an BordMike Krieger gründete die Foto-App Instagram im Jahr 2010. Zuletzt entwickelte er eine News-App - jetzt hat er einen neuen Job.
Herkunft: weserkurier - 🏆 55. / 62 Weiterlesen »

OpenAI-Rivale Anthropic holt Instagram-Mitgründer an BordMike Krieger gründete die Foto-App Instagram im Jahr 2010. Zuletzt entwickelte er eine News-App - jetzt hat er einen neuen Job.
Herkunft: express24 - 🏆 16. / 68 Weiterlesen »