Bei der o1-Modellfamilie handelt es sich um fortgeschrittene Prozess-Schlussfolgermodelle, von denen das kleine o1-mini-Modell das Potenzial hat, in Bezug auf logisches Schlussfolgern stärker zu sein als o1-preview, obwohl die Fähigkeit zum Weltwissen eingeschränkt wurde.
Derzeit ist o1-mini nur für einige kostenlose Konten für Vorschau-Erfahrungen geöffnet, ob Ihr Konto offiziell geöffnet ist o1-mini Modell kann mit den folgenden Fragen Dekodierung überprüft werden:
oyfjdnisdr rtqwainr acxz mynzbhhx -> Think step by step
Use the example above to decode:
oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz
Die obige Frage zur Validierung stammt von OpenAI o1 Reasoning Ability Learning für große SprachmodelleWeitere Informationen über das Modell o1-mini finden Sie im folgenden Artikel. Einführung in das OpenAI o1-mini-Makromodell。
Wenn Sie kein kostenloses ChatGPT-Konto haben oder keinen Zugang zur o1-mini-Erfahrung, können Sie diese Seite besuchen:ChatGPT-Spiegelseite (inländischer Zugang zu Modellen der GPT4-Serie) Erfahrung.
Einige interessante Fragen zum OpenAI o1-Modell
Modellnamen und Inferenzmuster
- OpenAI o1 steht für eine neue Stufe der KI-Fähigkeit und der Zähler wird auf 1 zurückgesetzt
- "Vorschau" bedeutet, dass es sich um eine frühe Version des vollständigen Modells handelt.
- "Mini" bedeutet, dass es sich um eine kleinere, auf Geschwindigkeit optimierte Version des Modells o1 handelt.
- o - im Namen von OpenAI
- o1 ist kein "System", sondern ein Modell, mit dem die Schüler lernen, die Argumentationskette zu erweitern, bevor sie die endgültige Antwort geben.
- Das Symbol von o1 steht symbolisch für einen Außerirdischen mit außergewöhnlichen Fähigkeiten
o1 Modellgröße und Leistung
- o1-mini ist kleiner und schneller als o1-preview und wird daher in Zukunft für kostenlose Nutzer verfügbar sein
- o1-preview ist ein früher Kontrollpunkt im o1-Modell, weder zu groß noch zu klein
- o1-mini erbringt bessere Leistungen bei MINT-Aufgaben, ist aber beim Weltwissen eingeschränkt
- o1-mini schneidet bei einigen Aufgaben gut ab, insbesondere bei codebezogenen Aufgaben, besser als o1-preview
- Eingaben für o1 Token wird auf die gleiche Weise wie GPT-4o berechnet, wobei der gleiche Tokenizer verwendet wird
- Im Vergleich zu o1-preview kann o1-mini mehr Gedankenketten untersuchen
Eingabe-Token-Kontexte und Modell-Fähigkeiten
- o1-Modelle werden bald größere Eingabekontexte unterstützen
- Das Modell o1 kann längere, offenere Aufgaben bewältigen, ohne dass die Eingaben wie bei GPT-4o in Stücke geschnitten werden müssen.
- o1 kann im Gegensatz zu früheren Modellen lange Argumentationsketten erzeugen, bevor es eine Antwort gibt
- Derzeit ist es nicht möglich, die Inferenz während der CoT-Inferenz zu unterbrechen, um mehr Kontext hinzuzufügen, aber diese Funktion wird in zukünftigen Modellen erforscht.
Tools, Funktionen und zukünftige Funktionen
- o1-preview verwendet derzeit keine Tools, plant aber die Unterstützung von Funktionsaufrufen, Code-Interpretern und Browsing-Möglichkeiten
- Tool-Unterstützung, strukturierte Ausgabe und Systemhinweise werden in zukünftigen Updates hinzugefügt
- Nutzer können möglicherweise Denkzeiten und Token-Limits kontrollieren
- Es ist geplant, Streaming zu unterstützen und den Fortschritt bei den Schlussfolgerungen in der API zu berücksichtigen.
- Die multimodalen Fähigkeiten des o1 wurden mit dem Ziel eingebaut, bei Aufgaben wie dem MMMU die modernsten Leistungen zu erzielen
CoT (chain of reasoning) Argumentation
- o1 Generierung versteckter Inferenzketten während des Inferenzprozesses
- Keine Pläne, das CoT-Token für API-Benutzer oder ChatGPT offenzulegen
- CoT Token wird zusammengefasst, aber es gibt keine Garantie, dass es vollständig mit dem tatsächlichen Argumentationsprozess übereinstimmt
- Die Anweisungen im Prompt können die Art und Weise beeinflussen, wie das Modell über das Problem nachdenkt
- Verstärkungslernen (Reinforcement Learning, RL) wurde eingesetzt, um die CoT-Fähigkeit von o1 zu verbessern, während GPT-4o seine CoT-Leistung nicht allein durch Cueing erreichen konnte
- Während die Argumentationsphase langsamer zu sein scheint, ist die Generierung von Antworten in der Regel schneller, da sie den Argumentationsprozess zusammenfasst
API und Nutzungsbeschränkungen
- o1-mini hat ein wöchentliches Limit von 50 Prompts für ChatGPT Plus Benutzer
- Alle Stichwörter werden in ChatGPT gleich gezählt
- Weitere Ebenen des API-Zugangs und höhere Grenzwerte werden im Laufe der Zeit eingeführt
- Die Zwischenspeicherung von Hinweisen in APIs ist eine heiße Forderung, aber es gibt noch keinen Zeitplan
Preisgestaltung, Feinabstimmung und Erweiterung
- o1 Es wird erwartet, dass die Modellpreise alle 1-2 Jahre einem Abwärtstrend folgen werden
- API-Volumenpreise werden bei zunehmenden Beschränkungen unterstützt
- Die Feinabstimmung ist in Vorbereitung, aber der Zeitplan ist noch nicht festgelegt.
- o1 Expansion durch Engpässe in der Forschung und bei den Ingenieuren begrenzt
- Ein neues, erweitertes Paradigma für das Inferential Computing kann zu erheblichen Verbesserungen in zukünftigen Modellgenerationen führen
- Umgekehrte Erweiterungen sind zu diesem Zeitpunkt nicht signifikant, aber o1-preview schneidet nur geringfügig besser (oder sogar geringfügig schlechter) als GPT-4o bei einzelnen Schreibaufforderungen ab
Modellentwicklung und Forschungsergebnisse
- o1 Argumentationsfähigkeit durch intensives Lerntraining
- Das Modell zeigt kreatives Denken und zeichnet sich durch Querschnittsaufgaben wie Gedichte aus
- o1's philosophisches Denken und seine weitreichenden Argumentationsfähigkeiten sind beeindruckend, wie zum Beispiel das Entschlüsseln von Codes
- o1 wurde von Forschern verwendet, um einen GitHub-Bot zu erstellen, der die richtigen CODEOWNERS für Code-Reviews anpingt
- Bei den internen Tests hat o1 sich selbst schwierige Fragen gestellt, um seine Fähigkeit zu bewerten
- Umfassende Kenntnisse der Weltdomäne werden hinzugefügt und in zukünftigen Versionen verbessert
- Aktualisierte Daten sollen für o1-mini hinzugefügt werden (derzeit Oktober 2023)
Tipps Tipps und bewährte Praktiken
- o1 Profitieren Sie von der Bereitstellung von Tipps zu Grenzfällen oder Argumentationsstilen
- o1-Modelle sind empfänglicher für Argumentationshinweise in Hinweisen als frühere Modelle
- Die Bereitstellung von relevantem Kontext in Retrieval Augmented Generation (RAG) verbessert die Leistung; irrelevante Fragmente können die Schlussfolgerung schwächen
Allgemeines Feedback und zukünftige Verbesserungen
- o1-preview ist weniger restriktiv, da es sich noch in einer frühen Testphase befindet, aber es wird die Anzahl der
- Latenzzeiten und Inferenzzeiten werden aktiv verbessert
Signifikante Modellierungsfähigkeiten
- o1 kann über philosophische Fragen wie "Was ist Leben?" nachdenken.
- Forscher finden heraus, dass o1 sich durch die Bewältigung komplexer Aufgaben und durch umfassendes logisches Denken auf der Grundlage begrenzter Anweisungen auszeichnet
- o1's kreative Denkfähigkeiten, wie z.B. die Einschätzung ihrer Fähigkeiten durch das Stellen eigener Fragen, zeigen ein hohes Maß an Problemlösungskompetenz
