HumanOmni's Branchenführerschaft
HumanOmni, das vom HumanMLLM-Team entwickelt und auf GitHub veröffentlicht wurde, ist derzeit das erste multimodale Makromodell der Branche, dessen Kernaufgabe die menschliche Videoanalyse ist. Das Modell integriert innovativ 2,4 Millionen menschenzentrierte Videoclips und 14 Millionen Anweisungsdaten für das Vortraining und verwendet 50.000 fein gelabelte Videoclips für die Feinabstimmung.
Ihre Grundwerte spiegeln sich in drei Bereichen wider:
- Vollständige Dimensionen der AnalyseGleichzeitige Erfassung von Gesichtsausdruck, Körperbewegung und interaktiver Szenenerkennung
- Dynamische IntegrationsmechanismenDie Gewichte der drei Analysezweige können automatisch entsprechend den Eingaben angepasst werden.
- Open-Source-EigenschaftenVollständige Verfügbarkeit von Code, vortrainierten Modellen und partiellen Datensätzen
Im Vergleich zu traditionellen unimodalen Modellen erreicht HumanOmni einen UAR von 74,861 TP3T auf dem DFEW-Emotionserkennungsdatensatz und liegt damit deutlich vor den 50,571 TP3T von GPT4-O. Diese bahnbrechende Leistung bestätigt seine technologische Überlegenheit als Domain-First-Modell.
Diese Antwort stammt aus dem ArtikelHumanOmni: ein multimodales Makromodell zur Analyse menschlicher Videoemotionen und -handlungenDie
