Meta Segment Anything Model 3 (SAM 3) und Segment Anything Playground

Meta Segment Anything Model 3 (SAM 3) und Segment Anything Playground

Meta hat SAM 3 auf den Markt gebracht, ein fortschrittliches KI-Modell, das die Erkennung, Segmentierung und Verfolgung von Objekten in Bildern und Videos mit Hilfe von Text, Beispielen und visuellen Aufforderungen vereint. SAM 3 bietet eine verbesserte Flexibilität, indem es Aufforderungen mit offenem Vokabular zulässt und damit die Einschränkungen früherer Modelle, die auf feste Bezeichnungen beschränkt waren, überwindet. Zusammen mit der Modellfreigabe führt Meta den Segment Anything Playground ein - eine benutzerfreundliche Plattform zum Experimentieren mit den Fähigkeiten von SAM 3 ohne technisches Fachwissen.

Das Release umfasst Modell-Checkpoints, Evaluierungsdatensätze (SA-Co), Feinabstimmungscode und eine neue 3D-Rekonstruktionssuite (SAM 3D), die Funktionen wie Facebook Marketplace's "View in Room" zur Visualisierung von Wohnkultur ermöglicht. SAM 3 ist auch in Meta-Apps wie Edits und Vibes von Instagram integriert und ermöglicht es den Entwicklern, dynamische Effekte einfach anzuwenden.

Meta hat eine hybride KI-menschliche Annotationspipeline entwickelt, um einen großen, vielfältigen Trainingsdatensatz zu generieren, der die Datenbeschriftung bei gleichbleibend hoher Qualität beschleunigt. Die Modellarchitektur kombiniert Fortschritte wie den Meta Perception Encoder und DETR-basierte Erkennung und erreicht so eine hochmoderne Segmentierungsleistung mit schneller Inferenzgeschwindigkeit.

SAM 3 unterstützt bereits die wissenschaftliche Arbeit bei der Überwachung von Wildtieren und der Erforschung der Ozeane durch offene Datensätze wie SA-FARI und FathomNet. SAM 3 ist zwar leistungsfähig, steht aber noch vor Herausforderungen bei der Erkennung feinkörniger Konzepte und komplexer sprachlicher Aufforderungen, so dass an der Erweiterung seiner Fähigkeiten gearbeitet wird.

Meta ermutigt die KI-Gemeinschaft, auf SAM 3 aufzubauen und die öffentlich verfügbaren Ressourcen zu nutzen, um Innovationen in der visuellen KI zu fördern. Der Segment Anything Playground bietet Werkzeuge für die praktische Bearbeitung, das kreative Experimentieren und die Forschung und zeigt das breite Potenzial von SAM 3 in allen Branchen auf.