Најновите AI модели SAM 3 и SAM 3D на Meta AI овозможуваат детекција на објекти преку текст и реконструкција на тродимензионални модели од една слика, отворајќи нови можности за креатори, компании и истражувачи.
Meta Platforms објави значајна надградба на својата Segment Anything колекција со лансирањето на SAM 3 и SAM 3D моделите. Новите алатки претставуваат голем чекор напред во областа на компјутерската визија, овозможувајќи корисниците да препознаваат, следат и реконструираат објекти на начини кои досега беа достапни само во напредни истражувачки лаборатории.
SAM 3: Препознавање објекти со природен јазик
SAM 3 овозможува детекција и следење на објекти во слики и видеа преку текстуални промпти, значително го олеснувајќи процесот на уредување. За разлика од претходните модели кои можеа да препознаат само општи категории како “автомобил”, SAM 3 разбира комплексни барања како “жолт училишен автобус” или “луѓе што седат, но не носат црвена бејзбол капа”.
Моделот постигна zero-shot mask average precision резултат од 47.0 на LVIS бенчмарк тестот, што претставува зголемување од 22 проценти во споредба со претходните системи. Уште поimpresивно е брзината: SAM 3 работи со околу 30 милисекунди по кадар на H200 GPU и може да обработува повеќе од 100 објекти истовремено.
Meta веќе го интегрира SAM 3 во својата апликација Edits за креирање на видеа, додека планира понатамошна интеграција во Vibes, TikTok-сличната платформа за кратки видеа. Ова укажува дека компанијата го смета моделот како клучен диференцијатор низ целото свое производно портфолио.
SAM 3D: Две специјализирани алатки за 3D реконструкција
Најголемата новина е SAM 3D моделот, кој може да креира детални тродимензионални реконструкции од една единствена фотографија. Системот се состои од два посебни модела: SAM 3D Objects за реконструкција на објекти и сцени, и SAM 3D Body за проценка на човечко тело и форма.
SAM 3D Objects работи со окружувања од реалниот свет, овозможувајќи им на корисниците да селектираат било кој објект на фотографија и веднаш да генерираат 3D mesh модел. Ова отвора можности за примена во е-трговијата, дизајнот на интериер и игрите.
SAM 3D Body оди чекор понатаму во реконструкција на човечки тела. Изграден на новиот Meta Momentum Human Rig (MHR), моделот ги раздвојува скелетната структура од формата на меките ткива, нудејќи интерпретабилни и аниматибилни 3D човечки модели за VR, гејминг и спортска анализа.
Практични примени и достапност
Meta веќе го користи SAM 3D во пракса. Компанијата го имплементира моделот за новата функција “View in Room” на Facebook Marketplace, која им овозможува на купувачите да визуелизираат како намештајот би изгледал во нивниот дом пред купување.
Двата модела се достапни преку новата Segment Anything Playground платформа, која нуди пристап до најсовремените модели без потреба од техничка експертиза. Корисниците едноставно можат да качат фотографија или видео и да користат кратки текстуални промпти за да издвојат објекти или да креираат 3D визуелизации.
Отворен пристап за истражувачката заедница
Meta ги споделува SAM 3 тежините на моделот, евалуациските бенчмарци и истражувачките трудови со пошироката истражувачка заедница. За SAM 3D, компанијата објавува контролни точки на моделот и код за инференција, заедно со нов бенчмарк за 3D реконструкција.
Ова претставува калкулирана стратегија дека давањето на технологијата ќе ја забрза адопцијата и ќе ја цементира позицијата на Meta како водечка платформа за AI креативни алатки. Партнерството со Roboflow им овозможува на програмерите да ги анотираат податоците и прецизно да го прилагодат SAM 3 за специфични случаи на употреба.
Технички достигнувања и идни перспективи
Според Meta, во директни тестови на човечки преференции, SAM 3D Body постигнува најмалку 5:1 соодност на победи наспроти другите водечки модели. Оваа предност е особено релевантна за примени во проширената реалност и гејмингот, каде што брзото генерирање на содржини е критично.
Новиот податочен engine со “Human-in-the-Loop” пристап анотираше речиси 1 милион слики од физичкиот свет, генерирајќи преку 3 милиони верификувани meshes. Овој пристап го надминува јазот помеѓу синтетички тренирани модели и реални сценарија.
Потенцијалот на SAM 3D може значително да ги унапреди критични области како роботика, наука и спортска медицина, но исто така има широк спектар на креативни употреби. Од истражувачи што истражуваат нови граници во AR/VR, креатори кои сакаат да генерираат средства за игри, до компании кои сакаат да понудат виртуелни искуства на своите клиенти, SAM 3D отвора нови начини за интеракција со визуелниот свет.
Со овие објави, Meta јасно покажува дека сака да доминира во областа на визуелната вештачка интелигенција, додека другите технолошки гиганти се фокусираат главно на големите јазични модели. Времето ќе покаже дали оваа стратегија ќе ја постави компанијата во водечка позиција во ерата на проширената и виртуелната реалност.
Оваа содржина е генерирана со помош на вештачка интелигенција, но е внимателно проверена, уредена и дополнета од уредничкиот тим на IT.mk, со цел да обезбедиме точни, релевантни и квалитетни информации за читателите.
Стани премиум член и доби пристап до сите содржини, специјален попуст на над 2.200 производи во ИТ маркет, верификуван профил и можност за огласување на ИТ Огласник. Плус ќе го поддржиш медиумот кој го градиме цели 16 години!
Доколку веќе имаш премиум членство, најави се тука.
