Google използва видеоклипове в youtube от предизвикателството на манекена, за да тренира своя ai

Съдържание:

Какво трябва да знаете
Вземете повече Pixel 3a
Google Pixel 3a

Какво трябва да знаете

Google тренира своя ИИ за създаване на дълбочинни карти, изолиращи човешки предмети на сцената, използвайки само една камера.
Като отправна точка, Google използва 2000 видеоклипа в YouTube от Mannequin Challenge, за да обучи AI.
Резултатите ще доведат до възможността да се добавят ефекти към видеоклипове, като портретен режим, и да се използват за усъвършенствана реалност.

В неотдавнашна публикация в блога Google подробно описа как работи върху възприемането на дълбочина във видеоклипове, в които се движат и камерата, и обектът. Като начало, изследването се нуждаеше от достъп до огромно количество данни, за да обучи AI, а първата логична стъпка беше обучението му да открива хора в сцена, в която камерата се движи, но хората бяха статични.

Както се оказва, Google разполагаше с перфектния ресурс за тези данни под формата на видеоклипове в YouTube, които бяха заснети за предизвикателството Mannequin. В това предизвикателство човек или група хора биха стояли напълно неподвижно като камера, панорамна около позицията си. Google използва 2000 видеоклипа от предизвикателството, за да помогне за обучението на AI да открива човешки фигури в най-различни сцени.

Нещо, което прави това изследване още по-интересно, е фактът, че Google преподава своя AI да създава карти на дълбочина, като използва кадри, заснети с помощта на само една камера. Повечето пъти трябва да се използват множество камери, за да се усети информация за дълбочината в дадена сцена.

Google вече използва нещо подобно за неподвижните изображения, за да създаде ефект на портретен режим на телефоните Pixel. Това обаче се отнася само за неподвижните изображения. Новият метод, който Google разработва, обучава своя AI да създава карта на дълбочина, където и камерата, и обектът се движат в рамките на една сцена.

Чрез разклоняване във видеоклипове, той ще отвори функции в бъдеще за създаване на bokeh във видео сцени, подобни на портретен режим на вашия телефон. Друго предимство от това проучване ще бъдат подобрените резултати за разширена реалност, като Playmojis от Google Playground.

Друга възможност ще бъде създаването на 3D изображения от 2D сцени. Въпреки че хардуерът на камерата винаги е бил от съществено значение за фотографията и видеографията, това, което Google е направил през годините със софтуера, показва, че в бъдеще алгоритмите ще бъдат също толкова важни и ще помогнат да осигурят нови изживявания.