NVIDIA AR SDK debuterer i populært OBS-plugin StreamFX, der muliggør ansigtsgenkendelse gennem standardwebcam

NVIDIA har officielt lanceret sit længe ventede Augmented Reality (AR) Software Development Kit (SDK) optimeret til Live Streaming, Gaming samt videokonference platforme. Teknologien har debuteret i StreamFX, et meget populært OBS-plugin. Teknologien lover nogle fantastiske muligheder, herunder detektering og låsning på ansigter og oprettelse af et 3D-mesh af et ansigt, alt sammen ved hjælp af et standardwebkamera.

NVIDIA har nu introduceret AR SDK til Live Streaming, som bringer kunstig intelligens (AI) til de stadig mere populære og udbredte fjernværktøjer til webkonference, kommunikation og samarbejde. Teknologien hævdes også at hjælpe spillere. Overraskende nok kan brugere drage fordel af tilføjelsen af ​​AI med et standardwebcam, hævder NVIDIA.

Hvordan fungerer NVIDIA AI AR SDK til live streaming?

Som forventet bruger NVIDIA AR SDK, også kendt som NVIDIA RTX Broadcast Engine, de kraftfulde og alsidige Tensor Cores på NVIDIA RTX GPU'er. SDK kan muliggøre hurtig og angiveligt højkvalitetssporing gennem et eksklusivt skybaseret AI-netværk, der blev lanceret sidste år. NVIDIA hævder, at teknologien og netværket kan levere nøjagtig ansigtssporing; ansigt milepælsporing af ansigtsform, læber, øjne, øjenbryn og næse med 3 frihedsgrader; og et avanceret ansigtsnet (en 3D-rekonstruktion af et menneskeligt ansigt og hoved udgør) med 6 frihedsgrader.

NVIDIA AI AR SDK til Live Streaming har debuteret gennem StreamFX, et populært plugin til OBS (Open Broadcaster Software). AR SDK er nu tilgængelig på GitHub. Interesserede udviklere kan også bruge det samme ved at downloade det fra NVIDIAs websted.

Den nye version af StreamFX bruger SDK til at oprette et smart kamera, der automatisk beskærer og zoomer ind på brugeren og holder dem centreret i rammen, når de bevæger sig. På tale om den spændende nye udvikling sagde Michael Fabian 'Xaymar' Dirks, StreamFX Author,

”Det nye Face Tracking-filter i StreamFX krævede kompleks matematik- og maskinindlæring, der ville have taget måneder, hvis ikke år, at indstille til at køre på mange maskiner. Takket være NVIDIAs AR SDK blev det dog gjort på ingen tid overhovedet og kører på enhver NVIDIA RTX-hardware, der bliver mere og mere almindelig takket være NVENC H.264-koderen på den. Dette har drastisk reduceret den nødvendige udviklingstid fra år til kun to uger og uden ekstra omkostninger. ”

Hvad Fabian tydeligt antydede var, at udviklere nu har en stærk SDK, som NVIDIA har introduceret for at øge mulighederne og funktionerne i flere platforme med AI-baseret AR væsentligt. Det er overflødigt at tilføje, at spiludviklere, live konferencer såvel som live streaming platforme er indstillet til at vinde utroligt meget fra NVIDIA-platformen. Simpelthen for at opsummere udvider NVIDIA AR SDK, som bringer kraften fra AI til live streaming, følgende funktioner gennem et standardwebcam:

• Sporing af ansigter på kameraet for at identificere et eller flere motiver på et billede,
• Overlejring af aktiver på en person for at lægge kostumer eller effekter på mennesker,
• Kontrol af en animeret eller spilkarakter med dit ansigt og hovedbevægelser.

Det er vigtigt at bemærke, at NVIDIA har tilbudt sin AR SDK som en åben beta-platform. Dette betyder klart, at udviklere bør forvente et par fejl og opfordres til at rapportere det samme til NVIDIA for yderligere finjustering af platformen.