Tre nye USE flersprogede moduler kommer til TensorFlow

Google er en af ​​pionererne inden for AI-forskning, og en lang række af deres projekter er ved at vende hovedet. AlphaZero fra Googles DeepMind team var et gennembrud inden for AI-forskning på grund af programmets evne til at lære komplicerede spil i sig selv (Uden menneskelig træning og intervention). Google har også udført fremragende arbejde i Programmer til behandling af naturligt sprog (NLP'er), hvilket er en af ​​årsagerne til Google Assistents effektivitet i forståelse og behandling af menneskelig tale.

Google annoncerede for nylig frigivelsen af ​​tre nye BRUG flersprogede moduler og give flere flersprogede modeller til hentning af semantisk lignende tekst.

Sprogbehandling i systemer er kommet langt, fra grundlæggende syntaks-træ-parsing til store vektor-associeringsmodeller. Forståelse af kontekst i tekst er et af de største problemer i NLP-feltet, og Universal Sentence Encoder løser dette ved at konvertere tekst til højdimensionelle vektorer, hvilket gør det lettere at rangordne og betegne tekst.

Ifølge Google “De tre nye moduler er alle bygget på semantisk hentningsarkitektur, som typisk deler kodningen af ​​spørgsmål og svar i separate neurale netværk, hvilket gør det muligt at søge blandt milliarder af potentielle svar inden for millisekunder.”Med andre ord, dette hjælper med bedre indeksering af data.

“Alle tre flersprogede moduler trænes ved hjælp af en multi-task dual-encoder-ramme, svarende til den originale USE-model til engelsk, mens vi bruger teknikker, som vi har udviklet til forbedring af dual-encoder med softmax-tilgang med additiv margin. De er designet ikke kun til at opretholde en god transfer læringsydelse, men til at udføre godt semantisk hentningsopgaver. ” Softmax-funktionen bruges ofte til at spare beregningskraft ved at eksponere vektorer og derefter dividere hvert element med summen af ​​det eksponentielle.

Semantisk hentningsarkitektur

”De tre nye moduler er alle bygget på semantiske hentningsarkitekturer, som typisk deler kodningen af ​​spørgsmål og svar i separate neurale netværk, hvilket gør det muligt at søge blandt milliarder af potentielle svar inden for millisekunder. Nøglen til at bruge dobbelte kodere til effektiv semantisk hentning er at forkode alle kandidatsvar på forventede inputforespørgsler og gemme dem i en vektordatabase, der er optimeret til at løse det nærmeste naboproblem, hvilket gør det muligt at søge et stort antal kandidater hurtigt med god præcision og tilbagekaldelse. ”

Du kan downloade disse moduler fra TensorFlow Hub. For yderligere læsning henvises til GoogleAI's fulde blogpost.