Microsofts spesialiserte maskinvare for AI-beregning kalles Brainwave, og den er skapt på en slik måte å kjøre et nevralt nettverk så raskt som mulig med minimum latens.

Selskapet kunngjorde at siden bruk av Brainwave, klarte det å få ti ganger raskere ytelse fra Bings AI. Maskinlæringsmodellen styrker i utgangspunktet søkemotorens funksjonalitet.

Microsofts mål som bør oppnås via Brainwave er å gi AI-spådommer i sanntid for apper som de nyeste Bing-funksjonene.

Bing får nye funksjoner

Microsoft gir også Bing noen få nye funksjoner, og de viktigste verdt å nevne tilbyr flere svar på spørsmål og støtte for å definere ord som ikke brukes så ofte når brukere hiver musepekeren over seg. Disse funksjonene er drevet av Brainwave.

Microsoft bruker Intels FPGA-er for å drive AI-beregning

FPGAer er en slags tomme lerreter som utviklere kan bruke når de vil distribuere forskjellige kretsløp ved å sende ny programvare. Dette innebærer en potent blanding av ytelse og programmerbarhet.

Nå kan Microsoft gjøre mer enn å lage raskere modeller med maskinvaren; selskapet kan også bygge mer sofistikerte AI-systemer. For eksempel er Bings Turing Prototype 1 nå ti ganger mer kompleks og raskere takket være beregningskapasiteten som er lagt til via Brainwave.

FGA-ene som er distribuert av Microsoft kommer med dedikerte digitale signalprosessorer om bord forbedret for kompleks AI-matematikk.

Hovedfordelen med FPGA-er

Den viktigste fordelen med FPGAer i forhold til GPU-ene (som ble det foretrukne valget for AI-beregning) er at de ikke krever omfattende bruk av batchberegninger.

En viktig innovasjon som gjør at Microsoft kan få så vellykkede resultater via FPGA-er, er bruken av 8- og 9-biters flytende punktdatatyper som radikalt øker ytelsen.

Intels FPGA-brikker lar Bing raskt lese og analysere milliarder av dokumenter på hele nettet og gi det beste svaret på spørsmålet ditt på mindre enn en brøkdel av et sekund.

Faktisk har Intels FPGA-er gjort oss i stand til å redusere latenstid for modellene våre med mer enn 10 ganger, samtidig som vi har økt modellstørrelsen med 10 ganger.

Bruken av FPGA-er for å akselerere AI-beregning dateres tilbake i 2012

Microsoft begynte å bruke FPGA-er for å forbedre hastigheten på AI-beregning for mer enn seks år siden da Bing-teamet begynte å bruke sjetongene. Alt dette er gode nyheter for Intel også. Selskapet kjøpte Altera, en FPGA-produsent i 2015, og avtalen på 16, 7 milliarder dollar ga Intel den nødvendige kraften for å brensel Microsofts behov frem til i dag.

Vi ser frem til å se Brainwave tilgjengelig via Microsoft Azure for å tilby kundene muligheten til å distribuere modellene sine.