Intel Xeon, Core™ Ultra i AI PC ubrzavaju GenAI radna opterećenja

Kao dio svoje misije da donese AI svugdje, Intel investira u softversku i AI ekosistem kako bi osigurao da su njegovi proizvodi spremni za najnovije inovacije u dinamičnom svijetu AI-a. U data centru, Intel Gaudi i Intel Xeon procesori s Intel® Advanced Matrix Extension (Intel® AMX) ubrzanjem pružaju korisnicima opcije za ispunjenje dinamičnih i raznovrsnih zahtjeva.

Intel Core Ultra procesori i Intel Arc grafički proizvodi pružaju i lokalno razvojno sredstvo i implementaciju na milijunima uređaja uz podršku za sveobuhvatne softverske okvire i alate, uključujući PyTorch i Intel® Extension za PyTorch® koji se koriste za lokalno istraživanje i razvoj, te OpenVINO™ alatni set za razvoj i zaključivanje modela.

Intelova početna testiranja i rezultati performansi za Llama 3 8B i 70B modele koriste open source softver, uključujući PyTorch, DeepSpeed, Intel Optimum Habana biblioteku i Intel Extension for PyTorch kako bi pružili najnovije softverske optimizacije.

Intel Xeon procesori obrađuju zahtjevna AI opterećenja od početka do kraja, a Intel ulaže u optimizaciju LLM rezultata kako bi smanjio latenciju. Intel® Xeon® 6 procesori sa performansnim jezgrama (kodnog imena Granite Rapids) pokazuju dvostruko poboljšanje u latenciji inferencije Llama 3 8B u poređenju sa Intel® Xeon® procesorima 4. generacije, te sposobnost izvršavanja većih jezičnih modela, poput Llama 3 70B, ispod 100ms po generisanom tokenu.

Intel Core Ultra i Intel Arc Graphics grafičke kartice pružaju impresivne performanse za Llama 3. U početnom krugu testiranja, Intel Core Ultra procesori već generišu brže od tipičnih brzina ljudskog čitanja. Nadalje, Intel® Arc™ A770 GPU ima Xe Matrix eXtensions (XMX) AI ubrzanje i 16GB posvećene memorije kako bi pružio izuzetne performanse za LLM opterećenja.