Intel, NPU Hızlandırma Kütüphanesini Açık Kaynak Olarak Sundu

Yazılımlarını en yeni Intel işlemcilere göre geliştirmek isteyenler NPU Hızlandırma adı verilen yeni bir kütüphaneden yararlanabilirler. Açık kaynak kodlu ve Python ile yazılan bu kitaplık, geliştiricilerin uygulamalarını Meteor Lake yongalarında bulunan Intel’in en yeni Sinir İşleme Birimi’ni (NPU) kullanarak optimize etmelerine yardımcı olmak için özel olarak tasarlandı.

Şu anda başka hiçbir Intel CPU’nun NPU içermediğine dikkat etmek önemli. Ancak Intel her ikisinde de yerleşik NPU birimleri bulunan Arrow Lake ve Lunar Lake’i bu yılın sonlarında piyasaya sürmeyi planlıyor. Intel’in Yazılım Mimarı ve Teknik Habercisi Tony Mongkolsmai’ye göre NPU Hızlandırma Kütüphanesi, Gemma-2b veya TinyLlama kompakt dil modellerinin kusursuz yerel olarak yürütülmesine olanak tanıyor.

Daha basit bir ifadeyle bu, geliştiricilerin yerel makinelerinde önemli zorluklarla karşılaşmadan kolayca AI sohbet uygulamaları oluşturabilecekleri anlamına geliyor. Intel Meteor Lake lansmanı sırasında yeteneklerini sergilemek için bu özelliği gösterdi. Tony, bu özelliği AI modelini Intel Core Ultra işlemciyle desteklenen MSI Prestige 16 AI dizüstü bilgisayarda çalıştırarak sundu.

NPU Hızlandırma Kütüphanesi Kullanımı Kaynak: Tony Mongkolsmai
1 – 2

NPU Hızlandırma Kütüphanesi Kullanımı Kaynak: Tony Mongkolsmai

Intel, NPU Hızlandırma Kitaplığını Açık Kaynak Olarak Sundu

NPU Hızlandırma Kütüphanesi Kullanımı Kaynak: Tony Mongkolsmai

Intel, NPU Hızlandırma Kitaplığını Açık Kaynak Olarak Sundu

Intel henüz diğer popüler AI formatları ve teknolojileri için belge sağlamadı ve Kitaplık desteğini genişletmedi. İşte desteklenen ve desteklenmeyenlerin listesi:

Desteklenen;

  • 8-bit niceleme
  • Float16 desteği
  • torch.compile desteği
  • LLM MLP yatay füzyon uygulaması
  • Statik şekil çıkarımı

Desteklenmeyen;

  • 4-bit niceleme ve GPTQ
  • NPU-Native karma hassas çıkarım
  • BFloat16
  • MHA NPU çıkarımı
  • NPU/GPU hetero hesaplama
  • Paper

Listede içi dolu daireler desteklenen, içi boş olan daireler ise desteklenmeyen format ve teknolojiler olarak gösterilmiştir. Kütüphanenin son kullanıcılara yönelik olmadığını belirtmekte fayda var.

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

xxx