Intel, NPU Hızlandırma Kütüphanesini Açık Kaynaklı Hale Getirdi

Intel NPU Hızlandırma Kütüphanesi, geliştiricilerin yapay zeka uygulamalarını en iyi şekilde optimize etmelerine yardımcı olmak amacıyla NPU (Sinir İşleme Birimi) Hızlandırma Kütüphanesini açık kaynaklı hale getirdi. Bu önemli adım, Intel’in Teknoloji Evangelisti Tony Mongkolsmai tarafından duyuruldu.

Python tabanlı bu kütüphane, Meteor Lake “Core Ultra” serisi gibi CPU’larda bulunan NPU’lardan yararlanmayı kolaylaştırıyor. Üst düzey bir arayüz sunan kütüphane, TensorFlow ve PyTorch gibi popüler çerçevelerle uyumlu çalışarak geliştiricilere yapay zeka görevlerini daha verimli bir şekilde gerçekleştirme imkanı tanıyor.

Tony, kütüphanenin performansını MSI Prestige 16 AI Evo dizüstü bilgisayarda test etti. Intel Core Ultra CPU’lu bu cihazda TinyLlama ve Gemma-2b-it LLM modellerini başarıyla çalıştırdı. Bu da Intel NPU’larının uç yapay zeka ortamlarını desteklemedeki potansiyelini ortaya koyuyor.

Intel NPU Hızlandırma Kütüphanesi, 8-bit ve 4-bit kuantizasyonu, NPU-yerel karma hassasiyetli çıkarımı, Float16, BFloat16 desteği, torch.compile desteği, LLM MLP yatay füzyonu, statik şekil çıkarımı, MHA NPU çıkarımı ve NPU/GPU hetero hesaplama gibi özelliklerle performansı artırmayı hedefliyor.

Bu kütüphanenin açık kaynak kodlu olması, Intel’in özel yapay zeka motorlarında çalışan uygulamaların gelişimini hızlandıracak. Gelecekte bu motorlar üzerinde daha da etkileyici gelişmelerin yaşanması bekleniyor.