AI/ML hızlandırıcılarında başarılı çip tasarımcıları, belleği kısıp maksimum MAC sayısını artırmakın uygun bir strateji olmadığını anlarlar. Silikon maliyeti endişe verici olsa da, bellek kaynaklarında taviz vermek performansı olumsuz etkileyebilir ve genel başarıyı engelleyebilir. Birden çok tarafın işbirliği yaptığı karmaşık elektronik tedarik zincirinde, gelecekteki ML iş yüklerini ve sistemin davranışını doğru bir şekilde tahmin etmek zorlaşır. Peki, çip tasarımcıları “Maksimum TOPS / Minimum Alan” seçeneğine varsayım yapmadan nasıl bilinçli seçimler yapabilir?
Bu süreçte varsayımlar ölümcül olabilir. Birçok SoC ekibi, makine öğrenimi çıkarımı için kendi hızlandırıcılarına güvenir, ancak bu hızlandırıcılar genellikle doğru simülasyon modellerine sahip değildir ve zaman alıcı kapı seviyesi simülasyonları gerektirir. Bu sınırlı bilgi sıklıkla ölümcül varsayımlara yol açar. Yaygın bir hata, bellek kullanım desenlerinin ağlar evrildikçe değişmeyeceği varsayımıdır. Başka bir riskli varsayım, zaman içinde kaynak çekişmesini dikkate almadan sabit bir harici bant genişliği yüzdesi atamaktır.
Tampon bellek olarak daha fazla SRAM eklemek açık bir çözüm gibi görünebilir, ancak bu sorunu tamamen çözmeyebilir. Esnek bellek erişim desenlerine sahip donanımsal durum makinesi hızlandırıcıları hala aşırı küçük blok transfer taleplerine neden olabilir ve performansı olumsuz etkileyebilir. Anahtar, doğru bellek dengesini bulmaktadır.
Çözüm iki yönüyle ilgilidir. İlk olarak, yeni ağlar için esnek, kod tabanlı bir uygulamayla yerel SRAM belleği akıllıca yöneten bir makine öğrenimi çıkarım işlemi çözümü seçmek, harici talepleri en aza indirebilir. İkinci olarak, grafik yürütmede ihtiyaç duyulacak verileri önceden tahmin eden ve alt sistemde yonga üzeri ve yonga dışı bellek kaynaklarından değişken yanıt sürelerine dayanabilen bir hızlandırma çözümü seçmek.
Quadric’in Chimera GPNPU’su, zekice bir yaklaşımıyla bellek zorluğunu ele alır. ML grafiklerindeki veri kullanımını analiz ederek ve gelişmiş operatör birleştirme tekniklerinden faydalanarak Quadric’in teknolojisi bellek darboğazlarını hafifletir. Chimera GPNPU, farklı sistem gereksinimlerine uygun bir dizi yerel tampon bellek yapılandırması (1 MB – 32 MB) sunar. İyi performans için daha büyük yerel belleklere ihtiyaç olduğu varsayımının aksine, Quadric’in çözümü, nispeten küçük yerel bellek yapılandırmalarıyla bile sistem kaynak çekişmesine karşı dikkate değer tolerans göstermektedir.
Quadric’in Chimera Grafik Derleyicisi tarafından sağlanan kapsamlı sistem simülasyon yetenekleri ve akıllı veri önbellekleme, sistemin dayanıklılığını artırır ve optimal performansı sağlar. Quadric’in ML çözümüyle çip tasarımcıları kaynak seçimlerinde emin olabilir ve belirsizlikten kaçınabilirler. Programlanabilirlik, modelleme yeteneği ve akıllı bellek yönetimi sunan bir çözüm seçerek tasarımcılar, tapeout öncesi seçimlerine kesinlikle emin olabilirler, böylece üstün AI/ML hızlandırma yeteneklerine sahip başarılı çip tasarımlarına ulaşabilirler.
The source of the article is from the blog enp.gr