Özet: Oak Ridge National Laboratory’deki araştırmacılar, dünyanın en güçlü süper bilgisayarı Frontier’ı kullanarak bir trilyon parametreye sahip büyük bir dil modelini (LLM) eğitmek için süper bilgisayarın gücünden yararlandılar. Tensor paralelizmi, boru hattı paralelizmi ve veri paralelizminin bir kombinasyonunu kullanarak, farklı boyutlardaki modeller için daha hızlı eğitim süreleri ve zirve çıktılar elde etmeyi başardılar. Ancak, araştırmacılar henüz LLM’nin eğitim süreleri hakkında spesifik zaman aralıklarını açıklamadılar.
Süper bilgisayarlar genellikle LLM eğitimi için kullanılmaz, çünkü daha özelleştirilmiş sunucular ve önemli ölçüde daha fazla GPU gerektirirler. Karşılaştırma yapmak gerekirse, popüler bir dil modeli olan ChatGPT, 20.000’den fazla GPU üzerinde eğitildi. Bununla birlikte, Oak Ridge National Laboratory’deki araştırmacılar LLM’lerin süper bilgisayarlarda eğitim potansiyelini keşfetmek ve verimliliği artırıp artıramayacaklarını belirlemek istediler.
Karşılaştıkları zorluklardan biri, her bir bireysel GPU’nun sınırlı VRAM’ıydı. Bunun üstesinden gelmek için araştırmacılar birden çok GPU’yu bir araya getirdiler ve bileşenler arasında paralel iletişimi optimize ettiler. Bu, LLM’nin boyutu arttıkça kaynakların daha iyi kullanılmasını sağladı.
Yeni yaklaşımlarıyla, araştırmacılar etkileyici sonuçlar elde ettiler. Eğittiği farklı parametre ölçekli modeller için, zirve çıktıları %31,96 ila %38,38 arasında değişen değerlerde elde ettiler. Ayrıca, daha büyük modeller için %100 zayıf ölçeklenebilirlik verimliliği ve %87,05 ila %89,93 arasında güçlü ölçeklenme performansı sergilediler.
Araştırmacılar, kullanılan hesaplama kaynakları ve kullanılan teknikler hakkında açıkça bilgi paylaşmış olsa da, henüz eğitim süreleri hakkında spesifik ayrıntılar sağlamadılar. Bu, süper bilgisayarlarda LLM’leri geleneksel yöntemlere kıyasla ne kadar daha hızlı eğitebileceğimize dair bir soru işareti bırakıyor.
Bu araştırma, büyük dil modellerini daha verimli bir şekilde eğitmek için yeni olanaklar sunuyor. Özelleştirilmiş tekniklerin ve süper bilgisayarların muazzam hesaplama gücünün birleşimi, doğal dil işleme ve yapay zeka alanında daha ileri gelişmeler için umut verici bir yol sunmaktadır. Daha fazla araştırmacının bu yeni eğitim tekniklerini keşfetmesiyle, gelecekte daha etkileyici dil modelleri görmeyi bekleyebiliriz.
The source of the article is from the blog be3.sk