המאמר הומצא על ידי חוקרים בולטים בתעשיית המחשוב של חברת NVIDIA מצביע על הנצחה המתמידה שלה בתחום המלמודה המולצת. עם זיכרונות מרהיבים בהופיע ה-GPT-J עלול (LLM) של NVIDIA, אשר איימו ביצועים 3x יותר משארפונים, מראה את המחויבות של NVIDIA לשפר מודלים ולהעמיד את מקומה בתעשייה.
TensorRT-LLM של NVIDIA הוא כלי מותאם שפותח כדי לשפר משימות המיון עבור מודלי שפה גדולים (LLMs). הוא מפשט את התקנת פלטפורמת המיון של NVIDIA ומספק לעסקים ביעילות וגמישות בלתי רגילה. על ידי שימוש ב-TensorRT-LLM, חברות יכולות לייעל את המודלים שלהן ולהשיג רווחים ביצוע מרשימים.
המידדים של MLPerf גם הציגו את יכולות ה-GPU האחרון של NVIDIA, H200 Tensor Core, כאשר הם רצים את TensorRT-LLM. גרפי העברה יוצאי דופן אלו, יוצרים עד 31,000 רטיטים לשנייה ב- Llama 2 70B. ה-GPU H200, המשופר זכרו, מדגימים את המחויבות של NVIDIA למסירת חומרה ברמה גבוהה עבור יישומים גיונרטיביים .
לצד רווחי ביצועים, NVIDIA גם כיא צעדים חשובים בניהול חום עם ה GPU שלה H200. פתרונות מותאמים בניהול חום תרמי תרמי תרמי תרמי תרמי עד ל 14%. בנאי מערכות המשתמשים בערכות MGX של NVIDIA הוסיפו עוד יותר את יכולות הביצועים של GPU ההופר .
NVIDIA כבר התחילה לשלוח את ה-H200 GPUs לכ-20 מבני מערכות וספקי שירות ענן מובילים. עם אריכות זיכרון של כמעט 5 TB / שנייה, GPUs מספקים ביצועים מצוינים, במיוחד במערכות MLPerf בעלות צריכת זיכרון כגון מערכות ממליצים .
המחויבות של NVIDIA כדי להביא פתרונות AI ביצועים גבוהים ויעילים ניכרת בכניסתה לשיטות כריכה. על ידי שימוש בתכנית הצפיפות המבנית, NVIDIA הושגו שיפורי מהירות של עד 33% בכריכה עם Llama 2. מראה זאת את המחויבות של החברה להביא פתרונות AI ביצועים גבוהים ויעילים.
במבט לעתיד, מייסדה ו- CEO של NVIDIA, Jensen Huang, חשף במהלך הכנס האחרון של GTC כי מודלים ה- NVIDIA Blackwell שיצמידו יספקו אף ערכי ביצוע גבוהים יותר. מודלים אלה יועדו במיוחד לכיסוי דרישות מסיביות של מודלי שפה גדולים, מאפשרים לאימון ולכריכה של מודלי AI בעשרות מנדטים.
למידע נוסף על התקדמויותם של NVIDIA במלמודה המולצת ובמדדי MLPerf, בקרו ב-[NVIDIA Official Website](https://www.nvidia.com).
[הטבעת וידאו](https://www.youtube.com/embed/_SloSMr-gFI)
The source of the article is from the blog kewauneecomet.com