כל תכני עושים היסטוריה

איך באמת מריצים LLM בסקייל עצום? [עושים תוכנה]

41 min · 18. touko 2026
jakson איך באמת מריצים LLM בסקייל עצום? [עושים תוכנה] kansikuva

Kuvaus

מה הופך בקשה אחת ל-LLM למורכבת כל כך מאחורי הקלעים? איך מאות מיליארדי פרמטרים נדחסים על עשרות GPUs, ואיך כל ה-cluster הזה משרת אלפי משתמשים במקביל בלי להתפוצץ? אירחתי את מייק ארליכסון, אושייה בעולם הAI, ופירקנו את עולם ה-inference מבפנים: KV cache, batching, ההבדל בין prefill ל-decode, חלוקה של מודל בין GPUs שונים, ו-Mixture of Experts. דיברנו גם על למה זה הפך לאחד התחומים הכי קריטיים בעולם ה-AI - וגם איך נכנסים אליו אם אתם מהנדסים שרוצים להתחיל להריץ מודלים בעצמכם. האזנה נעימה, עמית בן דור.

Kommentit

0

Ole ensimmäinen kommentoija

Rekisteröidy nyt ja liity כל תכני עושים היסטוריה-yhteisöön!

Aloita maksutta

14 vrk ilmainen kokeilu

Kokeilun jälkeen 7,99 € / kuukausi. · Peru milloin tahansa.

  • Podimon podcastit
  • 20 kuunteluaikaa / kuukausi
  • Lataa offline-käyttöön

Kaikki jaksot

997 jaksot

jakson פרק 6: מה עושים כשהכל קורס? בינה מלאכותית ובודהיזם [מיינדפול ביזנס] kansikuva

פרק 6: מה עושים כשהכל קורס? בינה מלאכותית ובודהיזם [מיינדפול ביזנס]

מאז תחילת שנת 2020 אנו חווים מתח מתמיד. הקורונה, טבח השביעי באוקטובר והמלחמות מאז בעזה, לבנון ואיראן גורמים לשחיקה נפשית גם לאלו שלא נפגעו ישירות . מילואימניקים רבים מתמודדים בנוסף עם עם קשיי פרנסה . קשיים אלה מתגברים כתוצאה ממהפכת הAI שבד בבד עם יתרונותיה הרבים גם פוגעת בפרנסתם של רבים . בפרק השישי והאחרון של מיינדפול ביזנס, עורך הדין ואיש העסקים רון גזית והעיתונאית ליאת רגב דנים בסוגיה - איך אנשי עסקים צריכים להתמודד עם הלחץ שנוצר כאשר הכל קורס? ולמה דווקא עקרונות כמו מדיטציה ומיינדפולנס יכולים לעזור לנו לנהל טוב יותר ולהתמודד טוב יותר עם מתח וחרדה .

1. kesä 202630 min