כל תכני עושים היסטוריה

איך באמת מריצים LLM בסקייל עצום? [עושים תוכנה]

41 min · 18 mei 2026
aflevering איך באמת מריצים LLM בסקייל עצום? [עושים תוכנה] artwork

Beschrijving

מה הופך בקשה אחת ל-LLM למורכבת כל כך מאחורי הקלעים? איך מאות מיליארדי פרמטרים נדחסים על עשרות GPUs, ואיך כל ה-cluster הזה משרת אלפי משתמשים במקביל בלי להתפוצץ? אירחתי את מייק ארליכסון, אושייה בעולם הAI, ופירקנו את עולם ה-inference מבפנים: KV cache, batching, ההבדל בין prefill ל-decode, חלוקה של מודל בין GPUs שונים, ו-Mixture of Experts. דיברנו גם על למה זה הפך לאחד התחומים הכי קריטיים בעולם ה-AI - וגם איך נכנסים אליו אם אתם מהנדסים שרוצים להתחיל להריץ מודלים בעצמכם. האזנה נעימה, עמית בן דור.

Reacties

0

Wees de eerste die een reactie plaatst

Meld je nu aan en word lid van de כל תכני עושים היסטוריה community!

Probeer gratis

Probeer 14 dagen gratis

€ 9,99 / maand na proefperiode. · Elk moment opzegbaar.

  • Podcasts die je alleen op Podimo hoort
  • 20 uur luisterboeken / maand
  • Gratis podcasts

Alle afleveringen

997 afleveringen

aflevering פרק 6: מה עושים כשהכל קורס? בינה מלאכותית ובודהיזם [מיינדפול ביזנס] artwork

פרק 6: מה עושים כשהכל קורס? בינה מלאכותית ובודהיזם [מיינדפול ביזנס]

מאז תחילת שנת 2020 אנו חווים מתח מתמיד. הקורונה, טבח השביעי באוקטובר והמלחמות מאז בעזה, לבנון ואיראן גורמים לשחיקה נפשית גם לאלו שלא נפגעו ישירות . מילואימניקים רבים מתמודדים בנוסף עם עם קשיי פרנסה . קשיים אלה מתגברים כתוצאה ממהפכת הAI שבד בבד עם יתרונותיה הרבים גם פוגעת בפרנסתם של רבים . בפרק השישי והאחרון של מיינדפול ביזנס, עורך הדין ואיש העסקים רון גזית והעיתונאית ליאת רגב דנים בסוגיה - איך אנשי עסקים צריכים להתמודד עם הלחץ שנוצר כאשר הכל קורס? ולמה דווקא עקרונות כמו מדיטציה ומיינדפולנס יכולים לעזור לנו לנהל טוב יותר ולהתמודד טוב יותר עם מתח וחרדה .

1 jun 202630 min