כל תכני עושים היסטוריה

איך באמת מריצים LLM בסקייל עצום? [עושים תוכנה]

41 min · 18. mai 2026
episode איך באמת מריצים LLM בסקייל עצום? [עושים תוכנה] cover

Beskrivelse

מה הופך בקשה אחת ל-LLM למורכבת כל כך מאחורי הקלעים? איך מאות מיליארדי פרמטרים נדחסים על עשרות GPUs, ואיך כל ה-cluster הזה משרת אלפי משתמשים במקביל בלי להתפוצץ? אירחתי את מייק ארליכסון, אושייה בעולם הAI, ופירקנו את עולם ה-inference מבפנים: KV cache, batching, ההבדל בין prefill ל-decode, חלוקה של מודל בין GPUs שונים, ו-Mixture of Experts. דיברנו גם על למה זה הפך לאחד התחומים הכי קריטיים בעולם ה-AI - וגם איך נכנסים אליו אם אתם מהנדסים שרוצים להתחיל להריץ מודלים בעצמכם. האזנה נעימה, עמית בן דור.

Kommentarer

0

Vær den første til å kommentere

Registrer deg nå og bli medlem av כל תכני עושים היסטוריה sitt community!

Kom i gang

2 Måneder for 19 kr

Deretter 99 kr / Måned · Avslutt når som helst.

  • Eksklusive podkaster
  • 20 timer lydbøker i måneden
  • Gratis podkaster

Alle episoder

997 Episoder

episode פרק 6: מה עושים כשהכל קורס? בינה מלאכותית ובודהיזם [מיינדפול ביזנס] cover

פרק 6: מה עושים כשהכל קורס? בינה מלאכותית ובודהיזם [מיינדפול ביזנס]

מאז תחילת שנת 2020 אנו חווים מתח מתמיד. הקורונה, טבח השביעי באוקטובר והמלחמות מאז בעזה, לבנון ואיראן גורמים לשחיקה נפשית גם לאלו שלא נפגעו ישירות . מילואימניקים רבים מתמודדים בנוסף עם עם קשיי פרנסה . קשיים אלה מתגברים כתוצאה ממהפכת הAI שבד בבד עם יתרונותיה הרבים גם פוגעת בפרנסתם של רבים . בפרק השישי והאחרון של מיינדפול ביזנס, עורך הדין ואיש העסקים רון גזית והעיתונאית ליאת רגב דנים בסוגיה - איך אנשי עסקים צריכים להתמודד עם הלחץ שנוצר כאשר הכל קורס? ולמה דווקא עקרונות כמו מדיטציה ומיינדפולנס יכולים לעזור לנו לנהל טוב יותר ולהתמודד טוב יותר עם מתח וחרדה .

1. juni 202630 min