כל תכני עושים היסטוריה

איך באמת מריצים LLM בסקייל עצום? [עושים תוכנה]

41 min · 18 de may de 2026
Portada del episodio איך באמת מריצים LLM בסקייל עצום? [עושים תוכנה]

Descripción

מה הופך בקשה אחת ל-LLM למורכבת כל כך מאחורי הקלעים? איך מאות מיליארדי פרמטרים נדחסים על עשרות GPUs, ואיך כל ה-cluster הזה משרת אלפי משתמשים במקביל בלי להתפוצץ? אירחתי את מייק ארליכסון, אושייה בעולם הAI, ופירקנו את עולם ה-inference מבפנים: KV cache, batching, ההבדל בין prefill ל-decode, חלוקה של מודל בין GPUs שונים, ו-Mixture of Experts. דיברנו גם על למה זה הפך לאחד התחומים הכי קריטיים בעולם ה-AI - וגם איך נכנסים אליו אם אתם מהנדסים שרוצים להתחיל להריץ מודלים בעצמכם. האזנה נעימה, עמית בן דור.

Comentarios

0

Sé la primera persona en comentar

¡Regístrate ahora y únete a la comunidad de כל תכני עושים היסטוריה!

Empezar

2 meses por 1 €

Después 4,99 € / mes · Cancela cuando quieras.

  • Podcasts exclusivos
  • 20 horas de audiolibros / mes
  • Podcast gratuitos

Todos los episodios

997 episodios

Portada del episodio פרק 6: מה עושים כשהכל קורס? בינה מלאכותית ובודהיזם [מיינדפול ביזנס]

פרק 6: מה עושים כשהכל קורס? בינה מלאכותית ובודהיזם [מיינדפול ביזנס]

מאז תחילת שנת 2020 אנו חווים מתח מתמיד. הקורונה, טבח השביעי באוקטובר והמלחמות מאז בעזה, לבנון ואיראן גורמים לשחיקה נפשית גם לאלו שלא נפגעו ישירות . מילואימניקים רבים מתמודדים בנוסף עם עם קשיי פרנסה . קשיים אלה מתגברים כתוצאה ממהפכת הAI שבד בבד עם יתרונותיה הרבים גם פוגעת בפרנסתם של רבים . בפרק השישי והאחרון של מיינדפול ביזנס, עורך הדין ואיש העסקים רון גזית והעיתונאית ליאת רגב דנים בסוגיה - איך אנשי עסקים צריכים להתמודד עם הלחץ שנוצר כאשר הכל קורס? ולמה דווקא עקרונות כמו מדיטציה ומיינדפולנס יכולים לעזור לנו לנהל טוב יותר ולהתמודד טוב יותר עם מתח וחרדה .

1 de jun de 202630 min