כל תכני עושים היסטוריה

איך באמת מריצים LLM בסקייל עצום? [עושים תוכנה]

41 min · 18. maj 2026
episode איך באמת מריצים LLM בסקייל עצום? [עושים תוכנה] cover

Beskrivelse

מה הופך בקשה אחת ל-LLM למורכבת כל כך מאחורי הקלעים? איך מאות מיליארדי פרמטרים נדחסים על עשרות GPUs, ואיך כל ה-cluster הזה משרת אלפי משתמשים במקביל בלי להתפוצץ? אירחתי את מייק ארליכסון, אושייה בעולם הAI, ופירקנו את עולם ה-inference מבפנים: KV cache, batching, ההבדל בין prefill ל-decode, חלוקה של מודל בין GPUs שונים, ו-Mixture of Experts. דיברנו גם על למה זה הפך לאחד התחומים הכי קריטיים בעולם ה-AI - וגם איך נכנסים אליו אם אתם מהנדסים שרוצים להתחיל להריץ מודלים בעצמכם. האזנה נעימה, עמית בן דור.

Kommentarer

0

Vær den første til at kommentere

Tilmeld dig nu og bliv en del af כל תכני עושים היסטוריה-fællesskabet!

Kom i gang

2 måneder kun 19 kr.

Derefter 99 kr. / måned · Opsig når som helst.

  • Podcasts kun på Podimo
  • 20 lydbogstimer pr. måned
  • Gratis podcasts

Alle episoder

997 episoder

episode מורן מדר – האישה שהלבישה את שרה נתניהו [Spill The SooP] cover

מורן מדר – האישה שהלבישה את שרה נתניהו [Spill The SooP]

שלומית פן מארחת את מורן מדר, הכוח המניע מאחורי מותג האופנה Miss Geisha. מורן משתפת במסע האישי שלה, שהתחיל כילדה סקרנית שאוהבת טקסטיל וצבעים בעיר המעורבת רמלה, ועד שהפכה למלבישה של נשות עסקים, נשות תקשורות, פולטיקאיות, נציגות באו"ם ושל רעיית ראש הממשלה. היא חושפת בכנות את המשבר העמוק שחוותה בתקופת הקורונה, רגע לפני סגירת העסק, ואיך דווקא מתוך תחושת חוסר האונים צמח החזון החדש שלה – להלביש נשים להצלחה.

31. maj 202650 min
episode טדאימה ואוקאירי: איפה מתחיל ונגמר הבית ביפן? [מילים ביפנית שאין בעברית] cover

טדאימה ואוקאירי: איפה מתחיל ונגמר הבית ביפן? [מילים ביפנית שאין בעברית]

מה זה טדאימה ואוקאירי? הפעם דנה נחום הרמן ויושיגוצ'י מארחים את לי קימורה, ישראלית-יפנית, כדי להעמיק במושגים שמגדירים את גבולות הבית ביפן. דרך המילים "טאדאימה" ו"אוקארי", הם צוללים אל המשמעות המיוחדת של המעבר מהמרחב הציבורי למרחב הפרטי והמוגן. נדבר על הטקסיות של חליצת הנעליים, מבנה הבית היפני וב"גנקאן" (חדר הכניסה), ונבחן את הפערים התרבותיים המפתיעים שבין אירוח "חופשי" בישראל לאירוח מדורג ומאופק ביפן – כולל הסיטואציה המביכה שנוצרת כשישראלים מרגישים מספיק בנוח כדי פשוט לפתוח את המקרר.

26. maj 202645 min
episode חומר ביד היוצר, יעקב שנקר [יוצאים בשאלה] cover

חומר ביד היוצר, יעקב שנקר [יוצאים בשאלה]

יעקב שנקר גדל בקהילה חסידית בצפת, ובגיל שתים עשרה חווה פגיעה מינית מאחד המורים שלו. אף אחד לא ידע. אף אחד לא שאל. בגיל חמש עשרה זרקו אותו מהבית, ומשם התגלגל ברחובות עד שמישהו ראה אותו לראשונה. בפרק הזה הוא מספר על הדרך מהרחוב אל הפנימיה שהצילה לו את החיים, ומשם לשירות קרבי בכפיר שהסתיים בפוסט טראומה שנים לאחר השחרור. ועל איך דרך קרמיקה, כלבים, ויצירה הוא מצא את הדרך חזרה לעצמו. האזינו ועקבו אחרינו בספוטיפיי, אפל פודקאסטס ובכל שאר פלטפורמות הפודקאסטים. יוצאים בשאלה, מבית עמותת הלל, בהנחיית מינדי ארליך.

25. maj 20261 h 1 min