בקצרה: עם llamafile, כלי חינמי בקוד פתוח של Mozilla.ai, אפשר לסחוב צ'אטבוט על דיסק און קי. שמים עליו את התוכנה ומודל קטן אחד, לוחצים פעמיים על קובץ הפעלה, ומדברים איתו בדפדפן. שום דבר לא מותקן ושום דבר לא יוצא מהמחשב.
מה צריך
- דיסק און קי של 8GB לפחות, מפורמט ל-exFAT (FAT32 לא מחזיק קבצים מעל 4GB).
- התוכנה llamafile מהעמוד הרשמי בגיטהאב (באזור Releases).
- מודל קטן אחד בפורמט GGUF מ-Hugging Face, בערך 2-4GB. מודל Qwen3 קטן מתאים להתחלה.
צעד אחרי צעד (ווינדוס)
- מפרמטים את הדיסק ל-exFAT.
- מורידים את llamafile האחרון מ-Releases, מוסיפים
.exe בסוף שם הקובץ ומעתיקים לדיסק.
- ב-Hugging Face מסננים לפי GGUF, בוחרים מודל קטן ומורידים קובץ
.gguf אחד (גרסת Q4_K_M היא איזון טוב). מעתיקים לדיסק.
- פותחים פנקס רשימות וכותבים שורה אחת עם שמות הקבצים המדויקים:
.\llamafile-0.10.x.exe --server --model your-model.gguf
- שומרים בדיסק בשם
start.bat (סוג קובץ: All Files).
- לוחצים פעמיים על
start.bat ופותחים בדפדפן את הכתובת שמופיעה בחלון (בדרך כלל http://127.0.0.1:8080).
למה לצפות
- פרטי: הכול רץ על המחשב שמחברים אליו. טוב למידע רגיש, לנסיעות ולמקומות בלי אינטרנט.
- איטי ופשוט יותר מ-ChatGPT או Claude: מודל קטן על מעבד של לפטופ מספיק לסיכומים, טיוטות ושאלות, לא לעבודה כבדה.
- מגבלת ווינדוס: ווינדוס מריץ רק קבצי תוכנה מתחת ל-4GB, ולכן המודל נשאר בקובץ נפרד.
עוד פרומפטים מוכנים מחכים ב-Masterphub.
