למה שוכרים יכולים לגשת ולמה לא
בקצרה: שוכרים יכולים לשלוח בקשות AI למודלים שעל המכונה שלכם, ותו לא.
מה שוכרים יכולים לעשות
קישור לסעיף „מה שוכרים יכולים לעשות”שוכר מקבל מפתח API. הבקשות שלו מגיעות קודם ל-GPUFlow. GPUFlow עונה בעצמו על רשימת המודלים, ומעביר למחשב שלכם רק סוג אחד של בקשה:
| בקשה | מה היא עושה |
|---|---|
POST /v1/chat/completions | צ’אט עם אחד מהמודלים שלכם |
הבקשה הזו עוברת דרך הממסר (relay) של GPUFlow אל הסוכן שבמחשב שלכם, והסוכן מעביר אותה למנוע ה-AI שלכם (Ollama).
לסוכן יש גם רשימה משלו, כמנעול שני. הוא מקבל רק את /v1/models, /v1/chat/completions, /v1/completions ו-/v1/embeddings, ודוחה כל דבר אחר, לא משנה מאיפה הבקשה הגיעה.
מה שוכרים לא יכולים לעשות
קישור לסעיף „מה שוכרים לא יכולים לעשות”- להגיע לרשת שלכם. המחשב שלכם יוצר רק חיבורים יוצאים. שום דבר בראוטר לא נפתח, ושוכרים אף פעם לא יודעים מה כתובת ה-IP שלכם.
- לקבל shell או להריץ תוכנות משלהם על המכונה שלכם.
- לראות או לשנות את הקבצים שלכם.
- להוריד, למחוק או לשנות את המודלים שלכם.
- לראות את הנתונים של המכונה שלכם. רק אתם רואים אותם.
איך הסוכן נעול
קישור לסעיף „איך הסוכן נעול”המתקין מגדיר את הסוכן כשירות מערכת עם הגבלות קפדניות. הוא רץ כמשתמש זמני בלי סיסמה, לא יכול לקבל הרשאות נוספות, רואה את שאר המערכת לקריאה בלבד, ולא רואה את תיקיות הבית. ההגדרות שלו נמצאות ב-/etc/gpuflow/agent.env והנתונים שלו ב-/var/lib/private/gpuflow.
מה חשוב לדעת
קישור לסעיף „מה חשוב לדעת”- פרומפטים ותשובות עוברים דרך המכונה שלכם. כך ה-AI רץ. כבדו את הפרטיות של השוכרים: אל תקליטו ואל תקראו את הפרומפטים שלהם.
- עדכנו את המכונה. התקינו עדכוני Linux ועדכוני דרייבר ל-GPU כרגיל. הסוכן מופעל מחדש מעצמו אחר כך.
- שימו עין על הטמפרטורה. שוכרים יכולים להעסיק את ה-GPU שלכם במשך שעות. הנתונים החיים בדף המכונות שלי מציגים את הטמפרטורה שלו, אז ודאו שלמארז יש מספיק אוויר.