इसे छोड़कर कंटेंट पर जाएं

किरायेदार किन चीज़ों तक पहुँच सकते हैं और किन तक नहीं

संक्षेप में: किरायेदार आपकी मशीन पर मौजूद मॉडल को AI अनुरोध भेज सकते हैं, और कुछ नहीं।

किरायेदार को एक API कुंजी मिलती है। उसके अनुरोध पहले GPUFlow पर जाते हैं। मॉडल की सूची GPUFlow खुद देता है, और आपके कंप्यूटर तक सिर्फ़ एक तरह का अनुरोध भेजता है:

अनुरोधयह क्या करता है
POST /v1/chat/completionsआपके किसी मॉडल से चैट

यह अनुरोध GPUFlow के रिले से होकर आपके कंप्यूटर पर चल रहे एजेंट तक जाता है। एजेंट उसे आपके AI इंजन (Ollama) तक पहुँचाता है।

दूसरे ताले के रूप में एजेंट की अपनी एक सूची भी है। वह सिर्फ़ /v1/models, /v1/chat/completions, /v1/completions और /v1/embeddings स्वीकार करता है। बाकी हर अनुरोध को वह मना कर देता है, चाहे अनुरोध कहीं से भी आया हो।

  • आपके नेटवर्क तक पहुँचना। आपका कंप्यूटर सिर्फ़ बाहर जाने वाले कनेक्शन बनाता है। आपके राउटर पर कुछ भी नहीं खुलता, और किरायेदारों को आपका IP पता कभी पता नहीं चलता।
  • शेल पाना या आपकी मशीन पर अपने प्रोग्राम चलाना।
  • आपकी फ़ाइलें देखना या बदलना।
  • आपके मॉडल डाउनलोड करना, हटाना या बदलना।
  • आपकी मशीन के आँकड़े देखना। उन्हें सिर्फ़ आप देखते हैं।

इंस्टॉलर एजेंट को सख़्त सीमाओं वाली एक सिस्टम सर्विस के रूप में सेट करता है। यह बिना पासवर्ड वाले एक अस्थायी यूज़र के रूप में चलता है। यह अपने लिए अतिरिक्त अधिकार नहीं ले सकता। बाकी सिस्टम इसे सिर्फ़ पढ़ने के लिए (read-only) दिखता है, और यह होम फ़ोल्डर नहीं देख सकता। इसकी सेटिंग /etc/gpuflow/agent.env में और इसका डेटा /var/lib/private/gpuflow में रहता है।

  • प्रॉम्प्ट और जवाब आपकी मशीन से होकर जाते हैं। AI इसी तरह चलता है। अपने किरायेदारों की निजता का सम्मान करें: उनके प्रॉम्प्ट न रिकॉर्ड करें, न पढ़ें।
  • मशीन अपडेट रखें। अपने Linux अपडेट और GPU ड्राइवर अपडेट हमेशा की तरह इंस्टॉल करें। उसके बाद एजेंट अपने-आप फिर से शुरू हो जाता है।
  • तापमान पर नज़र रखें। किरायेदार आपके GPU को घंटों तक व्यस्त रख सकते हैं। मेरी मशीनें पर लाइव आँकड़ों में उसका तापमान दिखता है। ध्यान रखें कि कैबिनेट में हवा ठीक से आती-जाती रहे।