तुलना
GGUF और Safetensors: अनुमान हेतु वितरण और वज़न
GGUF संगत GGML-आधारित कार्यान्वयनों को अनुमान मॉडल देता है। Safetensors नाम वाले टेंसर संग्रहीत करता है; मॉडल की परिभाषा और निष्पादन वातावरण अलग से दिए जाते हैं।
कौन-सा फ़ॉर्मैट चुनें?
संगत GGML वातावरण में अनुमान के लिए GGUF, या संगत मॉडल कार्यान्वयन में वज़न उपयोग करने के लिए Safetensors पर विचार करें।
इसके लिए उपयुक्त GGUF
संगत GGML रनटाइम के लिए अनुमान मॉडल सहेजना और बाँटना · मॉडल जानकारी और टेंसर को एक फ़ॉर्मैट में रखना
- llama.cpp जैसे संगत टूल से स्थानीय अनुमान
- रनटाइम द्वारा समर्थित क्वांटाइज़्ड या सामान्य मॉडल बाँटना
इसके लिए उपयुक्त Safetensors
मशीन लर्निंग tensor वज़न सहेजना और वितरित करना · समर्थित frameworks के बीच वज़न लोड करना
- मनमाने Python objects के बजाय tensors और बुनियादी metadata का आदान-प्रदान
- चुने हुए tensors की जाँच और loading वाले कार्यप्रवाह
मूल जानकारी
| मद | GGUF | Safetensors |
|---|---|---|
| एक्सटेंशन | .gguf | .safetensors |
| MIME प्रकार | application/octet-stream | application/octet-stream |
| सामान्य उपयोग | संगत GGML रनटाइम के लिए अनुमान मॉडल सहेजना और बाँटना · मॉडल जानकारी और टेंसर को एक फ़ॉर्मैट में रखना | मशीन लर्निंग tensor वज़न सहेजना और वितरित करना · समर्थित frameworks के बीच वज़न लोड करना |
| कैसे खोलें | मॉडल और टेंसर प्रकार समर्थित करने वाले विश्वसनीय GGUF loader से खोलें। आर्किटेक्चर, रनटाइम संस्करण, क्वांटाइज़ेशन विधि और आवश्यक विभाजित या सहायक फ़ाइलें जाँचें। | Safetensors-संगत library या model tool उपयोग करें। समर्थित औज़ार device पर सारे वज़न लोड करने से पहले tensor नाम, dtype और shape दिखा सकते हैं। JSON header का अर्थ यह नहीं कि पूरी फ़ाइल JSON text है। |
| निर्यात या रूपांतरण | स्रोत मॉडल और लक्ष्य रनटाइम के रूपांतरण निर्देश अपनाएँ। रूपांतरण और क्वांटाइज़ेशन अलग चरण हो सकते हैं। प्रतिनिधि इनपुट से गुणवत्ता, गति और मेमोरी जाँचें; सभी भाग और मल्टीमोडल mmproj जैसी आवश्यक फ़ाइलें साथ रखें। | Model framework के समर्थित API से tensor वज़न सहेजें। Pickle-आधारित input का conversion उसे deserialize कर सकता है; अविश्वसनीय स्रोत को लापरवाही से load न करें। रूपांतरण के बाद tensor नाम, shape, dtype, तत्वों की संख्या और model output की तुलना करें। |
उपयोग के अनुसार चुनें
llama.cpp जैसे संगत टूल से स्थानीय अनुमान
संगत GGML रनटाइम के लिए अनुमान मॉडल सहेजना और बाँटना · मॉडल जानकारी और टेंसर को एक फ़ॉर्मैट में रखना
GGUFरनटाइम द्वारा समर्थित क्वांटाइज़्ड या सामान्य मॉडल बाँटना
संगत GGML रनटाइम के लिए अनुमान मॉडल सहेजना और बाँटना · मॉडल जानकारी और टेंसर को एक फ़ॉर्मैट में रखना
GGUFमनमाने Python objects के बजाय tensors और बुनियादी metadata का आदान-प्रदान
मशीन लर्निंग tensor वज़न सहेजना और वितरित करना · समर्थित frameworks के बीच वज़न लोड करना
Safetensorsचुने हुए tensors की जाँच और loading वाले कार्यप्रवाह
मशीन लर्निंग tensor वज़न सहेजना और वितरित करना · समर्थित frameworks के बीच वज़न लोड करना
Safetensorsमुख्य बिंदु 1
GGUF में कुंजी-मूल्य मॉडल मेटाडेटा और टेंसर विवरण होते हैं।
अंतर के बारे में विस्तार सेमुख्य बिंदु 2
Safetensors टेंसर नाम, dtype, shape और डेटा सीमाएँ दर्ज करता है, मनमाना अनुमान कोड नहीं।
अंतर के बारे में विस्तार सेअंतर के बारे में विस्तार से
सिर्फ़ एक्सटेंशन बदलने से ये प्रारूप परस्पर बदलने योग्य नहीं होते। स्रोत रखें और वास्तुकला तथा टेंसर प्रकारों का समर्थन करने वाले कन्वर्टर और लोडर चुनें।
- GGUF फ़्लोटिंग-पॉइंट और क्वांटाइज़्ड टेंसर प्रकारों का समर्थन करता है। क्वांटाइज़ेशन मान बदल सकता है और केवल दोषरहित संपीड़न नहीं है; प्रारूप नाम से आकार या सटीकता तय नहीं होती।
- वितरण की आवश्यकताओं के अनुसार Safetensors की कॉन्फ़िगरेशन, टोकनाइज़र और खंड सूचकांक तथा GGUF की विभाजित या सहायक फ़ाइलें जाँचें। समान इनपुट और पूर्व-प्रसंस्करण से आउटपुट, मेमोरी और गति की तुलना करें।
अक्सर पूछे जाने वाले प्रश्न
क्या GGUF मूल Safetensors फ़ाइल को पूरी तरह बहाल कर सकता है?
गारंटी नहीं है। यदि क्वांटाइज़ेशन ने मान बदले हों, तो केवल रूपांतरण मूल सटीकता या प्रशिक्षण स्थिति नहीं लौटाता। मूल वज़न और सेटिंग रखें।