مقارنة
GGUF وSafetensors: توزيع نماذج الاستدلال وإدارة الأوزان
يوزع GGUF نماذج الاستدلال على تطبيقات متوافقة قائمة على GGML. يخزن Safetensors موترات مسماة، وتُوفّر بنية النموذج وبيئة التنفيذ بشكل منفصل.
أي تنسيق يجب أن تختار؟
يمكن اختيار GGUF للاستدلال في بيئة GGML متوافقة، أو Safetensors للأوزان التي يستخدمها تطبيق نموذج متوافق.
مناسب لـ GGUF
حفظ نماذج الاستدلال وتوزيعها لبيئات GGML المتوافقة · جمع معلومات النموذج والموترات في تنسيق واحد
- الاستدلال المحلي بأدوات متوافقة مثل llama.cpp
- توزيع نماذج مكمّمة أو غير مكمّمة تدعمها بيئة التشغيل
مناسب لـ Safetensors
تخزين أوزان موترات التعلم الآلي وتوزيعها · تحميل الأوزان بين أطر العمل المدعومة
- تبادل الموترات والبيانات الوصفية الأساسية بدل كائنات Python العشوائية
- مسارات عمل تفحص موترات محددة وتحملها
المعلومات الأساسية
| البند | GGUF | Safetensors |
|---|---|---|
| الامتداد | .gguf | .safetensors |
| نوع MIME | application/octet-stream | application/octet-stream |
| الاستخدامات الشائعة | حفظ نماذج الاستدلال وتوزيعها لبيئات GGML المتوافقة · جمع معلومات النموذج والموترات في تنسيق واحد | تخزين أوزان موترات التعلم الآلي وتوزيعها · تحميل الأوزان بين أطر العمل المدعومة |
| طريقة الفتح | افتحه بمحمّل GGUF موثوق يدعم النموذج وأنواع موتراته. تحقق من البنية وإصدار بيئة التشغيل وطريقة التكميم والحاجة إلى أجزاء أو ملفات مساعدة. | استخدم مكتبة أو أداة نماذج تدعم Safetensors. يمكن للأدوات المتوافقة عرض أسماء الموترات وأنواعها وأشكالها قبل تحميل كل الأوزان إلى الجهاز. وجود رأس JSON لا يعني أن الملف كله مستند نص JSON. |
| التصدير أو التحويل | اتبع تعليمات تحويل النموذج الأصلي وبيئة التشغيل المستهدفة. قد يكون التحويل والتكميم مرحلتين منفصلتين. قيّم الجودة والسرعة والذاكرة بمدخلات ممثلة، واحتفظ بكل الأجزاء والملفات المطلوبة مثل mmproj للنماذج متعددة الوسائط معًا. | احفظ أوزان الموترات عبر واجهة برمجية يدعمها إطار النموذج. قد يؤدي التحويل من مدخل قائم على pickle إلى فك تسلسله؛ فلا تحمل مصدرًا غير موثوق دون حذر. بعد التحويل قارن الأسماء والأشكال والأنواع وعدد العناصر ومخرجات النموذج. |
الاختيار حسب الاستخدام
الاستدلال المحلي بأدوات متوافقة مثل llama.cpp
حفظ نماذج الاستدلال وتوزيعها لبيئات GGML المتوافقة · جمع معلومات النموذج والموترات في تنسيق واحد
GGUFتوزيع نماذج مكمّمة أو غير مكمّمة تدعمها بيئة التشغيل
حفظ نماذج الاستدلال وتوزيعها لبيئات GGML المتوافقة · جمع معلومات النموذج والموترات في تنسيق واحد
GGUFتبادل الموترات والبيانات الوصفية الأساسية بدل كائنات Python العشوائية
تخزين أوزان موترات التعلم الآلي وتوزيعها · تحميل الأوزان بين أطر العمل المدعومة
Safetensorsمسارات عمل تفحص موترات محددة وتحملها
تخزين أوزان موترات التعلم الآلي وتوزيعها · تحميل الأوزان بين أطر العمل المدعومة
Safetensorsنقطة أساسية 1
يتضمن GGUF بيانات وصفية للنموذج بنمط مفتاح وقيمة وأوصافًا للموترات.
مزيد من التفاصيل حول الاختلافاتنقطة أساسية 2
يسجل Safetensors أسماء الموترات وdtype وshape ونطاقات البيانات، ولا يتضمن شيفرة استدلال اعتباطية.
مزيد من التفاصيل حول الاختلافاتمزيد من التفاصيل حول الاختلافات
تغيير الامتداد لا يجعل التنسيقين قابلين للتبادل. احتفظ بالمصدر واختر محولات ومحملات تدعم بنية النموذج وأنواع الموترات.
- يدعم GGUF أنواع الفاصلة العائمة والأنواع المكممة. قد يغيّر التكميم القيم وليس مجرد ضغط دون فقد؛ اسم التنسيق لا يحدد الحجم أو الدقة.
- تحقق من الإعدادات ومجزئات النص وفهارس الأجزاء في Safetensors، والملفات المقسمة أو المساعدة في GGUF وفق متطلبات التوزيع. قارن المخرجات والذاكرة والسرعة باستخدام المدخلات والمعالجة المسبقة نفسها.
الأسئلة الشائعة
هل يمكن لـGGUF استعادة ملف Safetensors الأصلي بالكامل؟
لا يوجد ضمان. إذا غيّر التكميم القيم، فلا تعيد عملية التحويل وحدها الدقة الأصلية أو حالة التدريب. احتفظ بالأوزان والإعدادات الأصلية.