مقارنة
الفرق بين Parquet وZarr
يخزن Apache Parquet الجداول في ملفات مقسمة إلى مجموعات صفوف وأجزاء أعمدة. ويخزن Zarr المصفوفات متعددة الأبعاد كأجزاء مع بياناتها الوصفية في مخزن.
أي تنسيق يجب أن تختار؟
اختر Parquet للاستعلامات التحليلية التي تقرأ أعمدة محددة. وفكر في Zarr للمصفوفات الكبيرة التي تُقرأ على أجزاء أو تحفظ في تخزين الكائنات.
مناسب لـ Parquet
حفظ جداول منظمة للتحليل
- مجموعات كبيرة تُقرأ منها أعمدة مختارة
مناسب لـ Zarr
تخزين وتبادل مصفوفات كبيرة متعددة الأبعاد على شكل كتل · استخدام البيانات العلمية في مخازن الكائنات السحابية
- قراءة مناطق مختارة من المصفوفات بكفاءة
- مشاركة بيانات مجزأة بين أدوات متوافقة
المعلومات الأساسية
| البند | Parquet | Zarr |
|---|---|---|
| الامتداد | .parquet | .zarr |
| نوع MIME | application/vnd.apache.parquet | |
| الاستخدامات الشائعة | حفظ جداول منظمة للتحليل | تخزين وتبادل مصفوفات كبيرة متعددة الأبعاد على شكل كتل · استخدام البيانات العلمية في مخازن الكائنات السحابية |
| طريقة الفتح | استخدم أداة تدعم Parquet لفحص المخطط وأنواع الأعمدة وعدد الصفوف والقيم. | استخدم مكتبة أو أداة تحليل تدعم Zarr. تحقق من الإصدار وشكل المصفوفة والكتل والمرشحات والسمات، واحفظ الدليل كاملًا أو المفاتيح المطلوبة وراجع وثائق المنشئ. |
| التصدير أو التحويل | عند التحويل من CSV أو غيره، تحقق من الأنواع والقيم الفارغة والتواريخ والترميز والتقسيم وعدد الصفوف. | عند التحويل من netCDF أو HDF5، تحقق من الأبعاد والأنواع والكتل والسمات والإحداثيات. احتفظ بالأصل وتحقق من القيم بعد التحويل. |
الاختيار حسب الاستخدام
مجموعات كبيرة تُقرأ منها أعمدة مختارة
حفظ جداول منظمة للتحليل
Parquetقراءة مناطق مختارة من المصفوفات بكفاءة
تخزين وتبادل مصفوفات كبيرة متعددة الأبعاد على شكل كتل · استخدام البيانات العلمية في مخازن الكائنات السحابية
Zarrمشاركة بيانات مجزأة بين أدوات متوافقة
تخزين وتبادل مصفوفات كبيرة متعددة الأبعاد على شكل كتل · استخدام البيانات العلمية في مخازن الكائنات السحابية
Zarrنقطة أساسية 1
تحتوي مجموعات صفوف Parquet أجزاء أعمدة تشير البيانات الوصفية للملف إلى مواقعها؛ ويخزن Zarr بيانات شكل المصفوفة ونوعها وشبكة الأجزاء والمرمازات مع الأجزاء المرمزة.
مزيد من التفاصيل حول الاختلافاتنقطة أساسية 2
ينظم Parquet البيانات في صفوف وأعمدة؛ وينظم Zarr مصفوفات N-dimensional في محاور وأجزاء.
مزيد من التفاصيل حول الاختلافاتمزيد من التفاصيل حول الاختلافات
استخدم Parquet للتحليلات الجدولية التي تختار أعمدة بعينها، وZarr للوصول المجزأ إلى المصفوفات الكبيرة. اضبط مجموعة الصفوف أو حجم الجزء وفق الاستعلام والتخزين الفعليين.
- تحدد بيانات Parquet مواقع أجزاء الأعمدة ضمن مجموعات الصفوف. وتصف بيانات Zarr الشكل والنوع وشبكة الأجزاء والمرمازات، بينما تحفظ الأجزاء كمفاتيح منفصلة.
- يمثل Parquet صفوف وأعمدة الجداول؛ ويمثل Zarr أبعاد المصفوفات وأجزاءها. يتوقف الأداء على ملاءمة التخطيط لنمط الاستعلام أو التقطيع.
- عند التحويل طابق الصفوف والأعمدة والأبعاد وتحقق من الأنواع والقيم الخالية أو المفقودة والوحدات وبيانات الوقت والإحداثيات والمرمازات وأداء القراءة. انقل كل بيانات Zarr الوصفية ومفاتيح الأجزاء معًا.
الأسئلة الشائعة
هل يمكن استخدام Parquet وZarr بدلًا من بعضهما مباشرة؟
لا. الأول للجداول والثاني للمصفوفات متعددة الأبعاد؛ ويتطلب التحويل تعيين الأبعاد والأنواع والقيم المفقودة والبيانات الوصفية صراحة.