गाइड
डेटा विश्लेषण और विनिमय के लिए फ़ॉर्मैट चुनें
प्लेटफ़ॉर्म और डेटा प्रकार के अनुसार कॉलमनर विश्लेषण, स्कीमा-आधारित रिकॉर्ड विनिमय और पढ़ने योग्य तालिकाओं में चुनाव करें।
कौन-सा फ़ॉर्मैट चुनें?
अपने कार्यप्रवाह में हर फ़ाइल की भूमिका के अनुसार चुनें।
- कॉलमनर विश्लेषण और डेटा लेक → Parquet
- स्कीमा-आधारित रिकॉर्ड विनिमय → Avro
- Hadoop परिवेश में कॉलमनर विश्लेषण → ORC
- जाँच और सरल विनिमय → CSV
विश्लेषण के लिए कॉलमनर फ़ॉर्मैट चुनें
Parquet और ORC उन विश्लेषण कार्यों में उपयोग होते हैं जो चुने हुए कॉलम पढ़ते हैं। क्वेरी इंजन और मौजूदा डेटा प्लेटफ़ॉर्म के अनुसार चुनें।
स्कीमा और रूपांतरण परिणाम जाँचें
Avro स्कीमा-आधारित रिकॉर्ड के आदान-प्रदान में उपयोग होता है। रूपांतरण के दौरान डेटा प्रकार, null मान, टाइमस्टैम्प, दशमलव, फ़ील्ड नाम और संगतता जाँचें।
उपयुक्त फ़ॉर्मैट
Parquet
इसके लिए उपयुक्त: बड़े सारणीबद्ध डेटा का कॉलमनर विश्लेषण
इसके लिए कम उपयुक्त: सामग्री को सीधे पाठ के रूप में पढ़ना
Avro
इसके लिए उपयुक्त: स्कीमा वाले रिकॉर्ड का विनिमय
इसके लिए कम उपयुक्त: कॉलम-आधारित समूहीकरण पर केंद्रित कार्य
ORC
इसके लिए उपयुक्त: प्रकार जानकारी और इंडेक्स वाले विश्लेषण प्लेटफ़ॉर्म के लिए डेटा संग्रह
इसके लिए कम उपयुक्त: पठनीय पाठ की तरह अनौपचारिक साझा करना
CSV
इसके लिए उपयुक्त: ऐसी सारणी का विनिमय जिसे लोग जाँच सकें
इसके लिए कम उपयुक्त: जटिल प्रकार सुरक्षित रखना या बड़े पैमाने का विश्लेषण अनुकूलित करना
निर्यात से पहले जाँचें
- प्रकार, null, तारीख और अक्षर एन्कोडिंग जाँचें।
- व्यक्तिगत या गोपनीय कॉलम साझा करते समय पहुँच और दायरा देखें।
- प्रतिनिधि डेटा से प्रदर्शन और अनुकूलता जाँचें।