तुलना
Avro बनाम ORC
Avro का उपयोग अक्सर स्कीमा-आधारित रिकॉर्ड के विनिमय में होता है। ORC प्रकारयुक्त डेटा स्तंभों में रखता है ताकि विश्लेषण के लिए पढ़ा जा सके।
कौन-सा फ़ॉर्मैट चुनें?
रिकॉर्ड-केंद्रित पाइपलाइन के लिए Avro और चुने हुए स्तंभ पढ़ने वाले समर्थित विश्लेषण तंत्र के लिए ORC चुनें।
इसके लिए उपयुक्त Avro
निर्धारित स्कीमा के साथ रिकॉर्ड साझा करना
- स्कीमा संस्करण रखने वाले इवेंट और डेटा प्रवाह
इसके लिए उपयुक्त ORC
विश्लेषण के लिए बड़ी संरचित तालिकाएँ सहेजना
- चुने स्तंभ और इंडेक्स उपयोग करने वाली क्वेरी
मूल जानकारी
| मद | Avro | ORC |
|---|---|---|
| एक्सटेंशन | .avro | .orc |
| MIME प्रकार | application/avro | application/vnd.apache.orc |
| सामान्य उपयोग | निर्धारित स्कीमा के साथ रिकॉर्ड साझा करना | विश्लेषण के लिए बड़ी संरचित तालिकाएँ सहेजना |
| कैसे खोलें | Avro समर्थित टूल से स्कीमा, फ़ील्ड, प्रकार और रिकॉर्ड जाँचें। | ORC समर्थित टूल से स्कीमा, स्तंभ, पंक्ति संख्या, संपीड़न और उदाहरण मान जाँचें। |
| निर्यात या रूपांतरण | JSON या Parquet में बदलते समय फ़ील्ड नाम, प्रकार, null, तार्किक प्रकार, रिकॉर्ड संख्या और स्कीमा संगतता जाँचें। | Parquet या CSV में बदलते समय प्रकार, null, समय, दशमलव, विभाजन और पंक्ति संख्या जाँचें। |
उपयोग के अनुसार चुनें
स्कीमा संस्करण रखने वाले इवेंट और डेटा प्रवाह
निर्धारित स्कीमा के साथ रिकॉर्ड साझा करना
Avroचुने स्तंभ और इंडेक्स उपयोग करने वाली क्वेरी
विश्लेषण के लिए बड़ी संरचित तालिकाएँ सहेजना
ORCमुख्य बिंदु 1
Avro रिकॉर्ड और उनके स्कीमा पर केंद्रित है।
अंतर के बारे में विस्तार सेमुख्य बिंदु 2
ORC विश्लेषण के लिए स्तंभ भंडारण और सूचकांक उपयोग करता है।
अंतर के बारे में विस्तार सेअंतर के बारे में विस्तार से
प्रसंस्करण ढंग और लक्षित मंच के उपकरण के अनुसार चुनें। स्कीमा और प्रतिनिधि क्वेरी की जाँच करें।
- Avro रिकॉर्ड क्रमबद्ध करने और विनिमय के लिए उपयुक्त है।
- ORC स्तंभ-आधारित विश्लेषण पढ़ने के लिए बना है।
- सार्वभौमिक रैंकिंग से अधिक इंजन समर्थन और कार्यभार महत्त्वपूर्ण हैं।
अक्सर पूछे जाने वाले प्रश्न
क्या ORC इवेंट पाइपलाइन में सीधे Avro का स्थान ले सकता है?
अपने आप नहीं। देखें कि पाइपलाइन रिकॉर्ड संदेश चाहती है या स्तंभ आधारित विश्लेषण फ़ाइलें।