HIVE

अपाचे हाइव एक वितरित, दोष-सहनशील डेटा वेयरहाउस सिस्टम है जो बड़े पैमाने पर विश्लेषण को सक्षम बनाता है। एक डेटा वेयरहाउस सूचना का एक केंद्रीय भंडार प्रदान करता है जिसे आसानी से सूचित, डेटा संचालित निर्णय लेने के लिए विश्लेषण किया जा सकता है। हाइव उपयोगकर्ताओं को SQL का उपयोग करके डेटा के पेटाबाइट्स को पढ़ने, लिखने और प्रबंधित करने की अनुमति देता है।

Hive को Apache Hadoop के शीर्ष पर बनाया गया है, जो एक ओपन-सोर्स फ्रेमवर्क है जिसका उपयोग बड़े डेटासेट को कुशलतापूर्वक स्टोर और प्रोसेस करने के लिए किया जाता है। नतीजतन, हाइव को हडोप के साथ निकटता से एकीकृत किया गया है, और डेटा के पेटाबाइट्स पर जल्दी से काम करने के लिए डिज़ाइन किया गया है। जो चीज हाइव को अद्वितीय बनाती है, वह है एसक्यूएल जैसे इंटरफेस के साथ अपाचे तेज या मैपरेडस का लाभ उठाते हुए बड़े डेटासेट को क्वेरी करने की क्षमता।

कोई भी बेहतर तरीके से यह नहीं समझा सकता है कि हडूप में हाइव क्या है जो स्वयं हाइव के रचनाकारों की तुलना में है: "अपाचे हाइव ™ डेटा वेयरहाउस सॉफ़्टवेयर एसक्यूएल का उपयोग करके वितरित भंडारण में रहने वाले बड़े डेटासेट को पढ़ने, लिखने और प्रबंधित करने की सुविधा प्रदान करता है। संरचना को पहले से ही डेटा पर पेश किया जा सकता है भंडारण।"

दूसरे शब्दों में, हाइव एक ओपन-सोर्स सिस्टम है जो बिग डेटा को सारांशित करने के साथ-साथ विश्लेषण और प्रश्नों को सुविधाजनक बनाने के लिए Hadoop में संरचित डेटा को संसाधित करता है।

अब जब हमने जांच कर ली है कि Hadoop में Hive क्या है, तो आइए इसकी विशेषताओं और विशेषताओं को देखें।

हाइव में मुख्य रूप से तीन मुख्य भाग होते हैं:

हाइव क्लाइंट: हाइव विभिन्न अनुप्रयोगों के साथ संचार के लिए डिज़ाइन किए गए विभिन्न प्रकार के ड्राइवर प्रदान करता है। उदाहरण के लिए, हाइव थ्रिफ्ट-आधारित अनुप्रयोगों के लिए थ्रिफ्ट क्लाइंट प्रदान करता है। ये क्लाइंट और ड्राइवर हाइव सर्वर के साथ संचार करते हैं, जो हाइव सेवाओं के अंतर्गत आता है। हाइव सेवाएं: हाइव सेवाएं हाइव के साथ क्लाइंट इंटरैक्शन करती हैं। उदाहरण के लिए, यदि कोई क्लाइंट कोई क्वेरी करना चाहता है, तो उसे हाइव सेवाओं के साथ बात करनी चाहिए। हाइव स्टोरेज और कंप्यूटिंग: फाइल सिस्टम, जॉब क्लाइंट और मेटा स्टोर जैसी हाइव सेवाएं फिर हाइव स्टोरेज के साथ संचार करती हैं और मेटाडेटा टेबल की जानकारी और क्वेरी परिणामों जैसी चीजों को स्टोर करती हैं।

हाइव की विशेषताएं

ये हाइव की मुख्य विशेषताएं हैं:

हाइव को केवल तालिकाओं में संग्रहीत संरचित डेटा को क्वेरी करने और प्रबंधित करने के लिए डिज़ाइन किया गया है हाइव स्केलेबल, तेज है, और परिचित अवधारणाओं का उपयोग करता है स्कीमा एक डेटाबेस में संग्रहीत हो जाती है, जबकि संसाधित डेटा एक Hadoop वितरित फ़ाइल सिस्टम (HDFS) में चला जाता है टेबल्स और डेटाबेस पहले बनाए जाते हैं; तब डेटा उचित तालिकाओं में लोड हो जाता है हाइव चार फ़ाइल स्वरूपों का समर्थन करता है: ORC, SEQUENCEFILE, RCFILE (रिकॉर्ड कॉलमर फ़ाइल), और TEXTFILE हाइव एक SQL-प्रेरित भाषा का उपयोग करता है, जो उपयोगकर्ता को MapReduce प्रोग्रामिंग की जटिलता से निपटने से बचाता है। यह संबंधपरक डेटाबेस, जैसे कॉलम, टेबल, रो और स्कीमा आदि में पाई जाने वाली परिचित अवधारणाओं का उपयोग करके सीखने को अधिक सुलभ बनाता है। हाइव क्वेरी लैंग्वेज (एचक्यूएल) और एसक्यूएल के बीच सबसे महत्वपूर्ण अंतर यह है कि हाइव पारंपरिक डेटाबेस के बजाय हडूप के बुनियादी ढांचे पर प्रश्नों को निष्पादित करता है चूंकि Hadoop की प्रोग्रामिंग फ्लैट फाइलों पर काम करती है, हाइव डेटा को "विभाजन" करने के लिए निर्देशिका संरचनाओं का उपयोग करता है, विशिष्ट प्रश्नों पर प्रदर्शन में सुधार करता है हाइव तेज और सरल डेटा पुनर्प्राप्ति के लिए विभाजन और बकेट का समर्थन करता है डेटा सफाई और फ़िल्टरिंग जैसे कार्यों के लिए हाइव कस्टम उपयोगकर्ता-परिभाषित कार्यों (यूडीएफ) का समर्थन करता है। हाइव यूडीएफ को प्रोग्रामर की आवश्यकताओं के अनुसार परिभाषित किया जा सकता है हाइव की सीमाएं बेशक, कोई भी संसाधन सही नहीं है, और हाइव की कुछ सीमाएँ हैं। वे हैं:

हाइव OLTP का समर्थन नहीं करता है। हाइव ऑनलाइन एनालिटिकल प्रोसेसिंग (OLAP) का समर्थन करता है, लेकिन ऑनलाइन ट्रांजेक्शन प्रोसेसिंग (OLTP) का नहीं। यह उपश्रेणियों का समर्थन नहीं करता है। इसमें उच्च विलंबता है। हाइव टेबल डिलीट या अपडेट ऑपरेशंस का समर्थन नहीं करते हैं। हाइव में डेटा कैसे प्रवाहित होता है? डेटा विश्लेषक यूजर इंटरफेस (यूआई) के साथ एक क्वेरी निष्पादित करता है। योजना को पुनः प्राप्त करने के लिए ड्राइवर क्वेरी कंपाइलर के साथ इंटरैक्ट करता है, जिसमें क्वेरी निष्पादन प्रक्रिया और मेटाडेटा जानकारी शामिल होती है। ड्राइवर सिंटैक्स और आवश्यकताओं की जांच करने के लिए क्वेरी को पार्स भी करता है। कंपाइलर कार्य योजना (मेटाडेटा) को निष्पादित करने के लिए बनाता है और मेटास्टोर के साथ मेटाडेटा अनुरोध प्राप्त करने के लिए संचार करता है। मेटास्टोर मेटाडेटा जानकारी को कंपाइलर को वापस भेजता है कंपाइलर प्रस्तावित क्वेरी निष्पादन योजना को ड्राइवर को रिले करता है। ड्राइवर निष्पादन योजना को निष्पादन इंजन को भेजता है। निष्पादन इंजन (ईई) हाइव और हडोप के बीच एक पुल के रूप में कार्य करके क्वेरी को संसाधित करता है। MapReduce में कार्य प्रक्रिया निष्पादित होती है। निष्पादन इंजन नाम नोड में पाए गए जॉबट्रैकर को नौकरी भेजता है, और इसे डेटा नोड में टास्कट्रैकर को असाइन करता है। जबकि ऐसा हो रहा है, निष्पादन इंजन मेटास्टोर के साथ मेटाडेटा संचालन निष्पादित करता है। परिणाम डेटा नोड्स से पुनर्प्राप्त किए जाते हैं। परिणाम निष्पादन इंजन को भेजे जाते हैं, जो बदले में, परिणाम को ड्राइवर और फ्रंट एंड (यूआई) को वापस भेजता है। चूंकि हमने हाइव क्या है, इसके बारे में विस्तार से बताया है, हमें यह भी देखना चाहिए कि हाइव क्या नहीं है:

हाइव पंक्ति-स्तरीय अपडेट और रीयल-टाइम क्वेरी के लिए भाषा नहीं है हाइव एक रिलेशनल डेटाबेस नहीं है हाइव ऑनलाइन लेनदेन प्रसंस्करण के लिए डिज़ाइन नहीं है जैसा कि हमने देखा है कि हाइव क्या है, आइए हम हाइव मोड के बारे में जानें।

हाइव मोड

Hadoop डेटा नोड्स के आकार के आधार पर, Hive दो अलग-अलग मोड में काम कर सकता है:

स्थानीय मोड नक्शा-कम मोड उपयोगकर्ता स्थानीय मोड जब:

Hadoop को केवल एक डेटा नोड रखने वाले छद्म मोड के तहत स्थापित किया गया है डेटा का आकार छोटा है और एक स्थानीय मशीन तक सीमित है उपयोगकर्ता तेजी से प्रसंस्करण की अपेक्षा करते हैं क्योंकि स्थानीय मशीन में छोटे डेटासेट होते हैं।

नक्शा कम करें मोड का उपयोग करें जब:

Hadoop में कई डेटा नोड होते हैं, और डेटा इन विभिन्न नोड्स में वितरित किया जाता है उपयोगकर्ताओं को अधिक विशाल डेटा सेट से निपटना होगा MapReduce हाइव का डिफ़ॉल्ट मोड है।