HDFS

HDFS ही वितरित फाइल प्रणाली आहे जी कमोडिटी हार्डवेअरवर चालणारे मोठे डेटा संच हाताळते. हे एकल Apache Hadoop क्लस्टर शेकडो (आणि हजारो) नोड्सपर्यंत स्केल करण्यासाठी वापरले जाते. HDFS हा Apache Hadoop च्या प्रमुख घटकांपैकी एक आहे, इतर MapReduce आणि YARN आहेत. HDFS मध्ये गोंधळ होऊ नये किंवा Apache HBase ने बदलू नये, जी एक स्तंभ-देणारं गैर-रिलेशनल डेटाबेस मॅनेजमेंट सिस्टम आहे जी HDFS च्या शीर्षस्थानी बसते आणि त्याच्या इन-मेमरी प्रोसेसिंग इंजिनसह रीअल-टाइम डेटा गरजांना अधिक चांगल्या प्रकारे समर्थन देऊ शकते.

हडूप डिस्ट्रिब्युटेड फाइल सिस्टम (HDFS) हाडूप ऍप्लिकेशन्सद्वारे वापरली जाणारी प्राथमिक डेटा स्टोरेज सिस्टम आहे. HDFS एक वितरित फाइल प्रणाली कार्यान्वित करण्यासाठी NameNode आणि DataNode आर्किटेक्चरचा वापर करते जी अत्यंत स्केलेबल हॅडूप क्लस्टर्समधील डेटामध्ये उच्च-कार्यक्षमता प्रवेश प्रदान करते.

हडूप स्वतः एक मुक्त स्त्रोत वितरित प्रक्रिया फ्रेमवर्क आहे जो मोठ्या डेटा अनुप्रयोगांसाठी डेटा प्रक्रिया आणि स्टोरेज व्यवस्थापित करतो. एचडीएफएस हा अनेक हडूप इकोसिस्टम तंत्रज्ञानाचा प्रमुख भाग आहे. हे मोठ्या डेटाचे पूल व्यवस्थापित करण्यासाठी आणि संबंधित मोठ्या डेटा विश्लेषण अनुप्रयोगांना समर्थन देण्यासाठी एक विश्वासार्ह माध्यम प्रदान करते.

HDFS कसे कार्य करते?

HDFS संगणकीय नोड्स दरम्यान डेटाचे जलद हस्तांतरण सक्षम करते. त्याच्या प्रारंभी, ते MapReduce, डेटा प्रोसेसिंगसाठी एक फ्रेमवर्क आहे जे क्लस्टरमधील नोड्समध्ये काम फिल्टर करते आणि विभाजित करते, आणि ते एका प्रश्नाचे एकत्रित उत्तर म्हणून निकालांचे आयोजन आणि संक्षेप करते. त्याचप्रमाणे, जेव्हा एचडीएफएस डेटा घेते, तेव्हा ते माहितीचे विभक्त ब्लॉक्समध्ये विभाजन करते आणि त्यांना एका क्लस्टरमध्ये वेगवेगळ्या नोड्समध्ये वितरीत करते.

HDFS सह, सर्व्हरवर डेटा एकदा लिहिला जातो आणि त्यानंतर अनेक वेळा वाचला आणि पुन्हा वापरला जातो. HDFS मध्ये एक प्राथमिक NameNode आहे, जो क्लस्टरमध्ये फाइल डेटा कुठे ठेवला आहे याचा मागोवा ठेवतो.

HDFS मध्ये कमोडिटी हार्डवेअर क्लस्टरवर अनेक डेटानोड्स देखील असतात -- सामान्यत: क्लस्टरमध्ये प्रति नोड एक. DataNodes सामान्यतः डेटा सेंटरमधील समान रॅकमध्ये आयोजित केले जातात. डेटा वेगळ्या ब्लॉक्समध्ये मोडला जातो आणि स्टोरेजसाठी विविध डेटानोड्समध्ये वितरित केला जातो. नोड्समध्ये ब्लॉक्सची प्रतिकृती देखील केली जाते, ज्यामुळे उच्च कार्यक्षम समांतर प्रक्रिया सक्षम होते.

नेमनोडला माहित आहे की कोणत्या डेटानोडमध्ये कोणते ब्लॉक्स आहेत आणि डेटानोड मशीन क्लस्टरमध्ये कोठे राहतात. NameNode फायलींमध्ये प्रवेश देखील व्यवस्थापित करते, ज्यामध्ये डेटा नोड्समध्ये वाचणे, लिहिणे, तयार करणे, हटवणे आणि डेटा ब्लॉक प्रतिकृती समाविष्ट आहे.

NameNode DataNodes सह संयोगाने कार्य करते. परिणामी, क्लस्टर आवश्यकतेनुसार नोड्स जोडून किंवा वजा करून रिअल टाइममध्ये सर्व्हर क्षमतेच्या मागणीशी गतिशीलपणे जुळवून घेऊ शकतो.

DataNodes विशिष्ट कार्ये पूर्ण करणे आवश्यक आहे की नाही हे निर्धारित करण्यासाठी DataNodes सतत NameNode सह संप्रेषणात असतात. परिणामी, NameNode प्रत्येक DataNode च्या स्थितीबद्दल नेहमी जागरूक असतो. जर NameNode ला लक्षात आले की एक DataNode नीट काम करत नाही, तर तो DataNode चे टास्क समान डेटा ब्लॉक असलेल्या वेगळ्या नोडला पुन्हा नियुक्त करू शकतो. DataNodes देखील एकमेकांशी संवाद साधतात, जे त्यांना सामान्य फाइल ऑपरेशन्स दरम्यान सहकार्य करण्यास सक्षम करते.

शिवाय, HDFS अत्यंत दोष-सहिष्णु होण्यासाठी डिझाइन केलेले आहे. फाइल सिस्टम डेटाच्या प्रत्येक तुकड्याची अनेक वेळा प्रतिकृती बनवते -- किंवा कॉपी करते आणि प्रत्येक कॉपी वैयक्तिक नोड्सवर वितरीत करते, कमीत कमी एक प्रत इतर प्रतींपेक्षा वेगळ्या सर्व्हर रॅकवर ठेवते.

HDFS आर्किटेक्चर, NameNodes आणि DataNodes HDFS प्राथमिक/दुय्यम आर्किटेक्चर वापरते. एचडीएफएस क्लस्टरचा नेमनोड हा प्राथमिक सर्व्हर आहे जो फाइल सिस्टम नेमस्पेस व्यवस्थापित करतो आणि फायलींवरील क्लायंट प्रवेश नियंत्रित करतो. Hadoop डिस्ट्रिब्युटेड फाइल सिस्टमचा मध्यवर्ती घटक म्हणून, NameNode फाइल सिस्टम नेमस्पेसची देखरेख आणि व्यवस्थापन करते आणि क्लायंटला योग्य प्रवेश परवानग्या प्रदान करते. सिस्टीमचे डेटा नोड्स ते चालवलेल्या नोड्सशी संलग्न असलेले स्टोरेज व्यवस्थापित करतात.

HDFS फाइल सिस्टम नेमस्पेस उघड करते आणि वापरकर्ता डेटा फाइल्समध्ये संग्रहित करण्यास सक्षम करते. फाइल एक किंवा अधिक ब्लॉक्समध्ये विभाजित केली जाते जी डेटानोड्सच्या संचामध्ये संग्रहित केली जाते. NameNode फाइल सिस्टम नेमस्पेस ऑपरेशन्स करते, ज्यामध्ये फाइल्स आणि डिरेक्टरी उघडणे, बंद करणे आणि पुनर्नामित करणे समाविष्ट आहे. NameNode डेटा नोड्सच्या ब्लॉक्सचे मॅपिंग देखील नियंत्रित करते. DataNodes फाइल सिस्टमच्या क्लायंटकडून रिड आणि राइट विनंत्या देतात. याव्यतिरिक्त, जेव्हा NameNode त्यांना असे करण्यास निर्देश देते तेव्हा ते ब्लॉक तयार करणे, हटवणे आणि प्रतिकृती तयार करतात.

HDFS पारंपारिक श्रेणीबद्ध फाइल संस्थेला समर्थन देते. एखादा अनुप्रयोग किंवा वापरकर्ता निर्देशिका तयार करू शकतो आणि नंतर या निर्देशिकांमध्ये फायली संचयित करू शकतो. फाइल सिस्टम नेमस्पेस पदानुक्रम इतर फाइल सिस्टम्सप्रमाणे आहे -- वापरकर्ता फाइल्स एका डिरेक्टरीमधून दुसऱ्या डिरेक्ट्रीमध्ये तयार करू शकतो, काढून टाकू शकतो, पुनर्नामित करू शकतो किंवा हलवू शकतो.

NameNode फाइल सिस्टम नेमस्पेस किंवा त्याच्या गुणधर्मांमधील कोणताही बदल रेकॉर्ड करतो. एचडीएफएसने राखून ठेवलेल्या फाईलच्या प्रतिकृतींची संख्या एक अनुप्रयोग निर्धारित करू शकतो. NameNode फाईलच्या प्रतींची संख्या संग्रहित करते, ज्याला त्या फाईलची प्रतिकृती घटक म्हणतात.

HDFS ची वैशिष्ट्ये

अशी अनेक वैशिष्ट्ये आहेत जी एचडीएफएसला विशेषतः उपयुक्त बनवतात, यासह:

डेटा प्रतिकृती. याचा वापर डेटा नेहमी उपलब्ध असल्याची खात्री करण्यासाठी आणि डेटा गमावण्यापासून प्रतिबंधित करण्यासाठी केला जातो. उदाहरणार्थ, जेव्हा नोड क्रॅश होतो किंवा हार्डवेअर अयशस्वी होतो, तेव्हा प्रतिकृती केलेला डेटा क्लस्टरमधून इतरत्र खेचला जाऊ शकतो, त्यामुळे डेटा पुनर्प्राप्त होत असताना प्रक्रिया चालू राहते. दोष सहिष्णुता आणि विश्वसनीयता. फाईल ब्लॉक्सची प्रतिकृती बनवण्याची आणि मोठ्या क्लस्टरमध्ये नोड्समध्ये संग्रहित करण्याची HDFS क्षमता दोष सहिष्णुता आणि विश्वासार्हता सुनिश्चित करते. उच्च उपलब्धता. आधी सांगितल्याप्रमाणे, नोट्सवर प्रतिकृती तयार केल्यामुळे, NameNode किंवा DataNode अयशस्वी झाला तरीही डेटा उपलब्ध असतो. स्केलेबिलिटी. एचडीएफएस क्लस्टरमधील विविध नोड्सवर डेटा संचयित करत असल्याने, आवश्यकता वाढल्यामुळे, क्लस्टर शेकडो नोड्सपर्यंत स्केल करू शकतो. उच्च थ्रुपुट. एचडीएफएस डेटा वितरीत पद्धतीने संचयित करत असल्याने, डेटावर नोड्सच्या क्लस्टरवर समांतरपणे प्रक्रिया केली जाऊ शकते. हे, अधिक डेटा लोकॅलिटी (पुढील बुलेट पहा), प्रक्रियेची वेळ कमी करते आणि उच्च थ्रूपुट सक्षम करते. डेटा स्थानिकता. एचडीएफएस सह, डेटा जेथे संगणकीय युनिट आहे तेथे हलविण्याऐवजी डेटा नोड्सवर गणना केली जाते. डेटा आणि संगणकीय प्रक्रियेमधील अंतर कमी करून, हा दृष्टिकोन नेटवर्क गर्दी कमी करतो आणि सिस्टमच्या एकूण थ्रूपुटला चालना देतो. HDFS वापरण्याचे फायदे काय आहेत? HDFS वापरण्याचे पाच मुख्य फायदे आहेत, यासह:

खर्च परिणामकारकता. डेटा संग्रहित करणारे DataNodes स्वस्त ऑफ-द-शेल्फ हार्डवेअरवर अवलंबून असतात, ज्यामुळे स्टोरेज खर्च कमी होतो. तसेच, HDFS मुक्त स्रोत असल्यामुळे, कोणतेही परवाना शुल्क नाही. मोठा डेटा सेट स्टोरेज. HDFS कोणत्याही आकाराचा - मेगाबाइट्सपासून पेटाबाइट्सपर्यंत -- आणि संरचित आणि असंरचित डेटासह कोणत्याही स्वरूपातील डेटा संचयित करते. हार्डवेअर अपयशातून जलद पुनर्प्राप्ती. HDFS दोष शोधण्यासाठी आणि आपोआप स्वतःहून पुनर्प्राप्त करण्यासाठी डिझाइन केलेले आहे. पोर्टेबिलिटी. HDFS सर्व हार्डवेअर प्लॅटफॉर्मवर पोर्टेबल आहे आणि ते Windows, Linux आणि Mac OS/X सह अनेक ऑपरेटिंग सिस्टमशी सुसंगत आहे. प्रवाहित डेटा प्रवेश. HDFS उच्च डेटा थ्रूपुटसाठी तयार केले आहे, जे स्ट्रीमिंग डेटामध्ये प्रवेश करण्यासाठी सर्वोत्तम आहे. मोठ्या डेटा व्यवस्थापनावर अधिक Hadoop हा बिग डेटा मॅनेजमेंटचा एक महत्त्वाचा भाग आहे, परंतु डेटा मॅनेजर्सना माहित असले पाहिजे असा हा एकमेव पैलू नाही. पूर्ण चित्र मिळवा:

मोठ्या डेटा वातावरणासाठी डेटा गव्हर्नन्सवरील 6 सर्वोत्तम पद्धती बिग डेटा उत्क्रांती चालविणारे 5 ट्रेंड हडूप डिस्ट्रिब्युटेड फाइल्स सिस्टम मोठ्या डेटाला हाताळण्यास मदत करते HDFS केसेस आणि उदाहरणे वापरतात त्या कंपनीच्या ऑनलाइन जाहिरात प्लेसमेंट आणि शोध इंजिन आवश्यकतांचा एक भाग म्हणून Hadoop वितरित फाइल सिस्टम Yahoo येथे उदयास आली. इतर वेब-आधारित कंपन्यांप्रमाणे, Yahoo ने वाढत्या संख्येने वापरकर्त्यांद्वारे ऍक्सेस केलेल्या विविध ऍप्लिकेशन्सचा वापर केला, जे अधिकाधिक डेटा तयार करत होते.

EBay, Facebook, LinkedIn आणि Twitter या कंपन्यांपैकी आहेत ज्यांनी Yahoo च्या सारख्या गरजा पूर्ण करण्यासाठी मोठ्या डेटा विश्लेषणासाठी HDFS चा वापर केला.

HDFS ला जाहिरात सेवा आणि शोध इंजिन आवश्यकता पूर्ण करण्यापलीकडे वापर आढळला आहे. न्यूयॉर्क टाइम्सने मोठ्या प्रमाणात प्रतिमा रूपांतरण, लॉग प्रोसेसिंग आणि मशीन लर्निंगसाठी Media6Degrees, लॉग स्टोरेज आणि ऑड्स विश्लेषणासाठी LiveBet, सत्र विश्लेषणासाठी Joost आणि लॉग विश्लेषण आणि डेटा मायनिंगसाठी फॉक्स ऑडियंस नेटवर्कचा भाग म्हणून याचा वापर केला. HDFS हे अनेक ओपन सोर्स डेटा लेकच्या केंद्रस्थानी देखील आहे.

सामान्यतः, अनेक उद्योगांमधील कंपन्या मोठ्या डेटाचे पूल व्यवस्थापित करण्यासाठी HDFS वापरतात, यासह:

इलेक्ट्रिक कंपन्या. स्मार्ट ग्रिड्सच्या आरोग्यावर लक्ष ठेवण्यासाठी वीज उद्योग त्यांच्या ट्रान्समिशन नेटवर्कमध्ये फॅसर मापन युनिट (PMUs) तैनात करतो. हे हाय-स्पीड सेन्सर निवडक ट्रान्समिशन स्टेशन्सवर मोठेपणा आणि टप्प्यानुसार वर्तमान आणि व्होल्टेज मोजतात. या कंपन्या नेटवर्क सेगमेंटमधील सिस्टम दोष शोधण्यासाठी आणि त्यानुसार ग्रीड समायोजित करण्यासाठी PMU डेटाचे विश्लेषण करतात. उदाहरणार्थ, ते बॅकअप उर्जा स्त्रोतावर स्विच करू शकतात किंवा लोड समायोजन करू शकतात. पीएमयू नेटवर्क्स प्रति सेकंद हजारो रेकॉर्ड घडवतात आणि परिणामी, एचडीएफएस सारख्या स्वस्त, उच्च उपलब्ध फाइल सिस्टमचा वीज कंपन्यांना फायदा होऊ शकतो. विपणन. लक्ष्यित विपणन मोहिमा विक्रेत्यांना त्यांच्या लक्ष्यित प्रेक्षकांबद्दल बरेच काही जाणून घेण्यावर अवलंबून असते. सीआरएम सिस्टीम, डायरेक्ट मेल रिस्पॉन्स, पॉइंट-ऑफ-सेल सिस्टीम, फेसबुक आणि ट्विटर यासह अनेक स्त्रोतांकडून मार्केटर्स ही माहिती मिळवू शकतात. यातील बराचसा डेटा संरचित नसल्यामुळे, HDFS क्लस्टर हे डेटाचे विश्लेषण करण्यापूर्वी डेटा टाकण्यासाठी सर्वात किफायतशीर ठिकाण आहे. तेल आणि गॅस पुरवठादार. तेल आणि वायू कंपन्या व्हिडिओ, 3D अर्थ मॉडेल आणि मशीन सेन्सर डेटासह खूप मोठ्या डेटा सेटसह विविध डेटा फॉरमॅट हाताळतात. HDFS क्लस्टर आवश्यक असलेल्या मोठ्या डेटा विश्लेषणासाठी योग्य व्यासपीठ प्रदान करू शकतो. संशोधन. डेटाचे विश्लेषण करणे हा संशोधनाचा एक महत्त्वाचा भाग आहे, म्हणून, येथे पुन्हा, HDFS क्लस्टर्स मोठ्या प्रमाणात डेटा संचयित, प्रक्रिया आणि विश्लेषित करण्यासाठी एक किफायतशीर मार्ग प्रदान करतात. HDFS डेटा प्रतिकृती डेटा प्रतिकृती हा HDFS फॉरमॅटचा एक महत्त्वाचा भाग आहे कारण तो नोड किंवा हार्डवेअर बिघाड असल्यास डेटा उपलब्ध राहील याची खात्री करतो. आधी सांगितल्याप्रमाणे, डेटा ब्लॉकमध्ये विभागला गेला आहे आणि क्लस्टरमधील असंख्य नोड्समध्ये प्रतिकृती तयार केली आहे. म्हणून, जेव्हा एक नोड खाली जातो, तेव्हा वापरकर्ता त्या नोडवर असलेल्या डेटामध्ये इतर मशीनमधून प्रवेश करू शकतो. HDFS नियमित अंतराने प्रतिकृती प्रक्रिया राखते.