بگ ڈیٹا سسٹمز اور اینالیٹکس

(الیکٹرانک موسیقی) بگ ڈیٹا سسٹمز اور تجزیات میں خوش آمدید۔ ان اسباق میں، آپ اسٹوریج سسٹمز کے بارے میں سیکھیں گے۔ بڑے ڈیٹا کے لیے ڈیزائن کیا گیا، جیسے ہڈوپ اور اس کے فن تعمیر، جس میں Hadoop تقسیم شدہ فائل سسٹم، MapReduce، اور دستیاب نوڈس کی مختلف اقسام۔ بڑے ڈیٹا پر کارروائی کرنے کے لیے، آپ کو ایک سنٹرلائزڈ ایپلیکیشن کی ضرورت ہے۔ جو آپ کو جمع کرنے، پھر ڈیٹا اسٹور کرنے کی اجازت دیتا ہے۔ ایک رشتہ دار ڈیٹا بیس میں، لیکن یہ ممکن نہیں ہے۔ ایک رشتہ دار ڈیٹا بیس میں بڑے ڈیٹاسیٹس کو ذخیرہ کرنے کے لیے کیونکہ ڈیٹا بیس ایک رکاوٹ پیدا کرے گا۔ یہ ایپلی کیشنز عام طور پر صرف چھوٹے سسٹمز کو سپورٹ کرتی ہیں۔ جو بڑے ڈیٹا کو سنبھال نہیں سکتا۔ گوگل نے یہ مسئلہ حل کر دیا۔ MapReduce پروگرامنگ ماڈل کے ساتھ۔ MapReduce الگورتھم درج ذیل افعال انجام دیتا ہے۔ بڑے کام کو چھوٹے حصوں میں تقسیم کرنا۔ چھوٹی ملازمتوں کو آزادانہ طور پر انجام دینا۔ نتائج کو ایک ڈیٹاسیٹ میں ضم کرنا۔ اگر آپ کو حل کرنے کے لئے ایک بڑا مسئلہ ہے، پھر آپ الگورتھم کو کئی چھوٹے کاموں میں توڑ سکتے ہیں، اور ہر کام آزادانہ طور پر انجام دیتا ہے۔ تقسیم شدہ انفراسٹرکچر پر۔ Hadoop کو MapReduce الگورتھم چلانے کے لیے ڈیزائن کیا گیا ہے۔ Hadoop سسٹمز MapReduce الگورتھم چلاتے ہیں، جو کام کو کئی چھوٹے کاموں میں تقسیم کرتا ہے۔ یہ ڈیٹا کو متوازی طور پر پروسیس کرتا ہے، یعنی یہ چھوٹے کام بیک وقت انجام پاتے ہیں۔ تو یہ شماریاتی تجزیہ کر سکتا ہے۔ ایک وقت میں ڈیٹا کی بڑی مقدار پر۔ ہڈوپ فن تعمیر کے استعمال کے دیگر فوائد کہ یہ ہمیں کسی صورت حال سے نمٹنے میں مدد دے سکتا ہے۔ جہاں ایک نوڈ فیل ہو جائے، پھر ایک اور نوڈ پروسیسنگ کا خیال رکھے گا۔ ہڈوپ سائز تک ڈیٹا پر کارروائی کر سکتا ہے۔ متوازی ایک پیٹا بائٹ کا۔ یہ اسکیل ایبلٹی حل بھی فراہم کرتا ہے، یعنی مزید ڈیٹا پروسیسنگ کے لیے نوڈ کو متحرک طور پر شامل کیا جا سکتا ہے۔ ہڈوپ ڈسٹری بیوٹڈ فائل سسٹم فراہم کرتا ہے۔ وشوسنییتا، توسیع پذیری، اور دستیابی. ڈیٹا کو پورے سسٹم میں نقل کیا جاتا ہے۔ تقسیم شدہ بینر میں پروسیسنگ کے لیے۔ فائلوں کو بڑے بلاکس میں تقسیم کیا جاتا ہے۔ اور آپٹمائزڈ متوازی ریڈز کو فعال کرنے کے لیے نقل کیا جاتا ہے۔ MapReduce کے ساتھ، Hadoop کام کو انجام دیتا ہے۔ تقسیم شدہ فائل سسٹم پر ذخیرہ شدہ ڈیٹا کا استعمال کرتے ہوئے MapReduce الگورتھم کا استعمال کرتے ہوئے یہ ہمیں مؤثر طریقے سے حساب کتاب کرنے میں مدد کرتا ہے۔ ذخیرہ شدہ ڈیٹا کے ساتھ۔ اپاچی پگ ایک اوپن سورس پروجیکٹ ہے جو اوپر بنایا گیا ہے۔ MapReduce الگورتھم کا۔ یہ ہمیں ڈیٹا تجزیہ پروگرام بنانے میں مدد کرتا ہے۔ آپ اپاچی پگ کا استعمال کرتے ہوئے بڑے ڈیٹا سیٹس کا تجزیہ کر سکتے ہیں۔ یہ ڈیٹا کو ڈیٹا کے بہاؤ کے طور پر ظاہر کرنے میں بھی ہماری مدد کرتا ہے۔ آپ کو ڈیٹا تجزیہ پروگرام لکھنے کی ضرورت ہے۔ سور کی زبان کا استعمال کرتے ہوئے، اور یہ پروگرام تبدیل ہو جائے گا نقشے میں اور اندرونی طور پر کاموں کو کم کریں۔ سور کے استعمال کے کئی فائدے ہیں۔ یہ ساختی استفسار کی زبان کی طرح ہے۔ اگر آپ استفسار کی زبان جانتے ہیں، پھر اس زبان کو اٹھانا آسان ہے۔ یہ آپریٹرز کو سپورٹ کرتا ہے جیسے جوائن اور چھانٹنا، متعلقہ ڈیٹا بیس کی طرح۔ یہ سٹرکچرڈ اور غیر ساختہ ڈیٹا دونوں کو ہینڈل کر سکتا ہے۔ اپاچی پگ ایک اعلیٰ سطحی زبان ہے۔ MapReduce تجریدی پرت پر بنایا گیا ہے۔ اپاچی پگ کے مقابلے MapReduce سیکھنا مشکل ہو سکتا ہے، لیکن جاوا پروگرامنگ میں ماہر ہونا اسے سیکھنے میں مدد کر سکتے ہیں۔ اپاچی پگ آپ کو نمونہ اسکرپٹ لکھنے کی بھی اجازت دیتا ہے۔ جو پہلے ہی مرتب ہو چکا ہے اور پیدا کرے گا۔ اندرونی طور پر MapReduce کام۔ MapReduce جاب کو تالیف کرنے میں زیادہ وقت درکار ہے۔ اور ڈویلپرز کو ڈیٹا ذخیرہ کرنے کی اجازت دیتا ہے۔ پائپ لائن میں کہیں بھی۔ یہ لائبریریاں فراہم کرتا ہے جو ہمیں تخلیق کرنے کے قابل بناتا ہے۔ اقتباس، تبدیلی، اور لوڈنگ جابز۔ اپاچی پگ کے چند عام استعمال یہ ہیں۔ ڈیٹا کو پارکیٹ فارمیٹ میں تبدیل کریں۔ ڈیٹا کے پیٹا بائٹس سے لاگ فائلیں تلاش کریں۔ بڑے سائز کے ڈیٹا پر کارروائی کریں اور ایگریگیٹس تیار کریں۔ تصویر کی تبدیلی کو انجام دیں۔ Apache Hive بھی ایک پلیٹ فارم ہے۔ MapReduce آپریشنز پیدا کرنے کے لیے۔ Hive ایڈہاک سوالات کے لیے مدد فراہم کرتا ہے۔ ڈیٹا ایگریگیٹس پیدا کرنے کے لیے اور مدد کرنے والی مختلف تکنیکیں بھی فراہم کرتا ہے۔ بڑے ڈیٹاسیٹس کے تجزیہ کے ساتھ۔ یہ اسی طرح کی زبان کی حمایت کرتا ہے۔ SQL سرور استفسار کی زبان میں۔ Hive عام طور پر سٹرکچرڈ ڈیٹا کے ساتھ اچھا کام کرتا ہے۔ اپاچی پگ کے مقابلے میں اور مختلف ڈیٹا کی اقسام پر کام کرتا ہے، جیسے ساختہ، غیر ساختہ، اور نیم ساختہ۔ Hive ہمیں HiveQL کا استعمال کرتے ہوئے اسکرپٹ لکھنے کی اجازت دیتا ہے، ایک استفسار پروسیسنگ اور اعلانیہ زبان۔