دو نگرانی های بزرگ داده Hadoop اجرای خود

با توجه به آی بی ام بالا، ما ایجاد 2.5 quintillion کلمه در ادامه متن از داده ها در هر روز. سرچشمه این داده ها از همه حوزه های فعالیت و در همه جا: به نام تنها چند داده از سنسور و سایت های رسانه های اجتماعی و تصاویر دیجیتال و وب لاگ و معامله رکورد خرید آنلاین و غیره، آمده است.

به طور کلی داده را می توان به سه دسته طبقه بندی است. هر گونه اطلاعات است که می تواند در پایگاه داده های ذخیره شده را می توان به عنوان داده های ساخت یافته نامیده می شود. به عنوان مثال، معامله رکورد خرید آنلاین را می توان در پایگاه داده ذخیره شده است. از این رو، آن به عنوان داده های ساخت یافته نامیده می شود. برخی از داده ها تا حدی می تواند در پایگاه داده است که می تواند به عنوان داده های نیمه ساخت یافته نام ذخیره می شوند. به عنوان مثال، اطلاعات در پرونده XML تا حدی می تواند در پایگاه داده ذخیره می شود و می توانید آن را به عنوان داده های نیمه ساخت یافته نام.

اشکال دیگر داده است که به این دو دسته متناسب خواهد شد به عنوان داده های بدون ساختار نامیده می شوند. به نام چند، اطلاعات از سایت های رسانه های اجتماعی، وب لاگ تجزیه و فرآوری شده در پایگاه داده ذخیره می شود نمی باشد، بنابراین آن را به عنوان داده های بدون ساختار طبقه بندی است. اصطلاح دیگر مورد استفاده برای داده های بدون ساختار داده های بزرگ است.

با توجه به NASSCOM، داده های ساخت یافته حساب برای 10 درصد از داده ها است که امروز در اینترنت وجود دارد. این حساب 10 ٪ از داده های نیمه ساخت یافته و 80 درصد باقی مانده از داده ها در داده های بدون ساختار می آید. به طور کلی سازمان های استفاده از تجزیه و تحلیل ساخت یافته و نیمه ساخت یافته داده ها با استفاده از ابزارهای تجزیه و تحلیل داده های سنتی. هیچ ابزار پیچیده به تجزیه و تحلیل داده های بدون ساختار تا چارچوب نقشه را کاهش می دهد که توسعه یافته توسط گوگل وجود دارد. بعد، آپاچی، توسعه چارچوب نام “Hadoop” است که تجزیه و تحلیل این داده ها و اطلاعات است که کمک بزرگی برای کسب و کار تصمیم گیری بهتر را نشان می دهد.

Hadoop در حال حاضر اهمیت آن در مناطق مختلف ثابت شده است. به عنوان مثال، با توجه به NASSCOM، بسیاری از سازمان ها با استفاده از آنالیز داده های بزرگ آغاز شده است. ملی اقیانوسی و فضای اداری (NOAA)، شرکت های ملی هوانوردی و فضایی (NASA) و چند دارویی و انرژی شروع کرده اند با استفاده از آنالیز داده های بزرگ گسترده برای پیش بینی رفتار مشتریان خود را.

با توجه به تحقیقات اخیر از گروه Nemertes سازمان ارزش در تجزیه و تحلیل داده های بزرگ و برنامه ریزی به اهرم بهتر در دلیل بیم و مزایای تجزیه و تحلیل داده ها بزرگ. نیویورک تایمز با استفاده از داده های بزرگ ابزار برای تجزیه و تحلیل متن و شرکت والت دیزنی استفاده از آنها را به/با مرتبط و رفتار مشتری در همه فروشگاه ها و پارک آن را درک. شرکت های هندی آن مانند TCS Wipro Infosys و دیگر بازیکنان کلیدی نیز شروع به درو پتانسیل بسیار ممتازی برخوردار است که داده های بزرگ همچنان به ارائه.

این به وضوح نشان می دهد که داده های بزرگ منطقه ای نوظهور است و بسیاری از شرکت ها برای کشف فرصت های جدید را شروع کرده اند. در همین حال، استفاده از داده های بزرگ اثبات می شود ارزشمند است اما در همان زمان نیز ممکن است اشاره کرد که حفاظت از حریم خصوصی و داده ها نگرانی های خود را نیز افزایش یافته است.

نگرانی در مورد تجزیه و تحلیل داده های بزرگ بسیار معتبر از نظر حفظ حریم خصوصی است. اجازه بدهید یک مثال بسیار ساده می دهد. امروزه من بسیار مطمئن است که بسیاری از ما استفاده از رسانه های اجتماعی مانند صورت کتاب توییتر و بسیاری از انجمن های اجتماعی دیگر و بسیاری از ما به تماشای فیلم در یوتیوب. این وب سایت با استفاده از ابزار تحلیلی داده های بزرگ برای شناسایی فعالیت های خود را در اینترنت دو داده های تجزیه و تحلیل رفتار جستجو و محتوای شما تماشا در رسانه های اجتماعی را تصور کنید. از طریق داده های بزرگ فعالیت خود را در انجمن اجتماعی رسانه ها به وضوح مشخص می تواند. این نقض آشکار حریم خصوصی است. علاوه بر این، فقط تصور کنید سازمان اشتراک گذاری داده ها از تحليل به چند آژانس های بازاریابی، این به نوبه خود مسائل مربوط به حریم خصوصی بیشتر ایجاد می کند.

حالا ما بحث چیزهایی از دیدگاه حفاظت از داده ها. به طور معمول. اطلاعات بزرگ در محیط ابر ذخیره می شود. یعنی داده ها بر روی شبکه توزیع و جایی در جهان ذخیره می شود. اجازه بدهید مثالی بزنم. ما در انگلستان اقامت و دسترسی به برخی از وب سایت رسانه های اجتماعی و اطلاعات خود را از جمله نمایه ممکن است ذخیره شده در یک کشور در آسیا و یا در برخی از کشور های دیگر می گویند. اگر وب سایت رسانه های اجتماعی به برخی از اطلاعات از جمله اطلاعات خود را به آژانس های بازاریابی فروش، آنها را در موقعیت برای دسترسی کامل به شما مشخصات از جمله شماره تلفن باشد.

اگر آژانس بازاریابی موقعیت جغرافیایی شماره تلفن آهنگ، آنها را در موقعیت ضبط خود را حق کامل جنبش از زمان ترک خانه خود و هنگامی که شما ترک خانه خود را برای کار و حتی سفر خود را به معشوق خود را به خانه دوست شما در حرکت باشد همچنین ثبت خواهد شد. مسلح با این اطلاعات، تبلیغات ممکن است چیزهایی را برای نفع خود را طبق روال منظم اتخاذ شده توسط شما هر روز استفاده کنید و آنها نیز می توانید پیدا کردن و ترویج سرمایه گذاری خود را به هر جا که هستید. به وضوح نشان می دهد که حفاظت از داده ها یکی دیگر از نگرانی های عمده با تجزیه و تحلیل داده های بزرگ است.

نگرانی خود را در مورد تجزیه و تحلیل داده های بزرگ به چند قانونگذاران و برگزار کنندگان سراسر جهان انگشت گذاشته اند. سازمان هایی مانند مصرف کننده ناظر را نیز مطرح دغدغه درباره حریم خصوصی و حفاظت از داده ها با تجزیه و تحلیل داده ها بزرگ. بر اساس گزارش از Gartner، “یک چهل درصد از مصرف کنندگان می گویند آنها می شود نگران به حریم خصوصی اگر آنها را به استفاده از سرویس های مکان تلفن همراه به طوری که آنها می تواند بیشتر هدفمند پیشنهادات از طریق برنامه های تبلیغاتی و یا وفاداری دریافت شد ‘.

داده های بزرگ ابزار بزرگ است و آن راه بیشتر و فرصت های زیادی برای سازمان های باز. مزایای فوق العاده ای داده های بزرگ نمی توسط نگرانی های خود را بیش از حفظ حریم خصوصی و حفاظت از داده ها دستکاری باید باشد. جنبه های خوب، بسیاری از سازمان ها از قبل به وضوح آگاه هستند و اطلاعات مربوط به این موضوع. برخی از سازمان ها برای به اشتراک گذاشتن قصد جمع آوری داده ها به مشتریان آغاز شده است. برخی از سازمان ها به روز سیاست حفظ حریم خصوصی را در وب سایت خود را به قصد آن استراتژی مجموعه داده ها را به اشتراک بگذارید.

علاوه بر ابر امنیت اتحاد (CSA)، کنسرسیوم فن آوری شرکت ها و سازمان های بخش دولتی راه اندازی بزرگ داده کار گروه، که برای پیدا کردن راه حل مناسب برای داده های محور در حال کار و مشکلات حفظ حریم خصوصی. بنابراین، امیدوارم، این دو موضوع عمده خطاب خواهد شد و مزایای تجزیه و تحلیل داده های بزرگ برای استفاده بزرگ و پتانسیل عظیم آن را ارائه می دهد را در روزهای آینده مهار قرار داده است. بیایید امیدواریم که برای بهترین.

android

با توجه به آی بی ام بالا، ما ایجاد 2.5 quintillion کلمه در ادامه متن از داده ها در هر روز. سرچشمه این داده ها از همه حوزه های فعالیت و در همه جا: به نام تنها چند داده از سنسور و سایت های رسانه های اجتماعی و تصاویر دیجیتال و وب لاگ و معامله رکورد خرید آنلاین و غیره، آمده است.

به طور کلی داده را می توان به سه دسته طبقه بندی است. هر گونه اطلاعات است که می تواند در پایگاه داده های ذخیره شده را می توان به عنوان داده های ساخت یافته نامیده می شود. به عنوان مثال، معامله رکورد خرید آنلاین را می توان در پایگاه داده ذخیره شده است. از این رو، آن به عنوان داده های ساخت یافته نامیده می شود. برخی از داده ها تا حدی می تواند در پایگاه داده است که می تواند به عنوان داده های نیمه ساخت یافته نام ذخیره می شوند. به عنوان مثال، اطلاعات در پرونده XML تا حدی می تواند در پایگاه داده ذخیره می شود و می توانید آن را به عنوان داده های نیمه ساخت یافته نام.

اشکال دیگر داده است که به این دو دسته متناسب خواهد شد به عنوان داده های بدون ساختار نامیده می شوند. به نام چند، اطلاعات از سایت های رسانه های اجتماعی، وب لاگ تجزیه و فرآوری شده در پایگاه داده ذخیره می شود نمی باشد، بنابراین آن را به عنوان داده های بدون ساختار طبقه بندی است. اصطلاح دیگر مورد استفاده برای داده های بدون ساختار داده های بزرگ است.

با توجه به NASSCOM، داده های ساخت یافته حساب برای 10 درصد از داده ها است که امروز در اینترنت وجود دارد. این حساب 10 ٪ از داده های نیمه ساخت یافته و 80 درصد باقی مانده از داده ها در داده های بدون ساختار می آید. به طور کلی سازمان های استفاده از تجزیه و تحلیل ساخت یافته و نیمه ساخت یافته داده ها با استفاده از ابزارهای تجزیه و تحلیل داده های سنتی. هیچ ابزار پیچیده به تجزیه و تحلیل داده های بدون ساختار تا چارچوب نقشه را کاهش می دهد که توسعه یافته توسط گوگل وجود دارد. بعد، آپاچی، توسعه چارچوب نام “Hadoop” است که تجزیه و تحلیل این داده ها و اطلاعات است که کمک بزرگی برای کسب و کار تصمیم گیری بهتر را نشان می دهد.

Hadoop در حال حاضر اهمیت آن در مناطق مختلف ثابت شده است. به عنوان مثال، با توجه به NASSCOM، بسیاری از سازمان ها با استفاده از آنالیز داده های بزرگ آغاز شده است. ملی اقیانوسی و فضای اداری (NOAA)، شرکت های ملی هوانوردی و فضایی (NASA) و چند دارویی و انرژی شروع کرده اند با استفاده از آنالیز داده های بزرگ گسترده برای پیش بینی رفتار مشتریان خود را.

با توجه به تحقیقات اخیر از گروه Nemertes سازمان ارزش در تجزیه و تحلیل داده های بزرگ و برنامه ریزی به اهرم بهتر در دلیل بیم و مزایای تجزیه و تحلیل داده ها بزرگ. نیویورک تایمز با استفاده از داده های بزرگ ابزار برای تجزیه و تحلیل متن و شرکت والت دیزنی استفاده از آنها را به/با مرتبط و رفتار مشتری در همه فروشگاه ها و پارک آن را درک. شرکت های هندی آن مانند TCS Wipro Infosys و دیگر بازیکنان کلیدی نیز شروع به درو پتانسیل بسیار ممتازی برخوردار است که داده های بزرگ همچنان به ارائه.

این به وضوح نشان می دهد که داده های بزرگ منطقه ای نوظهور است و بسیاری از شرکت ها برای کشف فرصت های جدید را شروع کرده اند. در همین حال، استفاده از داده های بزرگ اثبات می شود ارزشمند است اما در همان زمان نیز ممکن است اشاره کرد که حفاظت از حریم خصوصی و داده ها نگرانی های خود را نیز افزایش یافته است.

نگرانی در مورد تجزیه و تحلیل داده های بزرگ بسیار معتبر از نظر حفظ حریم خصوصی است. اجازه بدهید یک مثال بسیار ساده می دهد. امروزه من بسیار مطمئن است که بسیاری از ما استفاده از رسانه های اجتماعی مانند صورت کتاب توییتر و بسیاری از انجمن های اجتماعی دیگر و بسیاری از ما به تماشای فیلم در یوتیوب. این وب سایت با استفاده از ابزار تحلیلی داده های بزرگ برای شناسایی فعالیت های خود را در اینترنت دو داده های تجزیه و تحلیل رفتار جستجو و محتوای شما تماشا در رسانه های اجتماعی را تصور کنید. از طریق داده های بزرگ فعالیت خود را در انجمن اجتماعی رسانه ها به وضوح مشخص می تواند. این نقض آشکار حریم خصوصی است. علاوه بر این، فقط تصور کنید سازمان اشتراک گذاری داده ها از تحليل به چند آژانس های بازاریابی، این به نوبه خود مسائل مربوط به حریم خصوصی بیشتر ایجاد می کند.

حالا ما بحث چیزهایی از دیدگاه حفاظت از داده ها. به طور معمول. اطلاعات بزرگ در محیط ابر ذخیره می شود. یعنی داده ها بر روی شبکه توزیع و جایی در جهان ذخیره می شود. اجازه بدهید مثالی بزنم. ما در انگلستان اقامت و دسترسی به برخی از وب سایت رسانه های اجتماعی و اطلاعات خود را از جمله نمایه ممکن است ذخیره شده در یک کشور در آسیا و یا در برخی از کشور های دیگر می گویند. اگر وب سایت رسانه های اجتماعی به برخی از اطلاعات از جمله اطلاعات خود را به آژانس های بازاریابی فروش، آنها را در موقعیت برای دسترسی کامل به شما مشخصات از جمله شماره تلفن باشد.

اگر آژانس بازاریابی موقعیت جغرافیایی شماره تلفن آهنگ، آنها را در موقعیت ضبط خود را حق کامل جنبش از زمان ترک خانه خود و هنگامی که شما ترک خانه خود را برای کار و حتی سفر خود را به معشوق خود را به خانه دوست شما در حرکت باشد همچنین ثبت خواهد شد. مسلح با این اطلاعات، تبلیغات ممکن است چیزهایی را برای نفع خود را طبق روال منظم اتخاذ شده توسط شما هر روز استفاده کنید و آنها نیز می توانید پیدا کردن و ترویج سرمایه گذاری خود را به هر جا که هستید. به وضوح نشان می دهد که حفاظت از داده ها یکی دیگر از نگرانی های عمده با تجزیه و تحلیل داده های بزرگ است.

نگرانی خود را در مورد تجزیه و تحلیل داده های بزرگ به چند قانونگذاران و برگزار کنندگان سراسر جهان انگشت گذاشته اند. سازمان هایی مانند مصرف کننده ناظر را نیز مطرح دغدغه درباره حریم خصوصی و حفاظت از داده ها با تجزیه و تحلیل داده ها بزرگ. بر اساس گزارش از Gartner، “یک چهل درصد از مصرف کنندگان می گویند آنها می شود نگران به حریم خصوصی اگر آنها را به استفاده از سرویس های مکان تلفن همراه به طوری که آنها می تواند بیشتر هدفمند پیشنهادات از طریق برنامه های تبلیغاتی و یا وفاداری دریافت شد ‘.

داده های بزرگ ابزار بزرگ است و آن راه بیشتر و فرصت های زیادی برای سازمان های باز. مزایای فوق العاده ای داده های بزرگ نمی توسط نگرانی های خود را بیش از حفظ حریم خصوصی و حفاظت از داده ها دستکاری باید باشد. جنبه های خوب، بسیاری از سازمان ها از قبل به وضوح آگاه هستند و اطلاعات مربوط به این موضوع. برخی از سازمان ها برای به اشتراک گذاشتن قصد جمع آوری داده ها به مشتریان آغاز شده است. برخی از سازمان ها به روز سیاست حفظ حریم خصوصی را در وب سایت خود را به قصد آن استراتژی مجموعه داده ها را به اشتراک بگذارید.

علاوه بر ابر امنیت اتحاد (CSA)، کنسرسیوم فن آوری شرکت ها و سازمان های بخش دولتی راه اندازی بزرگ داده کار گروه، که برای پیدا کردن راه حل مناسب برای داده های محور در حال کار و مشکلات حفظ حریم خصوصی. بنابراین، امیدوارم، این دو موضوع عمده خطاب خواهد شد و مزایای تجزیه و تحلیل داده های بزرگ برای استفاده بزرگ و پتانسیل عظیم آن را ارائه می دهد را در روزهای آینده مهار قرار داده است. بیایید امیدواریم که برای بهترین.