سؤال كيفية النسخ الاحتياطي 20 + TB من البيانات؟


لدينا خادم NAS في الشركة التي أعمل بها والتي يتم استخدامها لتخزين جلسات التصوير الفوتوغرافي. كل جلسة تقريبا 100gb. على مدى العامين الماضيين ، قام هذا الخادم بتجميع 10 أضعاف من البيانات ، ونحن نعمل على زيادة كمية الصور التي يتم التقاطها بشكل كبير. أﻗدر أﻧﮫ ﺑﺣﻟول ﻧﮭﺎﯾﺔ اﻟﻌﺎم اﻟﻣﻘﺑل ﺳوف ﯾﮐون ﻟدﯾﻧﺎ 20+ TB ﻣﺧزﻧﺔ ﻋﻟﯽ NAS ھذه. نقوم حاليًا بدعم هذا الخادم حتى الشريط باستخدام أشرطة LTO-5 مع Symantec BackupExec. نظرًا لزيادة حجم هذا الخادم ، لم تكتمل عمليات النسخ الاحتياطي الكاملة لهذا الخادم بين عشية وضحاها. هل لدى أي شخص أي اقتراح حول كيفية الاحتفاظ بنسخة احتياطية من هذا الكم من البيانات؟ هل يجب علينا دعمها حتى الشريط؟ هل هناك أي خيارات أخرى قد تكون أفضل؟


82
2017-12-12 03:50


الأصل


لماذا تقوم بالنسخ الاحتياطي الكامل كل ليلة؟ لماذا لا تقوم بتشغيل نسخة احتياطية كاملة مرة واحدة في الأسبوع وتشغيل النسخ الاحتياطية التزايدية المتبقية 6 أيام في الأسبوع؟ - joeqwerty
هذا ما نفعله ، آسف لم أذكر ذلك ... الأسبوعي الكامل هو الذي لا يكمل. - Jesus Fidalgo
هل هناك حاجة أسبوعية كاملة لاستكمال العمل طوال الليل؟ ليس من غير المألوف أن تستغرق الجلسات الأسبوعية أكثر من 24 ساعة للحصول على مجموعة بيانات كبيرة بما فيه الكفاية. - Stefan Lasiewski
ما نوع NAS الذي تستخدمه؟ - ewwhite
هل أنت متأكد من أن الزيادة في photoshoots هي الأسي؟ - gerrit


الأجوبة:


تحتاج إلى اتخاذ خطوة إلى الوراء والتوقف عن التفكير "لقد حصلت على 20 تيرابايت على بلدي NAS أحتاج إلى النسخ الاحتياطي!" ووضع إستراتيجية تخزين تأخذ في الاعتبار طبيعة بياناتك:

  • من أين يأتي وكم من البيانات الجديدة التي تحصل عليها؟ (لديك هذا في سؤالك)
  • كيف يتم استخدام البيانات بمجرد الحصول عليها؟ هل يقوم الناس بتحرير الصور؟ هل تحتفظ بالأصول وتولد نسخًا محررة؟
  • كم من الوقت تحتاج للحفاظ على جميع البيانات؟ هل ما زال الناس يجرون تغييرات على الصور منذ عامين؟

اعتمادا على الإجابات على السؤالين الأخيرين ، ربما تحتاج إلى أكثر من نظام الأرشفة من نظام نسخ احتياطي مختلف جذريًا.

لا يلزم إجراء نسخ احتياطي للبيانات التي تكون ثابتة (مثل الصور التي عمرها سنتين والتي تحتفظ بها "في حالة وجودها") كل ليلة ، أو حتى كل أسبوع ، تحتاج إلى أرشفة. ما تفعله في الواقع قد يكون أكثر تعقيدًا ، ولكن من الناحية النظرية ، يمكن شطب جميع الصور القديمة إلى شريط (نسخ متعددة!) ولم يتم الاحتفاظ بنسخة احتياطية منها بعد الآن.

استنادًا إلى تعليقاتك ، بعض الأفكار الإضافية:

  • نظرًا لأنك تحتفظ بنسخة أصلية من كل لقطة دون مساس وتعمل على نسخة ، وبافتراض أن بعض الصور الأصلية على الأقل غير مفككة ، فقد تتمكن من تقليل كمية البيانات التي يجب نسخها احتياطيًا إلى النصف.

  • إذا كنت لا تزال غير قادر على إنهاء نسخة احتياطية كاملة في أي وقت لديك ، فإن الطريقة الشائعة لتسريع الأمور هي إجراء نسخ احتياطي من قرص إلى قرص أولاً ثم نسخ النسخة الاحتياطية في وقت لاحق إلى الشريط.


110
2017-12-12 04:19



يتم تخزين تبادل لاطلاق النار الأصلي دون مساس ، ثم يتم استخدام نسخة أخرى من التقطت الصور للتحرير. قد تحتاج إلى الاحتفاظ بالبيانات لمدة عامين تقريبًا. - Jesus Fidalgo
+1 قال حسنا. أنا مندهش من أن الفرق بين النسخ الاحتياطي والأرشيف ، بشكل عام ، غير مفهوم بشكل جيد. أقوم بالنسخ الاحتياطي الكامل والمتزايد للنظام الخاص بي والبيانات المؤقتة مثل البريد الإلكتروني والمستندات ، ولكن أرشفة التصوير الخاصة بي (1.2 تيرابايت والنمو :-). أتمنى أن أقدم إجراء 1+ آخر لاقتراح القرص إلى القرص أيضًا. - Ex Umbris
+1 ، أراهن على عدم استخدام 80٪ من البيانات على NAS أكثر من مرة واحدة. - Stefan Lasiewski
+1 الخيار الأفضل هنا هو عمل القرص اليومي وحتى القرص كل ساعة لعمليات تحويل دلتا القرص لالتقاط التغييرات ثم نقل النسخ الاحتياطي الكامل أو التزايدي إلى مقدم أو موقع تخزين أو موقع خارج الموقع على أساس أسبوعي أو نصف أسبوعي. كنا نستخدم نسخ احتياطية من ملفات SQL كل 15 دقيقة لتقليل مقدار فقد البيانات في سيناريو DR. - Brent Pabst


لديك خياران:

الخيار 1:

  1. شراء ناس آخر
  2. امنح مستخدميك حق الوصول RO إلى new_NAS
  3. نقل كافة الملفات الأقدم من 2 سنوات إلى new_NAS
  4. الاحتفاظ بنسخة احتياطية من old_NAS كالمعتاد
  5. كل 6 أشهر تنقل الملفات التي مضى عليها أكثر من سنتين إلى new_NAS

الخيار 2:

  1. شراء ناس آخر
  2. يركض rsync كل ساعة: old_NAS -> new_NAS

    أو أفضل استخدام شيء من هذا القبيل rdiff النسخ الاحتياطي الذي يعمل على rsync + لإبقاء deltas مع تغييرات الملف (يمكنك استعادة الإصدارات القديمة من الملفات)

    rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
    
  3. كل ستة أشهر من الملفات القديمة النظيفة التي تشغل ما يلي:

    rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
    

12
2017-12-12 15:07





لماذا يجب أن تكتمل النسخ الاحتياطية بين عشية وضحاها؟ أداء fileserver؟ قد تتمكن من تقييد عرض النطاق الترددي لبرنامج النسخ الاحتياطي للحد من التأثير خلال اليوم. أو خصص واجهة على NAS لديك للتحدث مع محرك الشريط للحد من التأثير على حركة المرور الأخرى.

يمكنك تشغيل مقالب كاملة في عطلة نهاية الأسبوع والزيادة فقط خلال الأسبوع؟ إذا كانت المشكلة هي تغيير الأشرطة في عطلة نهاية الأسبوع عندما لا يكون هناك شخص ما ، فإن تكلفة مكتبة / autochanger رخيصة التكلفة أقل بكثير من دفع شخص لتغيير الأشرطة.

هل يمكنك تقسيم بياناتك إلى مجموعات متعددة صغيرة بما يكفي لإكمالها في إطار النسخة الاحتياطية؟

لدينا حوالي 50 تيرابايت من البيانات على NAS الخاص بنا ويستغرق أكثر من أسبوع للحصول على تفريغ كامل للأمر بأكمله باستخدام محركي أشرطة (يحتاج مجلد واحد إلى ما يقرب من أسبوع نفسه لأنه يحتوي على العديد من الملفات الصغيرة). ما نقوم به هو تكرار بياناتنا إلى NAS الثاني. يوجد NAS الثانوي الخاص بنا في الموقع (ولكن في مركز بيانات مختلف عن الأساسي) ، لذلك لا نزال نقوم بنقل البيانات إلى الشريط للنسخ الاحتياطي خارج الموقع. نقوم بتشغيل نسخ احتياطية من NAS الثانوية بحيث لا تبطئ النسخ الاحتياطية أي شخص إلى الأسفل.

إذا تمكنت من إلقاء القبض على NAS الثانوي الخاص بك بعيدا بما فيه الكفاية ، فإنه يمكن أن يكون لديك نسخة احتياطية ، لا حاجة للأشرطة.


2
2017-12-12 18:47





أنا فقط في شك حول حجم كل جلسة تصوير ، هل حقا 100gb / جلسة؟ كم عدد الجلسات التي تقوم بها شركتكم كل شهر؟

نظرًا لأنك تخزن معظم الجلسات القديمة التي لا يتم استخدامها كثيرًا ، وما إلى ذلك ، وربما لا تحتاج إلى استرداد هذه المعلومات بشكل متكرر ، فإنني أقترح عليك استخدام الخدمات المقدمة من بعض الشركات لرعاية هذه المهمة لك .

على سبيل المثال ، فإن تخزين تلك السعة التخزينية البالغة 20 تيرابايت باستخدام خدمة عبر الإنترنت مثل Amazon Glacier سيكلف أكثر بقليل من 200 دولار في الشهر. إذا كنت بحاجة إلى استرداد هذه الأرشيفات بشكل متكرر ، أو حتى استردادها بالكامل ، فإنها ستضرب بعض الوقت / التكلفة. إذا قمت فقط بتخزين تلك الأشياء "للتأكد من أنها مخزنة" ، فربما باستخدام جزء ثالث يمكن أن يجعل حياتك أسهل (وحتى أرخص من شراء ناس أخرى ، أشرطة ، إلخ)


1
2017-12-12 12:15



100 غيغابايت لكل جلسة تبدو عالية قليلاً بالنسبة لي ، ولكن ليس غير معقول. كان لدينا عادةً أكثر من 32 جيجابايت من الجلسات حيث كنت أعمل ، وكانت معداتنا متوسطة. - Tom Marthenal


full backups of this server are not completing overnight
ثم حاول النسخ الاحتياطي التزايدي؟ نسخة احتياطية واحدة كاملة كل أيام xx ، تدريجية الباقي.

harddisks غير مكلفة ، أسرع من الأشرطة ويمكن استخدامها للنسخ الاحتياطي.

أيضا هناك بدائل جيدة للنسخ الاحتياطي السحابية الآن لذلك ليس من المطلوب للحفاظ على إضافة أشرطة أكثر وأسرع.
فمثلا:


1
2017-12-12 13:47



انظر إلى التعليقات - إنها الرسائل الأسبوعية الكاملة التي لا تكتمل. بالإضافة إلى ذلك ، النسخ الاحتياطي للسحابة ل 20 تيرابايت من البيانات ... ليست فكرة جيدة. سيكلف الخيار "الرخيص" في Amazon Glacier حوالي 2500 / سنة ، وسيكلف استرداد كل هذه البيانات حوالي 36000 دولار. - HopelessN00b
هذا ليس في الواقع الكثير. - Sirex
أعتقد أنها مسألة رأي إذا كان $ 2400 / yr الكثير من 20 تيرابايت لتخزين آمنة نسبيا وصيانة خالية تماما. لا يستهلك أي استهلاك للطاقة أو التبريد أو عدم وجود أجهزة فاشلة أو SLA مساحة الحامل. وكما هو الحال مع معظم الأنظمة ، يجب أن تتوقع حوالي 0 عمليات استرداد كاملة. وإذا كنت بحاجة إلى استرداد ، فالسعر أكثر مثل 1800 دولار من 36000 دولار (لست متأكدا من أين حصلت على هذا الرقم من). - Tedd Hansen
بالنسبة للنهر الجليدي ، يكون سعر $ 36K قريبًا جدًا. أحسبها تقريبًا بمبلغ 42 ألف دولارًا أمريكيًا لتكاليف الاسترداد على 20 تيرابايت. ما زال ليس كثيرا على الرغم من. النطاق الترددي هو أكثر من قضية. - Sirex


أﻋﺗﻘد أن اﻟﺣل اﻷﻓﺿل ﻟﮭذا ھو ﻣﺎ ﻧﻔﻌﻠﮫ ﻣﻊ ﺑﯾﺎﻧﺎت اﻟرواﺗب اﻟﺧﺎﺻﺔ ﺑﻧﺎ ، واﻟﺗﻲ ﯾﻧﺑﻐﻲ أن ﺗﺗﺧذ ﺟﮭودًا ﺿﺋﯾﻟﺔ ﻟﺗﻧﻔﯾذھﺎ.

  • في البداية ، يتم الاحتفاظ ببقية بيانات الخادم التي يتم الاحتفاظ بنسخة احتياطية منها يوميًا. فترة الاحتفاظ لدينا على تلك النسخ الاحتياطية هي 13 شهرًا.

  • بمجرد أن لا نتوقع أن تكون البيانات بحاجة إلى تعديل ، (فترتي دفع لاحقاً ، IIRC) يتم حفظ البيانات (عبر البرنامج النصي) في مجلد تخزين يتم استبعاده من النسخ الاحتياطية العادية.

  • يتم الاحتفاظ بنسخة احتياطية من حجم الأرشيف إلى شريط سنوي ، ويتم إرسال الأشرطة إلى شركة Cintas للتخزين لأجل غير مسمى.

يسمح لنا هذا بالوصول السهل عبر الإنترنت إلى تلك البيانات غير المتغيرة (لذلك لن نضطر إلى الاتصال بشريط في أي وقت يرغب فيه المحاسب في النظر إلى شيء ما) ، مع الاحتفاظ بأرشيفات خارج الموقع غير محددة للبيانات قد نحتاج إلى الاحتفاظ بها إلى الأبد ، ودون سحق نظام النسخ الاحتياطي لدينا. يبدو أن نفس نوع الإعداد قد يكون مناسبًا لك ، على الرغم من أنك قد ترغب في تعديل كمية البيانات التي تحتفظ بها عبر الإنترنت ، وذلك وفقًا لاحتياجاتك للوصول إلى هذه البيانات في الوقت المناسب - 20 تيرابايت من التخزين على مستوى المؤسسات أكثر تكلفة بكثير من أرشفته إلى مجموعتين أو ثلاث مجموعات من أشرطة LTO5 التي تقوم بتخزينها في أقبية خارج الموقع.


1
2017-12-12 16:58





ربما يمكنك بناء بنفسك كبسولة Backblaze: 135Tb إلى عن على 7384 $
انقر هنا للمزيد من المعلومات: Backblaze بود بناء معلومات

يمكنك شراء القطع المطلوبة وبناءها بنفسك.

ربما يمكنك بناء 3 منهم ، والحفاظ على 2 في الموقع ، و 1 خارج الموقع. ثم يمكنك استخدام جراب واحد ك "البيانات عبر الإنترنت" ، جراب الموقع الثاني كنسخة احتياطية من جراب الأول ، وجراب خارج الموقع الثالث كنسخة احتياطية في حالة الطوارئ خارج الموقع.

مع سعة تخزين تصل إلى 135 تيرابايت لكل وحدة تخزين ، يمكنك حتى التفكير في الاحتفاظ ببعض محفوظات التغيير ...
135Tb / 20Tb = 19 نسخة احتياطية كاملة.
بدلا من ذلك يمكنك الاحتفاظ بنسخة احتياطية كاملة 10 بالإضافة إلى مبلغ سخيفة من النسخ الاحتياطي التفاضلي.

بطبيعة الحال ، إذا كنت تريد نسخة احتياطية خارج الموقع ، ستحتاج إلى نوع من عرض النطاق الترددي الكبير ... :-)


0
2017-12-18 08:28



إذا كانت بياناتك ووظائفك مهمة بالنسبة لك ، فلا يجب عليك محاولة بناء جراب backblaze الخاص بك من الصفر. تبدو فكرة جيدة ، حتى تدرك أنك تضع كل بيضك في سلة واحدة كبيرة. والأسوأ من ذلك ، أن هذه السلة لم يتم اختبارها ككامل متكامل بشكل شامل. الصلصة السرية backblaze هي النسخ المتماثل للبرامج عبر العديد من القرون ، والتي تسمح لكامل القرون بالفشل بسلاسة. أود بدلاً من ذلك أن أوصي خادم تخزين supermicro ، centos ، xfs و rdiff- النسخ الاحتياطي. - bugaboo


اشترى زملائي في Synology 8 قرص NAS. يدير RAID الهجين. اشترى ثمانية تيرابايت سيجيت باراكودا من NewEgg منذ أسابيع قليلة مقابل 89 دولار لكل منهما. هل يمكن أن مرآة rsync من إنتاج NAS إلى هذا NAS الجديد على GigaBit. نظرًا لأنك تقوم فقط بنقل الاختلافات ، فإن التحويل سيستغرق وقتًا أقصر. ثم يمكنك استخدام النسخ الاحتياطي NAS لأداء كامل أو زيادة. التكلفة ستكون أقل من 2000 دولار خارج باب ناس NAP.


-1
2017-12-12 16:38