سؤال نقل 10 تيرابايت من الملفات من الولايات المتحدة الأمريكية إلى مركز البيانات في المملكة المتحدة


أنا أقوم بترحيل مخدومي من الولايات المتحدة إلى المملكة المتحدة من مركز بيانات إلى آخر. قال مضيفي أنني يجب أن أتمكن من تحقيق 11 ميغابايت في الثانية.

نظام التشغيل هو Windows Server 2008 في كلا الطرفين.

يبلغ حجم ملفي المتوسط ​​حوالي 100 ميغابايت ويتم تقسيم البيانات عبر خمسة محركات أقراص TB 2.

ما هي الطريقة الموصى بها لنقل هذه الملفات؟

  • FTP
  • SMB
  • Rynync / Robocopy
  • آخر؟

أنا لست منزعجة جدا من الأمن لأن هذه ملفات عامة على أي حال ، لكني فقط أريد حلا يمكن أن يدفع معدل نقل كامل 11 ميغابايت / ثانية لتقليل وقت النقل الإجمالي.


91
2017-10-03 20:03


الأصل


11 ميغابايت / ثانية أو 11 ميجا بايت / ثانية؟ - wim
نقل البيانات إلى بطاقة لكمة ثنائية واستخدام حمامة الناقل :) - enterzero
يجب عليك تقديم التفاصيل. كم عدد الحمامات التي تعتقد أنها ستحتاجها؟ اظهر عملك. - Evik James
Evik الأوروبي أو الأفريقي؟ - wim
باعتبارها جانبا ، فإن Wolfram Alpha هي الطريقة الأكثر ملاءمة لإجراء الحساب ، "10 تيرابايت في 11 ميغابايت / ثانية". wolframalpha.com/input/؟i=10+TB+at+11MB٪2Fs - pufferfish


الأجوبة:


شحن محركات الأقراص الصلبة عبر المحيط بدلاً من ذلك.

بسرعة 11 ميغابت في الثانية مع الاستخدام الكامل ، فأنت تنظر في 90 يومًا فقط لنقل 10 تيرابايت.


11 ميغابت في الثانية = 1.375 ميغابايت في الثانية = 116.015 جيجابايت / يوم.

10240 جيجابايت / 116.015 جيجابايت / يوم = ~ 88.3 يوم.


171
2017-10-03 20:14



+1 لـ Sneakernet. أيضا ، كنت قد نسيت TCP / IP النفقات العامة. إنها أقرب إلى 100 يوم في ظل الظروف المثالية. - Chris S
قال رجل حكيم ذات مرة "لا تقلل من شأن عرض نطاق محطة العربات المليئة بأشرطة تندفع على الطريق السريع". هذه المعادلة صحيحة جدا ولا تتغير بشكل كبير عن طريق تغيير عربة المحطة للقارب. (bpfh.net/sysadmin/never-underestimate-bandwidth.html) - Rob Moir
من الأفضل أن تقوم بشحن الأشرطة ، أو أقراص blueray ، بدلاً من محركات الأقراص. إذا كنت تستخدم محركات الأقراص ، فتأكد من أن الملفات الأصلية آمنة ومتوفرة في حال وجودها. سأذهب لمحركات الأقراص بنفسي (ما لم يكن لدي محركات أقراص Ultrium 4) لأن 10 أقراص TB = 410 واحدة من ألياف blueray! - Allen
أدركت للتو أنني طبعت 11Mbps ، ولكن ما كنت أقصد بالفعل كان 11MB / ثانية. أفترض أن هذا يحدث فرقا كبيرا ، حساباتي لها حوالي 11-14 يوما تقريبا ... هل هذا صحيح؟ - Paul Hinett
لا تزال تعتقد أن إرسال رجل يشرف على النسخ الاحتياطي 10 تيرابايت في حين أن القرص الرسمي لا يزال يعمل ثم بمجرد الانتهاء من الإعداد ، يمكنك تناول rsync لتحديث الخادم الجديد لأي تغيير. سيكون لديك جهازك يعمل في حوالي يوم. - Loïc Faure-Lacroix


أود أن أقول rsync ، في 11 ميغابايت / ثانية سوف ننظر في 10-14 يوما ، وحتى لو كنت تنقطع ، سيبدأ rsync بسهولة حيث توقفت في المرة السابقة.

في 11 ميغابت في الثانية كنت أشحن الأقراص الصلبة كما هو موضح أعلاه :)


25
2017-10-03 22:00



يختلف تقديرك بشكل كبير عن ما نشره الآخرون (ولا أعرف من هو الصحيح). يمكنك تقديم منهجيتك للوصول إلى هذه الأرقام؟ - John Gardeniers
يرجع الاختلاف إلى خطأ في البروتوكول الاختياري يبلغ 11 ميغابت في الثانية عندما كان يعني في الواقع 11 ميغابت في الثانية - وهو أسرع بـ 8 مرات. راجع للشغل ، إعادة تشغيل 10 تيرابايت rsync في حالة انقطاع سيستغرق بعض الوقت ، أليس كذلك؟ ساعات ، أو لفترة أطول؟ - Frank Farmer
FrankFarmer: لا داعي للقلق بشأن إعادة تشغيل rsync؛ أحتفظ بنسخة خارج off of ~ 20TB عبر خط لاسلكي 30Mbps ، وتتم إعادة التشغيل في نطاق الثواني. استغرق الإصدار الأولي بضعة أسابيع ، ولكن التحديث الليلي عادة ما يكون بضع ساعات. - Javier
FrankFarmer - يبدو أن rsync يتوسع بشكل جيد. لدي ~ 2TB على خط ADSL1 الريفية التي تم initalised مع sneakernet ، لكنه يأخذ ~ 5 دقائق إلى rsync كل ليلة إذا لم يتغير شيء. - Flexo
rsync إعادة جداول زمنية مع عدد من الملفات (أساسا من stat الوقت ، في تجربتي) ، وليس مع البيانات الإجمالية. لا أتوقع أي انتظار كبير (عدة دقائق على الأكثر). على الرغم من خبرتي مع قمم rsync في أقل قليلا من 5TB. - derobert


Rynync بالطبع.

على الأقل يمكنك الاستمرار في أي وقت بعد الاستراحة ، وبدون أي ألم.


14
2017-10-03 20:07



3+ أشهر لنسخ في استخدام 100 ٪. عذرًا ، ولكن هذه طريقة سيئة لنقل هذه البيانات. - Chris S
يجب أن أتفق معChrisS ، وذلك باستخدام rsync فقط لنسخ الملفات الكبيرة ليست فعالة. لأشيائي انتهيت باستخدام tar على netcat أو ssh لنقل الأولية. هو أسرع بكثير ويبدأ في نقل على الفور ، في حين rsync سوف تفحص جميع الملفات أولا والتي تستغرق وقتا طويلا. إذا تمت مقاطعة هذا يمكنك الاستمرار في استخدامه rsync بعد ذلك. في الواقع ، أفعل هذا في بعض الأحيان بعد tar على أي حال لضمان صحة جميع الأذونات وملفات المقبس ، إلخ. - Martin Scharrer
بعد تصحيح OP أنه لديه اتصال ~ 100Mb ، وليس 11Mb ، يجعل rsync أكثر منطقية. +1 لأول من ذكرها. - Chris S


لا تقلل من شأن عرض النطاق الترددي لسيارة ستيشن كاملة من الأشرطة

- طراد.

في قضيتك ، والأشرطة أو الأشرطة المرسلة عن طريق البريد ، ولكن لا يزال المبدأ ينطبق. إذا لم تكن قلقًا بشأن وقت الاستجابة ، فسيكون هذا أرخص كثيرًا من عرض النطاق الترددي للشبكة لنقل 10 تيرابايت من البيانات في أي فترة زمنية معقولة.


11
2017-10-04 11:32



ركض جيف أتوود الأرقام في واحدة من مشاركاته القديمة Coding Horror .. codinghorror.com/blog/2007/02/the-economics-of-bandwidth.html - tardate


يجب عليك استخدام rsync. ستكون ضغط البيانات و دي مكررة قبل إرسالها. ويمكنه أيضًا استئناف عمليات النقل الجزئية ، والتي تعتبر مهمة جدًا لأي تحويلات كبيرة.

من المحتمل أنه لا ينقل 10 تيرابايت ؛ إذا كانت السجلات والنصوص ، ويمكن أن يكون أقل من 1 تيرابايت ؛ ربما أقل من 1 تيرابايت.

هناك أدوات تقوم بعمل أفضل للضغط من rsync ومن المحتمل العثور على المزيد من التطابقات. يمكنك استخدام lrzipوما إلى ذلك

هناك أنواع معينة من البيانات لا تنضغط بشكل جيد ولا تحتوي على ملفات خداع حرفية - مقاطع الفيديو والوسائط الأخرى على سبيل المثال. في هذه الحالات ، يقوم FTP و rsync بالكثير من الجهد نفسه.


9
2017-10-04 08:02



RSync deduplicates البيانات؟ أعتقد أنه لا يفعل ذلك إلا على مستوى الملف ، مما يعني أن إلغاء البيانات المكررة لا فائدة منه في هذه الحالة. - devicenull


أعلم أن هذا قد تم قبوله بالفعل ولكن هل فكرت في نقل الأقراص إلى مركز / مزود / مضيف بيانات حيث يمكنك الحصول على المزيد من النطاق الترددي؟ من المحتمل أن تكلفك بعض المال ولكنك ستقوم بنسخ 10240 غيغابايت للأقراص الاحتياطية ، كما أن تكلفة إرسالها ستكلف كل من الوقت والمال (2 × المال).

أيضا عليك أن تكون على يقين من أن الأقراص لا تنقطع في النقل.


5
2017-10-04 07:13



كيف يختلف هذا الجواب عن الإجابة المقبولة؟ - Chris S
Chris تقترح هذه الإجابة نقل الأقراص إلى أنبوب أكبر في نفس القارة. - Alex Jasmin


11Mbps على؟ هذا هو الحد الذي لديك هنا. في حالتك كنت ببساطة:

  • استنساخ البيانات
  • اضغط عليه
  • استئجار خوادم على كلا طرفيها مع ما لا يقل عن 10 مرات أكثر من عرض النطاق الترددي (في نفس مراكز البيانات أو من نهايتك في مركز بيانات قريب منك).
  • نقل الملفات
  • قم بتطبيق البيانات على الخادم الجديد.

إذا لم يكن لديك حلاً حقيقيًا لزيادة عرض النطاق الترددي ... عندئذٍ ، فسيتم شحن محرك أقراص فعلي بسرعة أكبر.

من تجربتي المؤلمة تميل محركات الأقراص الصلبة إلى كسر البريد ... محركات أقراص USB المحمولة هي طريقة أفضل لحلول نقل البيانات المتكررة. في حالتك ، سيتطلب الأمر عددًا قليلًا منهم :) لذا أرسل نسختين من بياناتك على محركات أقراص صلبة متعددة.

بالنظر إلى كمية البيانات التي لديك ، يمكنك أيضًا إرسال محركات أقراص من مصفوفة RAID 5 أو RAID 6 إذا كان لديك نفس الجهاز / البرنامج على الجانب الآخر لتوصيل محركات الأقراص به. ولكن في هذه الحالة تذكر أن تحدد ترتيب محركات الأقراص لديك والأرقام التسلسلية الخاصة بهم حتى عند إعادة تشكيل أنها لا تحصل على مختلطة.


4
2017-10-04 00:15



آسف ، كان 11 ميغابت في الثانية خطأ ، وهو 11MB / ثانية ... لم أذكر في أحد التعليقات المذكورة أعلاه. - Paul Hinett


بينما يتعين عليّ أن أوافق على الإجابة "شحن باستخدام الأقراص الصلبة" في هذه الحالة ، هنا حل النسخ الذي استخدمه عندما يكون علي نسخ كميات كبيرة من الملفات لأول مرة:

في حين rsync من الجيد الاحتفاظ بمزامنتين لتخزين البيانات ، حيث يقدم مقدارًا كبيرًا من النفقات غير الضرورية للنقل الأولي. أنا أحسب أن أسرع طريقة هي tar الذي يحصل على أنابيب netcat. على موقع المتلقي يمكنك أيضا استخدام netcat في استمع الوضع الذي يوجه البيانات الواردة إلى استخراج tar. الفائدة هي ذلك tar يبدأ الإرسال على الفور netcat يرسله كتيار TCP عادي بدون حمل إضافي للبروتوكول ذي مستوى أعلى. هذا يجب أن يكون بالسرعة التي يحصل عليها. ومع ذلك ، ليس من السهل إعادة تشغيل عملية النقل التي تمت مقاطعتها في الموضع الأخير.

كما يمكن أيضًا ضغط بيانات النقل باستخدام اليمين tar خيارات أو إضافة أداة ضغط في الأنابيب. لاحظ أن netcat يرسل تاريخ غير مشفر. في الحالات التي لا يكون فيها هذا خيارًا ، تكون مشفرة ssh اتصال يمكن استخدامها بدلا من ذلك (tar <options> | ssh <target> -c 'tar -x <options>').

إذا تم نقل جميع البيانات rsync يمكن استخدامها للتأكد من أن جميع الملفات التي تم تحديثها في الوقت الحالي متزامنة. أيضا IIRC tar لا يخلق مآخذ والتي سوف تضيع خلاف ذلك ، ولكنها لا تستخدم حقا لبيانات مركز البيانات على أي حال.


3
2017-10-04 07:36



الجانب السلبي هو أنه لا يتسامح مع interuptions - Joel Coel