خادوم للمواد الإعلامية
مقدمة
هذا المقال هو شرح لعملية تركيب و القرارات التي صاحبت إنشاء خادم للمواد الإعلامية المتعددة كجزء من وحدة أفلام س مفتوحة المصدر لإنهاء الأفلام و للتشارك في الأدوات والمواد الإعلامية. المصمم التقني لهذا الخادم هو محمد عمار و المصمم الفني و منسق المشروع هو مصطفى يوسف.
لماذا خادم منفصل؟
هناك عدة أسباب لصنع خادم مستقل تحمل به فيديوهاتك و موادك الإعلامية الخام (rushes) أو المعدلة بدلا من الإحتفاظ بها على أقراص صلبة داخل الجهاز أو خارجه.
- السبب الأول هو السعة الكبيرة حيث أنه لا يمكن في الوقت الحالي وجود حاسوب به مثلا سعة 30 تيرابايت أو أكثر، و طبعا الأقراص الخارجية مثل الGRaid و الWestern Digital لا تصل لهذا الحجم الكبير.
- السبب الثاني هو قدرتك الدائمة على تطويره و آضافة أو إستبدال الأقراص الصلبة بما يضيف سعة أخرى في المستقبل له و هو عادة مالا يمكن عمله في أشكال التخزين الأخرى.
- السبب الثالث هو أن الوصلات بينه و بين الوحدة التي تعمل عليها عمليات المونتاج أو الميكساج أو التصحيح لها القدرة أن تكون عالية السرعة لبث مادة 2K أو حتى 4K بشكل واقعي و وقتي، فعلى بروتوكول FCoE و وصلة 10GbE تكون سرعتك 10Gb/s و هي ضعف الٍSuperSpeed الخاصة بوصلة الUSB 3.0 و يمكن في حالة التوصيل المزدوج الوصول لسرعة ضعف هذا أي 20Gb/s و هو ما يعادل وصلة الThunderbolt 2 و هي أسرع ما يستخدم الآن.
- السبب الرابع هو قدرتك على تركيبه بشكل يضمن الحفظ و النسخ الدوري لكل بياناتك بحيث ألا تضيع مادتك و ملفاتك حتى اذا تم إتلاف أي من الأقراص الصلبة التي به.
- السبب الخامس و لعله الأهم و هو قدرة الخادم أن يكون موصولا عبر الشبكة لأكثر من جهاز في نفس الوقت، حتى و إن كانوا يعملون على نفس المادة. و بالتالي يمكن للمونتير و الميكسير مثلا أن يعملوا بشكل موازي على نفس الفيلم دون الحاجة للنسخ المتكرر للمادة المتعلقة بالفيلم على أقراص متفرقة. أيضا يسمح هذا بمساحات كبيرة من التعاون و إعادة إستخدام المادة الفيلمية سواء كانت مصورة أم مسجلة.
جدير بالذكر أن تفصيل أو شراء خادم منفصل هو في كل الأحوال عملية مكلفة و ليست عادة للمستخدم الفرد أو لكيان ذو حجم إنتاج صغير، فهذا الدليل يفيد بالأساس الستوديوهات الناشئة و التي تطمح لوجود بنية تحتية رخيصة نسبيا بالمقارنة بالستوديوهات الكبيرة و لكنها إحترافية و تسمح لها بالنمو في المجال الإعلامي.
لماذا خادم حر و مصنوع بالتفصيل؟
العديد من الماركات و الشركات الإحتكارية تقدم خدمات و خوادم معدة مسبقا مثل Apple XServer و HP و Siemens و Oracle و هناك أيضا شركات تصنع خوادم تحديدا للعمل السينمائي و الإعلامي مثل Promise و ٍStudio Network Solutions و غيرها. فلماذا إذا تصمم بشكل حر خادم مجمع يدويا و مبني على برمجيات مفتوجة المصدر؟
لهذا أيضا عدة اسباب:
- أولها التكلفة، فابينما الخادم لشركة إحتكارية مثل SNS به نفس السعة للخادم الذي نقوم بعمله (أي 16 خانة و معد بحيث يكون به سعة خام 48 تيرابايت) يكلف في أرخص تقدير و أرخص محل في الولايات المتحدة، دون حساب شحنه و ضرائبه 19999$ (أي قرابة العشرين ألف دولار)، و الخادم الخاص بشركة Promise ذو المواصفات التقنية الأقل في سرعة نقل المعلومات داخل الخادم و خارجه يكلف 24999$ أيضا على أقل تقدير. يكلف الخادم الذي نقوم بصنعه بنفس السعة، و طبعا بأدوات و قدرة أعلى على التحكم 10200$ (أزيد قليلا من 10 آلاف دولار). إذا إفترضنا أنك ستضطر مثلا للدفع لمهندس متخصص لصنعه على الأكثر مبلغ ألفين دولار أي ما يقابل شحن و ضرائب الحل الخاص بشركة SNS ستظل موفرا لتقريبا عشرة آلاف دولار فرق في السعر.
- السبب الثاني في صنعك للخادم بهذا الشكل التفصيلي هو قدرتك على تطويره دائما لمواكبة التطور التكنولوجي، لإذا مثلا ظهرت تقنية جديدة لنقل الملفات، يمكنك دون الإعتماد على شركات غالية أو دون إضطرارك لإستبدال جهازك أن تشتري كارت يعوض هذه التقنية الجديدة و تطور وحدتك، حيث أن نظامها مفتوح المصدر و يمكنك دائما أن تضيف و تعدل اليه.
- السبب الثالث هو قدرتك في هذا التفصيل على قدرة عالية من التحكم مما يتيح لك إحتمالات كثيرة جدا لإستخدام المادة الخاصة بك دون إضطرارك لإستخدام برنامج محدد من قبل الشركة التي تصنعه. و مما يضمن لك التحكم الكامل و المعرفة الدقيقة بمن يستطيع الولوج لأجهزتك و كيف.
- السبب الرابع و الأخير هو طبعا أن عملية صنع الخادم في حد ذاتها عملية تعليمية تجعلك ذو مقدرة و معرفة أوسع بالتقنيات.
ما الذي ننوي صنعه؟
هناك عدة أنواع من الخوادم و تستخدم لكافة الأغراض: خادم لاستضافة مواقع الانترنت، خادم لإدارة ميكنة مصنع و خلافه. و هي تأتي في كل الأشكال و الأنواع. الفكرة الأساسية في الخادم هي أنه جهاز حاسوب متصل بشبكة حواسيب، أي أنه عقدة فيها، متخصص في أداء وظيفة معينة وتلبية الطلبات التي ترده من حواسيب أخرى على الشبكة.
الهدف من هذا الخادم الذي نصنعه هو عمل حاسوب مركزي كبير ذو سعة واسعة وموصول بسرعة عالية بالجهاز الرئيسي، وفي نفس الوقت يمكن الولوج اليه من أي جهاز موصول بالشبكة لتحرير الملفات المخزنه عليه و هي غالبا مواد إعلامية من الفيديو، الصوت، الصورة. الهدف أيضا هو وجود صلاحيات مختلفة تسمح بوجود مستودع مفتوح للمواد خالية الحقوق التي يضعها أصحابها للتشارك وإعادة المزج مع الآخرين، وفي نفس الوقت ملفات يمكن حفظها بعيدا عن المستودع المفتوح لكي يعمل أصحابها عليها بشكل يضمن حفظها من أعين الآخرين.
التركيب الأساسي
الهيكل
الأجزاء الأساسية للخادم كما صممناه سيكون عبارة عن الآتي:
العلبة الخارجية
أول إعتبار وجب التفكير فيه هو السعة الإجمالية للخادم، و إمكانية توسعته، لآن لهذا علاقة مباشرة بحجم العلبة chassis التي ستشتريها.
بالرغم من وجود عدة إحتمالات لتركيب الخادم، مثلا في علبة رأسية مثل الحاسوب العادي، قررنا نحن الإعتماد على وحدة أفقية بحجم 3U و التي هي في المنتصف بين وحدة 2U التي هي عادة تستوعب من ٦ الى ١٠ خانات لأقراص صلبة و وحدة 4U التي تستوعب عادة ١٨-٢٠ قرص صلب.
سبب إعتمادنا على هذا الحجم هو قدرتنا على تركيب تقريبا ١٢ خانة لأقراص صلبة.. إلى جانب خانات للأقراص التي ستحتوي على نظام تشغيله، و بالتالي في حالة شراءنا لأقراص ٤ تيرابايت سيمكن الوصول لسعة إجمالية ٤٨ تيرابايت التي اذا قسمت على نظام RAID ستكون السعة الفعلية هي ثلثي هذا الحجم أي ٣٢ تيرابايت و هي كمية مناسبة لوحدة في مثل حجم وحدتنا.
هناك عدة ماركات للعلب و لكن طبقا لنصيحة محمد عمار الماركة المناسبة هي Supermicro لان العلبة تأتي بعدة إكسسوارات أساسية. و من هنا استقرينا على هذه العلبة: Supermicro SuperChassis 836E16-R1200B
من مزايا هذه العلبة أنها تأتي بإكسسوارات كاملة منها الوصلات اللازمة و اللوحة الخلفية لتوصيل ال16 قرص صلب بكروت المصفوفة لعمل وحدة واحدة منهم. كما تأتي أيضا كاملة بمصدر الكهرباء الخاص بها Power Supply و مراوح التبريد Fans و بها مساحة أكثر من كافية في الخلف لتوصيل اللوحة الأم و عمل نظام التشغيل و وضع أقراص مضغوطة لها.
مراوح التبريد
العلبة الخارجية التي تم الإختيار عليها بها 6 مراوح للتبريد
مصدر الطاقة
العلبة بها مصدر للطاقة 1200 واط
اللوحة الخلفية
العلبة بها لوحة خلفية BackPlane و التي يوصل بها ال16 قرص صلب لتوصلهم إما مباشرة للوحة الأم أم في حالتنا نحن توصلها بكروت الSAS
- اللوحة الأم و بها:
- المعالج المركزي CPU
- الذاكرة العشوائية RAM
- 2 أقراص صلبة أحادية الحالة SSD معمول عليها ريد و مركب عليها نظام التشغيل OmniOS
- 2 أقراص صلبة أحادية الحالة SSD معمول عليها ريد و مركب عليها مساحة مخبأة متأقلمة ARC لعمل ذاكرة عشوائية يديرها نظام تخزين الملفات ZFS
- 2 أقراص صلبة أحادية الحالة SSD معمول عليها ريد و مركب عليها مساحة لتخزين سجل ملفات نظام التخزين ZIL
- كارت ريد RAID
- 2 كروت SAS
- 9 أقراص صلبة كل واحد منهم سعته 4 تيرابايت.
التوصيلات
HDD
Backplane
Expander
2 x SAS Cards
RAID Card
Motherboard
العلبة
التنصيب و التشغيل
نظام التشغيل
أيضا بعد التفكير في أي أنظمة التشغيل أنسب لإدارة الخادم.. كنا نعلم أننا نريد نظام تشغيل مبني على OpenSolaris ولكن بعد أن أسقطت شركة أوراكل Oracle دعمها له بحثنا عن نظام تشغيل مناسب للخادم بحيث يكون مفتوحا و حرا و مجانيا في نفس الوقت، إلى جانب انه يعطي لنا قدرة عالية في التحكم في الملفات. من كل عائلة أنظمة التشغيل illumus وجدنا أن أنسب نظام تشغيل هو OmniOS.
من مزايا OmniOS أن:
لتركيب نظام التشغيل:
هيكل الملفات و طريقة التخزين
بناء على نصيحة أكثر من شخص منهم Morten Dall المبرمج الدنماركي و المتخصص في تخزين و نقل الملفات في شبكات كبيرة مع شركة Global Connect استقرينا على نظام تخزين: ZFS
و بما إن الخادم معرض لمشاكل معتادة مثل فساد أي من الأقراص الصلبة أو فساد المادة فقررنا الإعتماد على طريق التخزين بمصفوفة التعدد للأقراص المستقلة أو ما يعرف باسم RAID.
بعد التفكير في أنواع الريد المختلفة نفاضل بين نوعين RAID 0 و الملقب بالمخطوطة وهذه التقنية تحتوي على الخطوط ولكنها لا تسمح بتكرار البيانات. وهي توفر الأداء الأمثل وبدون احتمال وقوع أخطاء. هذه النوعية من الريد تعطي إستخدام عالي السرعة و مناسب لأحجام بيانات كبيرة كما تقسم البيانات على الهاردات المختلفة لكنها لا تنسخ نسخا من البيانات و بالتالي في حالة حدوث أي عطل في أي من الأقراص الإحتمال الأكبر هو خسارة جزء من المادة.
النوع الثاني هو RAID 5 وهذا النوع يتضمن مصفوفة التدوير المتكافئة Rotating Parity Array أو مصفوفة التدوير التي تستخدم تقنية فحص الـParity Bit ، وتعني عنونة نفس حدود الكتابة الموجودة في النوع RAID-4. وهذا يعني أن جميع عمليات القراءة والكتابة ستكون متداخلة ومتوافقة مع بعضها. النوع RAID-5 يخزن المعلومات التي يتم الكشف عن صحتها باستخدام تقنية Parity، ولكنه لا يعنى بتخزين البيانات، مع ملاحظة أن المعلومات التي يتم تخزينها يمكن أن تتحول إلى بيانات. هذا النوع يحتاج على الأقل إلى ثلاثة أقراص وعادة تستخدم خمس أقراص للمصفوفة المستخدمة في هذا النوع. ويعتبر هذا النوع من أفضل الأنواع في الأنظمة التي تسمح بتعدد المستخدمين والتي لا ينتقد فيها الأداء بشكل كبير أو التي تنجز عمليات كتابة قليلة. (المصدر ويكيبيديا) و برغم من أن هذا النوع أبطأ في التخزين و التعامل مع عمليات كتابة و تخزين كبيرة إلا أنه أكثر ضمانا حيث أنه في حالة حدوث أي عطل في أي من الأقراص، يمكن بسهولة استبداله و إعادة كتابة المادة حتى لا تحدث أي خسارة في أي جزء من المادة.
الخصائص:
بروتوكول التواصل مع الشبكة
FCoE
NFS
قائمة الأجهزة الصلبة
هذه هي قائمة المشتروات بأسعارها و روابط لشرائها من الولايات المتحدة مع حساب الضرائب و الشحن و رسوم الشركة الموردة (سواء أن كان موقع مثل إدفعلي أو شركة مستقلة) ملف:SeenMediaServerList.ods
المصادر و الوصلات الخارجية
خادم (معلوماتية) من على ويكيبيديا
كيفية توصيل الوصلات الأساسية لخادم أقراص ساس و ساتا - الجزء الأول
كيفية توصيل الوصلات الآساسية لخادم آقراص ساس و ساتا - الجزء الثاني
