خادوم للمواد الإعلامية
مقدمة
هذا المقال هو شرح لعملية تركيب و القرارات التي صاحبت إنشاء خادم للمواد الإعلامية المتعددة كجزء من وحدة أفلام س مفتوحة المصدر لإنهاء الأفلام و للتشارك في الأدوات والمواد الإعلامية. المصمم التقني لهذا الخادم هو محمد عمار و المصمم الفني و منسق المشروع هو مصطفى يوسف.
لماذا خادم منفصل؟
هناك عدة أسباب لصنع خادم مستقل تحمل به فيديوهاتك و موادك الإعلامية الخام (rushes) أو المعدلة بدلا من الإحتفاظ بها على أقراص صلبة داخل الجهاز أو خارجه. السبب الأول هو السعة الكبيرة حيث أنه لا يمكن في الوقت الحالي وجود حاسوب به مثلا سعة 30 تيرابايت أو أكثر، و طبعا الأقراص الخارجية مثل الGRaid و الWestern Digital لا تصل لهذا الحجم الكبير. السبب الثاني هو قدرتك الدائمة على تطويره و آضافة سعة أخرى في المستقبل له و هو عادة مالا يمكن عمله في أشكال التخزين الأخرى. السبب الثالث هو أن الوصلات بينه و بين الوحدة التي تعمل عليها عمليات المونتاج أو الميكساج أو التصحيح لها القدرة أن تكون عالية السرعة لبث مادة 2K أو حتى 4K بشكل واقعي و وقتي، فعلى بروتوكول FCoE و وصلة 10GbE تكون سرعتك 10Gb/s و هي ضعف الٍSuperSpeed الخاصة بوصلة الUSB 3.0 و يمكن في حالة التوصيل المزدوج الوصول لسرعة ضعف هذا أي 20Gb/s و هو ما يعادل وصلة الThunderbolt 2 و هي أسرع ما يستخدم الآن. السبب الرابع و لعله الأهم و هو قدرة الخادم أن يكون موصولا عبر الشبكة لأكثر من جهاز في نفس الوقت، حتى و إن كانوا يعملون على نفس المادة. و بالتالي يمكن للمونتير و الميكسير مثلا أن يعملوا بشكل موازي على نفس الفيلم دون الحاجة للنسخ المتكرر للمادة المتعلقة بالفيلم على أقراص متفرقة. أيضا يسمح هذا بمساحات كبيرة من التعاون و إعادة إستخدام المادة الفيلمية سواء كانت مصورة أم مسجلة.
جدير بالذكر أن تفصيل أو شراء خادم منفصل هو في كل الأحوال عملية مكلفة و ليست عادة للمستخدم الفرد أو لكيان ذو حجم إنتاج صغير، فهذا الدليل يفيد بالأساس الستوديوهات الناشئة و التي تطمح لوجود بنية تحتية رخيصة نسبيا بالمقارنة بالستوديوهات الكبيرة و لكنها إحترافية و تسمح لها بالنمو في المجال الإعلامي.
لماذا خادم حر و مصنوع بالتفصيل؟
هناك عدة ماركات و شركات إحتكارية تقدم خدمات و خوادم معدة مسبقا للعمل السينمائي و الإعلامي مثل Promise و ٍStudio Network Solutions و غيرها. فلماذا إذا تصمم بشكل حر خادم مجمع يدويا و مبني على برمجيات مفتوجة المصدر؟ هناك أيضا عدة اسباب أولها التكلفة، فابينما الخادم لشركة إحتكارية مثل SNS به نفس السعة للخادم الذي نقوم بعمله (أي 16 خانة و معد بحيث يكون به سعة خام 48 تيرابايت) يكلف في أرخص تقدير و أرخص محل في الولايات المتحدة، دون حساب شحنه و ضرائبه 19999$ (أي قرابة العشرين ألف دولار)، و الخادم الخاص بشركة Promise ذو المواصفات التقنية الأقل في سرعة نقل المعلومات داخل الخادم و خارجه يكلف 24999$ أيضا على أقل تقدير. يكلف الخادم الذي نقوم بصنعه بنفس السعة، و طبعا بأدوات و قدرة أعلى على التحكم 10200$ (أزيد قليلا من 10 آلاف دولار). إذا إفترضنا أنك ستضطر مثلا للدفع لمهندس متخصص لصنعه ما يقابل شحن و ضرائب الحل الخاص بشركة SNS ستظل موفرا لتقريبا عشرة آلاف دولار فرق في السعر. السبب الثاني في صنعك للخادم بهذا الشكل التفصيلي هو قدرتك على تطويره دائما لمواكبة التطور التكنولوجي، لإذا مثلا ظهرت تقنية جديدة لنقل الملفات، يمكنك دون الإعتماد على شركات غالية أو دون إضطرارك لإستبدال جهازك أن تشتري كارت يعوض هذه التقنية الجديدة و تطور وحدتك، حيث أن نظامها مفتوح المصدر و يمكنك دائما أن تضيف و تعدل اليه. السبب الثالث هو قدرتك في هذا التفصيل على قدرة عالية من التحكم مما يتيح لك إحتمالات كثيرة جدا لإستخدام المادة الخاصة بك دون إضطرارك لإستخدام برنامج محدد من قبل الشركة التي تصنعه. السبب الرابع و الأخير هو طبعا أن عملية صنع الخادم في حد ذاتها عملية تعليمية تجعلك ذو مقدرة و معرفة أوسع بالتقنيات.
ما الذي ننوي صنعه؟
هناك عدة أنواع من الخوادم و تستخدم لكافة الأغراض: خادم لاستضافة مواقع الانترنت، خادم لإدارة ميكنة مصنع و خلافه. و هي تأتي في كل الأشكال و الأنواع.
الفكرة الأساسية في الخادم هي أنه جهاز حاسوب متصل بشبكة حواسيب، أي أنه عقدة فيها، متخصص في أداء وظيفة معينة وتلبية الطلبات التي ترده من حواسيب أخرى على الشبكة.
الهدف من هذا الخادم الذي نصنعه هو عمل حاسوب مركزي كبير ذو سعة واسعة وموصول بسرعة عالية بالجهاز الرئيسي، وفي نفس الوقت يمكن الولوج اليه من أي جهاز موصول بالشبكة لتحرير الملفات المخزنه عليه و هي غالبا مواد إعلامية من الفيديو، الصوت، الصورة. الهدف أيضا هو وجود صلاحيات مختلفة تسمح بوجود مستودع مفتوح للمواد خالية الحقوق التي يضعها أصحابها للتشارك وإعادة المزج مع الآخرين، وفي نفس الوقت ملفات يمكن حفظها بعيدا عن المستودع المفتوح لكي يعمل أصحابها عليها بشكل يضمن حفظها من أعين الآخرين.
التركيب الأساسي
العلبة
أول إعتبار وجب التفكير فيه هو السعة الإجمالية للخادم، و إمكانية توسعته، لآن لهذا علاقة مباشرة بحجم العلبة chassis التي ستشتريها.
بالرغم من وجود عدة إحتمالات لتركيب الخادم، مثلا في علبة رأسية مثل الحاسوب العادي، قررنا نحن الإعتماد على وحدة أفقية بحجم 3U و التي هي في المنتصف بين وحدة 2U التي هي عادة تستوعب من ٦ الى ١٠ خانات لأقراص صلبة و وحدة 4U التي تستوعب عادة ١٨-٢٠ قرص صلب.
سبب إعتمادنا على هذا الحجم هو قدرتنا على تركيب تقريبا ١٢ خانة لأقراص صلبة.. إلى جانب خانات للأقراص التي ستحتوي على نظام تشغيله، و بالتالي في حالة شراءنا لأقراص ٤ تيرابايت سيمكن الوصول لسعة إجمالية ٤٨ تيرابايت التي اذا قسمت على نظام RAID ستكون السعة الفعلية هي ثلثي هذا الحجم أي ٣٢ تيرابايت و هي كمية مناسبة لوحدة في مثل حجم وحدتنا.
هناك عدة ماركات للعلب و لكن طبقا لنصيحة محمد عمار الماركة المناسبة هي Supermicro لان العلبة تأتي بعدة إكسسوارات أساسية. و من هنا استقرينا على هذه العلبة: Supermicro SuperChassis 836E16-R1200B
الهيكل
التوصيلات
HDD
Backplane
Expander
2 x SAS Cards
RAID Cards
Motherboard
التنصيب و التشغيل
نظام التشغيل
أيضا بعد التفكير في أي أنظمة التشغيل أنسب لإدارة الخادم.. كنا نعلم أننا نريد نظام تشغيل مبني على OpenSolaris ولكن بعد أن أسقطت شركة أوراكل Oracle دعمها له بحثنا عن نظام تشغيل مناسب للخادم بحيث يكون مفتوحا و حرا و مجانيا في نفس الوقت، إلى جانب انه يعطي لنا قدرة عالية في التحكم في الملفات. من كل عائلة أنظمة التشغيل illumus وجدنا أن أنسب نظام تشغيل هو OmniOS.
من مزايا OmniOS أن:
لتركيب نظام التشغيل:
هيكل الملفات و طريقة التخزين
بناء على نصيحة أكثر من شخص منهم Morten Dall المبرمج السويدي و المتخصص في تخزين و نقل الملفات في شبكات كبيرة استقرينا على نظام تخزين: ZFS
و بما إن الخادم معرض لمشاكل معتادة مثل فساد أي من الأقراص الصلبة أو فساد المادة فقررنا الإعتماد على طريق التخزين بمصفوفة التعدد للأقراص المستقلة أو ما يعرف باسم RAID.
بعد التفكير في أنواع الريد المختلفة نفاضل بين نوعين RAID 0 و الملقب بالمخطوطة وهذه التقنية تحتوي على الخطوط ولكنها لا تسمح بتكرار البيانات. وهي توفر الأداء الأمثل وبدون احتمال وقوع أخطاء. هذه النوعية من الريد تعطي إستخدام عالي السرعة و مناسب لأحجام بيانات كبيرة كما تقسم البيانات على الهاردات المختلفة لكنها لا تنسخ نسخا من البيانات و بالتالي في حالة حدوث أي عطل في أي من الأقراص الإحتمال الأكبر هو خسارة جزء من المادة.
النوع الثاني هو RAID 5 وهذا النوع يتضمن مصفوفة التدوير المتكافئة Rotating Parity Array أو مصفوفة التدوير التي تستخدم تقنية فحص الـParity Bit ، وتعني عنونة نفس حدود الكتابة الموجودة في النوع RAID-4. وهذا يعني أن جميع عمليات القراءة والكتابة ستكون متداخلة ومتوافقة مع بعضها. النوع RAID-5 يخزن المعلومات التي يتم الكشف عن صحتها باستخدام تقنية Parity، ولكنه لا يعنى بتخزين البيانات، مع ملاحظة أن المعلومات التي يتم تخزينها يمكن أن تتحول إلى بيانات. هذا النوع يحتاج على الأقل إلى ثلاثة أقراص وعادة تستخدم خمس أقراص للمصفوفة المستخدمة في هذا النوع. ويعتبر هذا النوع من أفضل الأنواع في الأنظمة التي تسمح بتعدد المستخدمين والتي لا ينتقد فيها الأداء بشكل كبير أو التي تنجز عمليات كتابة قليلة. (المصدر ويكيبيديا) و برغم من أن هذا النوع أبطأ في التخزين و التعامل مع عمليات كتابة و تخزين كبيرة إلا أنه أكثر ضمانا حيث أنه في حالة حدوث أي عطل في أي من الأقراص، يمكن بسهولة استبداله و إعادة كتابة المادة حتى لا تحدث أي خسارة في أي جزء من المادة.
الخصائص:
بروتوكول التواصل مع الشبكة
FCoE
NFS
قائمة الأجهزة الصلبة
هذه هي قائمة المشتروات بأسعارها و روابط لشرائها من الولايات المتحدة مع حساب الضرائب و الشحن و رسوم الشركة الموردة (سواء أن كان موقع مثل إدفعلي أو شركة مستقلة) ملف:SeenMediaServerList.ods
المصادر و الوصلات الخارجية
كيفية توصيل الوصلات الأساسية لخادم أقراص ساس و ساتا - الجزء الأول
كيفية توصيل الوصلات الآساسية لخادم آقراص ساس و ساتا - الجزء الثاني