دليل استخدام بندورة - مدرار

بندورة (نظام الأرشفة)
استخدام عميل بندورة
:تنصيب عميل بندورة
:إعداد عميل بندورة
:إضافة قرص لعميل بندورة
:ترتيب الملفات والمجلدات

هذا التوثيق مبني على النسخة العامّة من توثيق عمل بندورة

بندورة هو نظام لأراشيف الفيديو وفهرستها وإضافة معارف إليها، يخزن الخادم الخاص به نسخا من الفيديوهات مناسبة لعرضها من خلال واجهة على الوِب. بينما يسمح لنا برنامج عميل بندورة باكتشاف ملفات الفيديو واشتقاق ورفع صيغ مناسبة من فيديوهاتنا وإضافتها إلى الأرشيف.

تصفح بندورة

إن بندورة يحاكي مظهر وسلوكيات تناظر برامج سطح مكتب أكثر مما يحاكي مواقع الوب التقليدية. ففيه قوائم في الأعلى تظهر معظم إمكانيات الموقع، بما فيها إختصارات لوحة المفاتيح. يمكنكم تغيير حجم عناصر الموقع أو حتى طيّها وفردها مرة اخرى، يمكن تحريك مربعات الحوار، وقوائم الفيديوهات أو المقاطع يمكن ترتيبها بأشكال مختلفة. يتذكر بندورة هذه الاعدادات، وفي زيارتكم القادمة، ستجدن الأشياء كما تركتموها.

ستلاحظون ان مسارات العناوين في الموقع قصيرة ومقروءة، وأن التحرك بأزرار "الى الخلف" و"أمام" تعمل بالشكل المتوقع.

تنظيم الأرشيف وفهرسته باستخدام بندورة

قبل البدء بعملية التنصيب والضبط، من الجدير التنويه بأن برنامج عميل بندورة - المسؤول عن تعريف خادم بندورة بملفات الأرشيف - يعمل فقط على أنظمة تشغيل لينكس وماكينتوش، فحتى الآن لا تتوفر نسخة تعمل على نظام ويندوز. ومع ذلك، بإمكاننا استخدام واجهة الوِب الخاصة ببندورة لرفع وتوصيف وتصنيف الفيديوهات في حال التعامل من خلال نظام ويندوز.

نحتاج أن يكون هناك خادم بندورة نستطيع أن نعمل من خلاله، إما بأن يقوم مدير نظام بتنصيبه وإعداده بشكل خاص لأرشيفنا (التعليمات هنا)، أو باستطاعتنا استخدام خادم بندورة موجود بالفعل مثل خادم مدرار أو خادم مشروع المريخ أو أرشيف الوسائط الرقمية المتاحة للعموم (pad.ma) الذي هو متاح بشكل عام لأي شخص ليرفع الفيديوهات الخاصة به.

في مؤسسة مدرار، تم تنصيب خادوم بندورة، ومؤقتا، وضعت الأصول على ذات الجهاز وتم تمكين مشاركتها عبر بروتوكولي nfs و samba، ويمكن الوصول إليه من الأجهزة التي تشغل مختلف أنظمة التشغيل.

بالعمل على حاسوب متصل بالشبكة قادر على الوصول إلى خادوم بندورة المراد رفع الفيديوات إليه، وقادر على الوصول إلى الأصول المراد رفعها فإن عميل بندورة يكون قادرا على قراءة هذه الملفات وإرسالها إلى الخادوم على شكل دفعات، فلنقم الآن بتنصيب وضبط عميل بندورة على جهازنا:

كيف نقوم بتنصيب عميل بندورة على حاسوب (مرة واحدة لكل نظام)

لإتمام عملية التنصيب، يتطلب الأمر أن يكون لدنيا حساباً مسجلاً على الخادم الذي سنقوم بتنصيب عميل بندورة عليه أو أن نقوم بتسجيل حساب جديد على أرشيف مدرار.

لإنشاء حساب جديد، نذهب إلى خادم مدرار http://192.168.1.100 ونضغط على أنشئ حساب جديد (sign up)، بعدها نختار اسم مستخدم وكلمة سر ومن ثم ندخل الإيميل ونضغط على زر أنشئ حساب جديد (sign up). سيتم تحويلنا إلى الأرشيف وستظهر لنا نافذة صغيرة تؤكد لنا بأنه قد تم إنشاء الحساب. فلنقم الآن بتنصيب وضبط وتشغيل عميل بندورة على جهازنا:

لإنزال برنامج pandora_client وتثبيته:

• نفتح طرفية ^en:Terminal على الجهاز ، وندخل الأمر easy_install كالآتي:^{(تفاصيل متقدمة)}

sudo easy_install pandora_client

صورة تظهر تثبيت عميل بندورة 0.2.182 بنجاح

ونضغط مفتاح (⏎) ^{"ع:أدخل" "en:Enter"} على لوحة المفاتيح. في حال طًلبت مننا كلمة السر الخاصة بمستخدم الجهاز، ندخلها ونضغط (⏎) ^{"ع:أدخل" "en:Enter"} مرة اخرى، وننتظر حتى تُعلمنا الطرفية بانتهاء عملية التنصيب.

تحديث نسخة pandora_client

في حال كنتم قد ثبتم عميل بندورة منذ فترة، وهناك إحتياج لنسخة أحدث، يمكنكم القيام بالتحديث عبر تشغيل الأمر:

sudo easy_install -U pandora_client

إعداد عميل بندورة ليعمل مع خادوم بندورة المراد الرفع إليه (مرة واحدة لكل مستخدم/حاسوب)

الخطوة التالية هي ضبط عميل بندورة ليعمل مع الخادوم المراد الرفع إليه والذي أنشأنا حسابًا عليه منذ قليل (في هذه الحالة http://192.168.1.100):

في الطرفية، ندخل أمر

pandora_client config

ونضغط "أدخل" على لوحة المفاتيح. بعدها يُطلب منا ادخال اسم مستخدم وكلمة سرّ و عنوان خادوم الأرشيف للاتصال معه. وهنا نقصد:

• اسم المستخدم (Username) - هو اسم المستخدم للحساب المنشأ على خادوم بندورة
• كلمة السّرّ (password) - كلمة السّرّ التي عيّناها للحساب على خادوم بندورة (لن تظهر لكم الشاشة كلمة المرور أثناء طباعتكم لها، لكنها تطبع!)
• عنوان خادوم بندورة (Pan.do/ra URL) - عنوان خادوم بندورة على الوِب، ملحقاً به /api/ ، وفي حالتنا: http://192.168.1.100/api
• سيقوم pandora_client تلقائيا بتنزيل نسخته الخاصة من ffmpeg و ffmpeg2theora

بعد إتمام الضبط والإعداد، ستظهر لنا الطرفية بأنه قد تم تحديث الضبط لعميل بندورة.

• في حالة مدرار، هناك ملحقة (plugin) مهمتها تفسير المسارات لقيم في حقول لكل مدخلة في بندورة (راجع #ترتيب الملفات والمسارات في المجلد ليتعامل معها بندورة)، يمكن إيجاد هذه الملحقة على العنوان https://github.com/maysara/medrar_plugin أو تثبيتها بإستخدام السطر الآتي:

mkdir -p ~/.ox/client.d && \
curl -L https://git.io/viUzU -o ~/.ox/client.d/medrar.py

تعريف عميل بندورة بمكان وجود الملفات المراد رفعها إلى الارشيف

بعد الانتهاء من الضبط، نريد تعريف عميل بندورة بمسار يحتوي الملفات التي نريد لبندورة استكشافها ورفعها لاحقا إلى فهرس الأرشيف. يتم ذلك بإعلام بندورة بمسار المجلد^en:Volume وإعطاءه إسم، وذلك بالأمر الفرعي "add_volume"، وتكتب صيغة الأمر كالآتي:

pandora_client  add_volume name path

حيث نستبدل path في الأمر أعلاه بمسار على نظام الملفات الذي يشير إلى مجلد يحوي ملفات الفيديو على جهازك، منظمة بشكل يتوقعه عميل بندورة. ونستبدل name بإسم نطلقه على ذلك المجلد -ويكون فريدا لكل مجلد جديد-، يستخدم نظام بندورة هذا الإسم ليشير إلى مجموعة الفيديوهات التي سيكتشفها في ذلك المسار.

مثال، لاحظ أن إسم المجلد الذي إخترناه هو Personal_Movies، وهو الإسم الذي سيستخدمه الارشيف للإشارة للفيديوهات داخل المسار /users/kindo/movies، فإذا نقلنا الملفات إلى مسار جديد، وقمنا بإستخدام نفس الإسم، فإن بندورة سيعرف أننا نتحدث عن ذات المجلد.

في حالة مدرار، وفي حال كان المستخدم متصلا مباشرة إلى خادوم مشاركة الملفات، فإن المسار سيكون

/srv/samba/share/Origins

عدا ذلك، فإن المسار سيكون الموقع الذي توجد فيه الملفات على وحدة تخزين (قرص صلب خارجي مثلا) أو المسار في الملفات المشاركة.

ترتيب الملفات والمسارات في المجلد ليتعامل معها بندورة

1. يبحث عميل بندورة عن الملفات في المجلدات بشكل محدد مسبقا، ولذلك يجب أن تكون الملفات مرتبة مسبقا!
2. بشكل مبدئي، يتوقع بندورة أن يكون ترتيب الملفات في المجلدات بحيث يكون طول المسار إليها من نقطة بدء المجلد، دليلين إثنين(^{إقرأ عن فهم بندورة المبدئي لترتيب الملفات والمجلدات})، في حالة الأرشيفات المتخصصة (مدرار مثالا)، فإن عميل بندورة يستخدم ملحقة تساعده على فهم هيكل تنظيم أرشيف مدرار، والمكون من مسارات بعمق 3 أدلّة، هي الحديث (المهرجان أو ما يقابله)، إسم الفنان وإسم العمل.
   • مثال :
     • /srv/samba/share/Origins هو المسار للمجلد الذي يمسحه بندورة
     • /CVF 5th edition/ المستوى الأول (المهرجان)
     • /Nicolas Fidala/ المستوى الثاني (إسم الفنان)
     • Midnight Wind/ المستوى الثالث (عنوان العمل)
     • المسار الكامل لملفات الفيلم هي:
       • /srv/samba/share/Origins/Cairo Video Festival/CVF 5th edition/Nicolas Fidala/Midnight Wind/Nicolas Fidala.VOB

تنبغي تسمية المجلد، ويفضل أن يعكس الاسم على نحو ما محتوى وتنظيم الأرشيف، فيمكن ان نختار اسما مثل "Personal_Movies" أو اسما يعكس تنظيما زمنيا مثل "2011_disk_1" حيث قد يحتوي على أدلة في المستوى الأول اخر مثل "Activities" كما قد يحتوي كل دليل من المستوى الأول على أدلة اخرى مرتبطة بالمكان والزمان ... إلخ.

يستخدم بندورة في حالة مدرار - وبعد نقاش مع مدرار يتعلق بالهيكلية المناسبة لأرشيفهم - اسم الدليل في المستوى الثالث (عنوان العمل) متبوعا ب"by" وتليه اسم الدليل في المستوى الثاني (اسم الفنان) كعنوان للفيلم ويعتبر كل ملفات الفيديو تحت المسار الكامل فيلما واحدا ويعرضه عرضا متصلا مع الحفاظ على استقلال كل ملف محفوظا على حدة. 'تنبيهات:'

• يفضل استخدام أسماء المجلدات و الملفات بالأحرف والأرقام اللاتينية فقط بلا أحرف غريبة و لا علامات مثل ( \ * ...الخ)

كيفية اختيار اسم لمجموعة الفيديوات (المجلد)؟ وماذا يمكنني أخذه في الحسبان فيما يتعلق بالمجلدات

اختيار الاسم يعتمد على الكيفية المرغوب بها الإشارة إلى مجموعات الفيديو في الأرشيف بأسماء ذات معنى.

مثلا، قد ترغب في تسمية مجموعات الفيديو بحسب محتواها، مثل "events_2013"، أو "saeed_old_collection" أو أي اسم يساعد على تمييز هذه المجموعة من الفيديوات التي ستكون معا في مجلد واحد.

يستعمل عميل بندورة وخادم بندورة إسم المجلد للإتفاق على انهما يتحدثان عن ذات مجموعة الفيديوهات، وبالتالي فإن كونه إسما فريدا ضروري، فإستخدام ذات الإسم لمجلدين مختلفين في المحتوى يجعل النظام يعتقد أن الملفات قد تغيرت، وأن ما كان في المجلد الأول قد مسح ويستبدله بما في الثاني. وبالرغم من ان تسمية المجلدات هو متطلب لبندورة، إلا أنه يعكس أيضا الممارسة العاقلة بتسمية وحدات تخزين الأصول (أي ملفات الفيديو) باسماء تسهل عمليات التخزين والاسترجاع والنسخ الإحتياطي. ومع تنوع المحتوى وتوزعه على فترات زمنية لأسباب تتعلق بلحظة وصول ذلك المحتوى للأرشيف، فإنه وفي معظم الأحيان من الحصافة تسمية المجلدات بإسم يميز الجهة المؤرشفة ورقم تسلسلي متصاعد، بحيث يسهل الإشارة إليها، والأشارة إلى نسخها الاحتياطية والإنتباه لغياب أحدها وتسلسل وصول محتواها للأرشيف... إلخ.

من الممارسات الحميدة كذلك؛ جعل المجلدات بأحجام تتناسب مع حجم نمو الأراشيف، بحيث نستطيع أن ننشئ منها نسخا إحتياطية بسهولة وسلاسة وقدر اقل من الهدر، كماأن تعاظم أحجام الأقراص الصلبة يسهل مهمة إختيار أحجام كبيرة نسبيا، ويعد الحجم 2 TB رقما سحريا حيث أن الأقراص الصلبة الحديثة تتوفر بمضاعفات لهذا الحجم (بالإضافة إلى 1 TB بطبيعة الحال).

كيف أعرف المسار في جهاز ماك ؟

نتصفح نظام الملفات حتى نصل إلى مسار المجلد، ثم نضغط مفتاح command مع زر الفأرة على المجلد (volume) أو على ملف داخل الدليل (folder) ونختار "get info"، قيمة Where هي المسار المطلوب؛ فننسخ هذه القيمة، مثلاً: /Users/kindo/Movies

مثال يوضح كيفية إيجاد المسار في واجهة ماك الرسومية

إستكشاف الموضع المعيّن بحثا عن الملفات المراد رفعها إلى الأرشيف

إذا كنت أتممت توجيهات الإعداد وتعريف وإضافة المجلدات أو الأقراص التي نريد إضافة الملفات التي تحويها، يمكننا البدء باستكشاف الأقراص المُعَرَّفة للبحث عن الملفات التي سيقوم عميل بندورة لاحقا بإضافتها للأرشيف؛ نستكشف المجلدات المُعرَّفة بالأمر:

pandora_client scan

عملية الاستكشاف، تظهر أن هناك 2 ملف جديد، 2 ملف تم تجاهله، و لا ملفات تم مسحها من المجلد ...

وبهذا الأمر يقوم البرنامج باستكشاف كل الأدلة والملفات الموجودة في المجلّدات المعرفة أو المضافة وينشئ قائمة بها على الجهاز^(أين؟)

بعد ضغط "أدخل" سيستشكف عميل بندورة الملفات في المجلدات المضافة ويحدد الملفات المدعومة وعددها والملفات غير المدعومة من الخادم والملفات التي تم تجاهلها
بعد الاستكشاف، نريد نقل المعلومات هذه المعلومات الى خادم بندورة بواسطة الأمر:

pandora_client sync

ناتج الأمر sync (تحديث)، العميل يرسل قائمة الملفات، والخادوم يرسل في طلب الملفات التي ليست لديه (لأنها جديدة فينبغي ترميزها ورفعها)

هذا الأمر يرسل البيانات التي أنتجتها عملية الاستكشاف على الحاسوب إلى خادوم بندورة، ثم ينشئ الخادوم فلما لكل دليل من المستوى الثاني يضع فيه بيانات الملفات الموجودة على الحاسوب استعدادا لضغطها ونقلها.

أيقونات الأفلام قبل رفعها ...

ونلاحظ أننا لو ولجنا على بندورة بنفس اسم المستخدم وكلمة السر، فسنجد مدخلات لهذه الأفلام (طبعاً لاتزال فارغة لأن محتوى الأفلام نفسه لم يُرفع بعد) مُدرجة في الجانب الأيسر تحت عناوين المجلدات المحلية "local volumes” بالاسم المختار لكل مجلد
والآن أخيراً نريد رفع ملفات الفيديو باستخدام الأمر

pandora_client upload

يقوم البرنامج بترميز الملفات واحدا تلو الاخر على الحاسوب المحلي بالميز المحدد في الخادوم من قبل مدير النظام (مثلا 480 عنصورة أو 240 عنصورة) ثم يرفع كل ملف عبر الشبكة الى الخادوم الذي بدوره يُولد المصغرات (thumbnails) وصورة الخط الزمني (timeline) إلخ لمعرفة كيفية التعامل مع الأرشيف عبر واجهة الوب وإثرائه طالع الخطوات المعدّة للفيديو هنا

تشغيل مرمزات متعددة بإستخدام خادوم ترميز عميل بندورة

تستغرق عمليات ترميز الملفات في بندورة وقتا لا باس به، يتأثر هذا الوقت بقدرة المعالجات والحِمل عليها، وسرعة الوصول إلى الملفات الأصلية، لتسريع هذه العملية يمكن إستخدام معالجات اكثر، عبر إستخدام اكثر من جهاز حاسوب لإنجاز الترميز.

يستطيع عميل بندورة تشغيل خادوم صغير يسمح بتوزيع الملفات لترميزها على عدد أكبر من الأجهزة (وبالتالي المعالجات)، ويقوم بإستقبال الملفات التي تم ترميزها ومن ثم يرفعها، وبالتالي لا تقوم الأجهزة الأخرى إلا بعملية قراءة الملف الاصلي، ترميزة وإعادته لخادوم عميل بندورة.

للتشغيل في هذه الوضعية، نقوم بإتباع الخطوات التقليدية (من إستكشاف (scan) وحتلنة (sync)) ونستبدل خطوة الرفع الاخيرة (upload) بالخطوات الآتية:

• تشغيل عميل بندورة بوضعية خادوم توزيع الملفات للترميز

 pandora_clinet server

سيقوم عميل بندورة بإعطاء عنوان لخادم الترميز

http://0.0.0.0:8789

سنستخدم هذا العنوان لندل عملاء بندورة المتطوعة للترميز على خادم الترميز

على كل جهاز نود إستخدامه ليشارك في الترميز، نتأكد أن عميل بندورة مثبّت على الجهاز ومُعدّ بإستخدام الامر الفرعي config لضمان وجود البرمجيات التي تقوم بالترميز، ثم نشغله بالوضعية الآتية

pandora_client client http://X.Y.Z.W:8789

مستبدلين X.Y.Z.W بعنوان الشبكة للجهاز الذي يشغل خادم الترميز ومراعين مطابقة منفذ الشبكة لذلك الذي يعمل عليه خادم الترميز.

سترون عميل بندورة بقراءة الملف، ترميزه ومن ثم إعادته للخادوم، يمكنكم إضافة اي عدد من عملاء الترميز