Difference between revisions of "Aavanaham Backup Process"
| (5 intermediate revisions by the same user not shown) | |||
| Line 1: | Line 1: | ||
| − | + | ===ஆவணகத்தில் report உருவாக்கம் செய்யும் முறை=== | |
| − | + | 1. ஆவணகம் தளத்திற்குள் புகுபதிகை செய்தல் </br> | |
| + | |||
| + | 2. பின்னர் Structure என்ற option ஐ click செய்தல் வேண்டும். பின்னர் தோன்றும் popup window ல் Views ஏன்ற Option ஐ click செய்தல் வேண்டும்.</br> | ||
| + | [[Image:Aavanaham_recent_report_generate_1.png|800px]] | ||
| + | </br> | ||
| + | </br> | ||
| + | 3. பின்னர் வரும் திரையில் Recently Added Report ஐ click செய்தல் வேண்டும்.</br> | ||
| + | [[Image:Aavanaham_recent_report_generate_2.png|800px]] | ||
| + | </br> | ||
| + | </br> | ||
| + | 4. http://aavanaham.org/recently_added_report இது நேராக இந்த பக்கத்திற்கு கொண்டு செல்லும். இது admin level உள்ள ஒருவருக்கு தான் அணுக்கம் செய்ய முடியும். Edit View ஐ click செய்தல் வேண்டும்.</br> | ||
| + | [[Image:Aavanaham_recent_report_generate_3.png|800px]] | ||
| + | </br> | ||
| + | </br> | ||
| + | 5. பின்னர் Data Export ஐ click செய்தல் வேண்டும். அதன் பின் Pager ஏன்ற Option க்குள் '''Items to display:''' க்குள் 8000 items என்பதை click செய்தல் வேண்டும்.</br> | ||
| + | [[Image:Aavanaham_recent_report_generate_4.png|800px]] | ||
| + | </br> | ||
| + | </br> | ||
| + | 6. கீழ் காணும் வகையில் setting ஐ set செய்தல் வேண்டும்.</br> | ||
| + | [[Image:Aavanaham_recent_report_generate_5.png|800px]] | ||
| + | </br> | ||
| + | </br> | ||
| + | 7. பின்னர் Setting ஐ save செய்தல் வேண்டும்.</br> | ||
| + | [[Image:Aavanaham_recent_report_generate_6.png|800px]] | ||
| + | </br> | ||
| + | </br> | ||
| + | |||
| + | ==== Server ல் report எடுத்தல் ==== | ||
| + | |||
| + | 1. ssh மூலம் server ல் login செய்தல்</br> | ||
| + | 2. '''/var/www/html''' folder க்குள் சென்று பின்வரும் command ஐ run செய்தல் வேண்டும் | ||
| + | </br> | ||
| + | '''sudo drush views-data-export "recently_added_report" "views_data_export_1" repo_data_1.csv''' | ||
| + | </br> | ||
| + | [[Image:Aavanaham_report_generation_terminal_1.png|800px]]</br> | ||
| + | 3. இதன் மூலம் '''repo_data_1.csv''' என்ற கோப்பு உருவாக்கப்பட்டிருக்கும். </br> | ||
| + | 4. பின்னர் எங்களுடைய local கணனியிலிருந்து scp ஐ பயன்படுத்தி '''repo_data_1.csv''' ஐ எமது கணனிக்கு எடுத்துக்கொள்ள வேண்டும்.</br> | ||
| + | [[Image:Aavanaham_report_generation_terminal_2.png|800px]] | ||
| + | </br> | ||
| + | ===ஆவணகம் காப்புப்படி எடுக்கும் செயன்முறை=== | ||
| + | |||
| + | '''repo_data_1.csv''' என்ற கோப்பு பின்வரும் வகையில் காணப்படும். | ||
இது போன்ற உதாரணம் (https://docs.google.com/spreadsheets/d/1ZLl2LVl87rKwENuLim95HX67dDWRTHtAOD3FU14bS2Y/edit?usp=sharing) | இது போன்ற உதாரணம் (https://docs.google.com/spreadsheets/d/1ZLl2LVl87rKwENuLim95HX67dDWRTHtAOD3FU14bS2Y/edit?usp=sharing) | ||
| − | பின்னர் அத் தரவுத்தாளில் உள்ள collection என முடிகின்ற row களை நீக்க வேண்டும். (காரணம்: collection களுக்குள் உள்ள | + | பின்னர் அத் தரவுத்தாளில் உள்ள collection என முடிகின்ற row களை நீக்க வேண்டும். (காரணம்: collection களுக்குள் உள்ள objects களை மாத்திரமே நாம் தரவிறக்கி காப்புப்படி எடுக்க வேண்டும். எனவே collection களை நீக்க வேண்டும். ). Islandora வினுடைய கட்டமைப்பில் ஒவ்வொரு Collections களுக்குள்ளும் Objects இருக்கும் |
| − | Server ல் இடப்பற்றாக்குறை காரணமாக ஒரு நேரத்தில் 250 வரையான ஆவணகங்களை காப்புப்படி எடுத்தல் சிறந்த முறையாகும் | + | * Server ல் இடப்பற்றாக்குறை காரணமாக ஒரு நேரத்தில் 250 வரையான ஆவணகங்களை காப்புப்படி எடுத்தல் சிறந்த முறையாகும். எனவே CSV கோப்பினை சிறு சிறு பகுதிகளாக உருவாக்க வேண்டும். இதற்கு பைத்தான் மொழியில் எழுதப்பட்ட நிரலாக்கம் உள்ளது. அதனை run செய்வதன் மூலம் சிறு சிறு CSV கோப்புகளாக பெரிய CSV கோப்பிலிருந்து மாற்ற முடியும். |
| − | பின்னர் சிறிதாக்கப்பட்ட CSV கோப்புகளை scp ஐ பயன்படுத்தி ஆவணகம் server ல் பிரதி (copy) | + | * பின்னர் சிறிதாக்கப்பட்ட CSV கோப்புகளை [https://haydenjames.io/linux-securely-copy-files-using-scp/ scp] ஐ பயன்படுத்தி ஆவணகம் server ல் பிரதி (copy) செய்தல் வேண்டும். |
| + | * பின்னர் server ல் '''/var/www/html''' folder உள் உள்ள '''[https://github.com/noolahamfoundation/digitization-pipeline/blob/master/aavanaham_automations/bagit.py bagit.py]''' என்ற பைத்தான் script ல் சிறிதாக்கப்பட்ட CSV கோப்பின் serverல் உள்ள path ஐ சரியாக கொடுத்து அவ் script ஐ run செய்ய வேண்டும். | ||
| − | + | * அது Server ல் '''/home/bags''' என்ற கோப்பினுள் Bag செய்யப்பட்டு Folder களாக சேமிக்கப்பட்டிருக்கும். | |
| − | + | * பின்னர் '''/home/bags''' ல் உள்ள Folder களை ZIP கோப்புகளாக மாற்ற வேண்டும். அதற்கும் ஒரு '''[https://github.com/noolahamfoundation/digitization-pipeline/blob/master/aavanaham_automations/zipBagsFoldersinAavanaham.py Python script]''' உள்ளது. அவ் Script ஐ '''/home/bags''' folder க்குள் copy செய்து run செய்ய வேண்டும். | |
அந்த bags folder க்குள் ZIP கோப்புகள் உருவாக்கப்பட்டிருப்பதை காணமுடியும். | அந்த bags folder க்குள் ZIP கோப்புகள் உருவாக்கப்பட்டிருப்பதை காணமுடியும். | ||
[[Category:Technology]] | [[Category:Technology]] | ||
Latest revision as of 00:48, 1 April 2021
ஆவணகத்தில் report உருவாக்கம் செய்யும் முறை
1. ஆவணகம் தளத்திற்குள் புகுபதிகை செய்தல்
2. பின்னர் Structure என்ற option ஐ click செய்தல் வேண்டும். பின்னர் தோன்றும் popup window ல் Views ஏன்ற Option ஐ click செய்தல் வேண்டும்.
3. பின்னர் வரும் திரையில் Recently Added Report ஐ click செய்தல் வேண்டும்.
4. http://aavanaham.org/recently_added_report இது நேராக இந்த பக்கத்திற்கு கொண்டு செல்லும். இது admin level உள்ள ஒருவருக்கு தான் அணுக்கம் செய்ய முடியும். Edit View ஐ click செய்தல் வேண்டும்.
5. பின்னர் Data Export ஐ click செய்தல் வேண்டும். அதன் பின் Pager ஏன்ற Option க்குள் Items to display: க்குள் 8000 items என்பதை click செய்தல் வேண்டும்.
6. கீழ் காணும் வகையில் setting ஐ set செய்தல் வேண்டும்.
7. பின்னர் Setting ஐ save செய்தல் வேண்டும்.
Server ல் report எடுத்தல்
1. ssh மூலம் server ல் login செய்தல்
2. /var/www/html folder க்குள் சென்று பின்வரும் command ஐ run செய்தல் வேண்டும்
sudo drush views-data-export "recently_added_report" "views_data_export_1" repo_data_1.csv
3. இதன் மூலம் repo_data_1.csv என்ற கோப்பு உருவாக்கப்பட்டிருக்கும்.
4. பின்னர் எங்களுடைய local கணனியிலிருந்து scp ஐ பயன்படுத்தி repo_data_1.csv ஐ எமது கணனிக்கு எடுத்துக்கொள்ள வேண்டும்.
ஆவணகம் காப்புப்படி எடுக்கும் செயன்முறை
repo_data_1.csv என்ற கோப்பு பின்வரும் வகையில் காணப்படும்.
இது போன்ற உதாரணம் (https://docs.google.com/spreadsheets/d/1ZLl2LVl87rKwENuLim95HX67dDWRTHtAOD3FU14bS2Y/edit?usp=sharing)
பின்னர் அத் தரவுத்தாளில் உள்ள collection என முடிகின்ற row களை நீக்க வேண்டும். (காரணம்: collection களுக்குள் உள்ள objects களை மாத்திரமே நாம் தரவிறக்கி காப்புப்படி எடுக்க வேண்டும். எனவே collection களை நீக்க வேண்டும். ). Islandora வினுடைய கட்டமைப்பில் ஒவ்வொரு Collections களுக்குள்ளும் Objects இருக்கும்
- Server ல் இடப்பற்றாக்குறை காரணமாக ஒரு நேரத்தில் 250 வரையான ஆவணகங்களை காப்புப்படி எடுத்தல் சிறந்த முறையாகும். எனவே CSV கோப்பினை சிறு சிறு பகுதிகளாக உருவாக்க வேண்டும். இதற்கு பைத்தான் மொழியில் எழுதப்பட்ட நிரலாக்கம் உள்ளது. அதனை run செய்வதன் மூலம் சிறு சிறு CSV கோப்புகளாக பெரிய CSV கோப்பிலிருந்து மாற்ற முடியும்.
- பின்னர் சிறிதாக்கப்பட்ட CSV கோப்புகளை scp ஐ பயன்படுத்தி ஆவணகம் server ல் பிரதி (copy) செய்தல் வேண்டும்.
- பின்னர் server ல் /var/www/html folder உள் உள்ள bagit.py என்ற பைத்தான் script ல் சிறிதாக்கப்பட்ட CSV கோப்பின் serverல் உள்ள path ஐ சரியாக கொடுத்து அவ் script ஐ run செய்ய வேண்டும்.
- அது Server ல் /home/bags என்ற கோப்பினுள் Bag செய்யப்பட்டு Folder களாக சேமிக்கப்பட்டிருக்கும்.
- பின்னர் /home/bags ல் உள்ள Folder களை ZIP கோப்புகளாக மாற்ற வேண்டும். அதற்கும் ஒரு Python script உள்ளது. அவ் Script ஐ /home/bags folder க்குள் copy செய்து run செய்ய வேண்டும்.
அந்த bags folder க்குள் ZIP கோப்புகள் உருவாக்கப்பட்டிருப்பதை காணமுடியும்.
