Large migrations · Verification · प्रगति पट्टी के पीछे का प्रमाण
बादलों के बीच सैकड़ों जीबी का स्थानांतरण: आप कैसे जानते हैं कि प्रत्येक फ़ाइल पहुंची है?
500 जीबी पर, "अपलोड ख़त्म हो गया" इसका सबूत नहीं है। एक भरोसेमंद माइग्रेशन के लिए एक टिकाऊ इन्वेंट्री, प्रत्येक ऑब्जेक्ट के लिए एक स्थिति परिवर्तन, रुकावटों के बाद दोहराए जाने योग्य पुनर्प्राप्ति और गंतव्य से ही प्रमाण की आवश्यकता होती है।
अपडेट किया गया ; 16 मिनट में पढ़ें.
संक्षिप्त उत्तर
FileArk लाइब्रेरी को प्रति-फ़ाइल रिकॉर्ड और टिकाऊ कतार संदेशों में तोड़ता है। एक कार्यकर्ता एक डिलीवरी की प्रतिलिपि बनाता है, लौटाई गई गंतव्य आईडी को संग्रहीत करता है, आकार को मान्य करता है, उस सटीक वस्तु को वापस पढ़ता है, और स्रोत पेलोड के साथ SHA-256 की तुलना करता है। उन जाँचों और डेटाबेस अद्यतन सफल होने के बाद ही रिकॉर्ड सत्यापित हो जाता है - और संदेश स्वीकार कर लिया जाता है।
स्केल "काम किया" का अर्थ क्यों बदल देता है
दस फाइलों का निरीक्षण करना आसान है। दस हजार फ़ाइलें नहीं हैं. एक बड़ी निजी लाइब्रेरी छोटे दस्तावेज़, मल्टी-गीगाबाइट वीडियो, खाली फ़ाइलें, नेस्टेड फ़ोल्डर, यूनिकोड नाम, संग्रहीत प्रोजेक्ट और क्लाउड-नेटिव प्रारूपों को जोड़ सकती है। एक विफलता प्रभावशाली दिखने वाले प्रतिशत के अंदर छिपी हो सकती है।
योग उपयोगी हैं लेकिन अधूरे हैं। दो लाइब्रेरी एक ही स्पष्ट आकार दिखा सकती हैं, जबकि एक में कोई ऑब्जेक्ट गायब है या किसी असंबद्ध फ़ाइल द्वारा संतुलित एक काट-छाँट की गई वस्तु शामिल है। मूल दस्तावेज़ निर्यात या बहिष्कृत प्रदाता ऑब्जेक्ट के बाद फ़ाइल संख्या भी भिन्न हो सकती है।
सत्य की उपयोगी इकाई फ़ाइल कार्य है: कौन सा स्रोत ऑब्जेक्ट पढ़ा गया था, कौन सा गंतव्य ऑब्जेक्ट बनाया गया था, किस बाइट्स की तुलना की गई थी, सत्यापन कब पूरा हुआ, और क्या कोई प्रयास अनसुलझा है।
संपूर्ण फ़ाइलआर्क जीवनचक्र, एनोटेट किया गया
जब स्टार्ट स्वीकार कर लिया जाता है, तो एपीआई पहले MongoDB को एक स्कैन कार्य लिखता है और फिर प्रकाशक पुष्टिकरण सक्षम होने के साथ एक टिकाऊ RabbitMQ कतार में एक लगातार स्कैन संदेश प्रकाशित करता है। यदि प्रकाशन विफल हो जाता है, तो कार्य को विफल के रूप में चिह्नित किया जाता है और एपीआई रिपोर्ट करता है कि यह स्कैन को सुरक्षित रूप से कतारबद्ध नहीं कर सका।
स्कैनर दोनों प्रदाताओं को प्रमाणित करता है, चयनित स्रोत की सूची बनाता है, खोजे गए बाइट्स के विरुद्ध सीमित गंतव्य कोटा की जांच करता है, और प्रत्येक स्रोत फ़ाइल के लिए एक डेटाबेस रिकॉर्ड पेश करता है। यह लगातार माइग्रेशन संदेशों को प्रकाशित करता है और उन प्रकाशनों के सफल होने के बाद ही स्कैन को पूरा चिह्नित करता है।
माइग्रेशन कार्यकर्ता मैन्युअल पावती और एक की प्रीफ़ेच गिनती का उपयोग करता है। जब सामग्री पढ़ी जाती है, अपलोड की जाती है, पुनः पढ़ी जाती है, सत्यापित की जाती है, और जारी रखी जाती है तो डिलीवरी अज्ञात रहती है। इसलिए एक रुका हुआ कनेक्शन या प्रक्रिया अधूरे काम को कतार में वापस कर सकती है।
डेटाबेस पंक्ति एक चेकलिस्ट आइटम है, डिस्पोजेबल बहीखाता पद्धति नहीं
प्रत्येक फ़ाइल रिकॉर्ड लंबित होने लगता है, एक प्रयास के दौरान प्रगति पर चला जाता है, और सत्यापन के बाद ही अपलोड किया जाता है। प्रयास गणना, अंतिम प्रयास समय, त्रुटि विवरण, गंतव्य ऑब्जेक्ट आईडी, दोनों SHA-256 डाइजेस्ट, सत्यापन विधि और VerifiedAt रिकॉर्ड से जुड़े रहते हैं।
पूर्ण रिकॉर्ड प्रगति और ऑडिट ट्रेल के रूप में डेटाबेस में रहते हैं। "फ़ाइल को काट देना" का अर्थ नियंत्रित स्थिति परिवर्तन है, न कि साक्ष्य को मिटाना। डुप्लिकेट कतार डिलीवरी उस स्थिति का निरीक्षण करती है और पहले से ही VerifiedAt के साथ अपलोड किए गए चिह्नित रिकॉर्ड को तुरंत स्वीकार करती है।
तीन असफल प्रयासों के बाद, प्रयास चक्र के लिए पूर्णता टाइमस्टैम्प के साथ एक लगातार समस्या विफल हो जाती है। यह अपवादों को दृश्यमान बनाता है और डैशबोर्ड अटका हुआ दिखाई देने पर ज़हरीले संदेश को हमेशा के लिए घूमने से रोकता है।
Pending
→ InProgress (attempt recorded)
→ destination ID stored
→ destination size matches
→ exact destination object re-downloaded
→ source SHA-256 == destination SHA-256
→ Uploaded + VerifiedAt persisted
→ queue message acknowledgedएक फ़ाइल एक से अधिक बार क्यों वितरित की जा सकती है?
विश्वसनीय कतारें आम तौर पर कम से कम एक बार डिलीवरी प्रदान करती हैं, न कि क्लाउड एपीआई, एक संदेश ब्रोकर और एक डेटाबेस में बिल्कुल एक बार का जादुई वादा। वनड्राइव या गूगल ड्राइव द्वारा अपलोड स्वीकार करने के बाद लेकिन कार्यकर्ता द्वारा पूर्णता लिखने से पहले दुर्घटना हो सकती है।
FileArk उस अनिश्चितता को निष्क्रिय रिकॉर्ड और गंतव्य पुनर्प्राप्ति के साथ संभालता है। कार्यकर्ता पहले यह जांचता है कि रिकॉर्ड पहले से ही सत्यापित है या नहीं। यदि नहीं, तो यह संग्रहीत गंतव्य आईडी का उपयोग कर सकता है या फिर से अपलोड करने का निर्णय लेने से पहले बाधित परिणाम के लिए अपेक्षित गंतव्य पथ और सटीक आकार खोज सकता है।
पुनर्प्राप्ति उम्मीदवारों को फिर उसी सटीक-ऑब्जेक्ट हैश सत्यापन के अधीन किया जाता है। एक परिचित फ़ाइल नाम ढूँढना पर्याप्त नहीं है। मुद्दा एक बाधित प्रयास को साक्ष्य में बदलना है, न कि आशावादी सफलता में।
क्षमता की जांच गंतव्य और कार्यकर्ता पर की जाती है
प्रति-फ़ाइल नौकरियां प्रकाशित होने से पहले, स्कैनर गैर-नकारात्मक स्रोत मेटाडेटा आकारों का योग करता है और जब भी प्रदाता एक सीमित कोटा प्रदान करता है, तो गंतव्य के रिपोर्ट किए गए शेष भंडारण के साथ आवश्यकता की तुलना करता है। एक कम आकार का गंतव्य ज्ञात डेड एंड में कार्य को फीड करने के बजाय स्कैन को विफल कर देता है।
यह आंकड़ा एक प्रीफ़्लाइट है, कोई गारंटी नहीं: खाता गतिविधि एक रन के दौरान स्थान का उपभोग कर सकती है, प्रदाता कोटा रिपोर्ट पिछड़ सकती है, और निर्यात की गई क्लाउड-नेटिव फ़ाइलों में पारंपरिक स्रोत आकार नहीं हो सकता है। प्रदाता प्रवर्तन और प्रति-फ़ाइल त्रुटि प्रबंधन सक्रिय रहता है।
आपके कंप्यूटर डिस्क का उपयोग स्टेजिंग के लिए नहीं किया जाता है. माइग्रेशन वर्कर पर, मेमोरी थ्रेशोल्ड से ऊपर की फ़ाइलों को एक अलग अस्थायी निर्देशिका में रखा जाता है, जब वॉल्यूम में अपेक्षित ऑब्जेक्ट और दो-गीगाबाइट रिजर्व के लिए जगह होती है। सफ़ाई में अस्थायी सामग्री हटा दी जाती है, चाहे प्रयास सफल हो या विफल हो।
गंतव्य आईडी प्लस SHA-256 क्यों मायने रखता है
फ़ाइल नाम कोई विशिष्ट पहचान नहीं है. गंतव्य में पहले से ही एक ही दृश्यमान नाम वाली दो फ़ाइलें हो सकती हैं, या मेटाडेटा सूची को व्यवस्थित होने में समय लग सकता है। अपलोड प्रतिक्रिया एक प्रदाता ऑब्जेक्ट आईडी प्रदान करती है, और फ़ाइलआर्क अंतिम सत्यापन चरण से पहले उस आईडी को संग्रहीत करता है।
कार्यकर्ता स्रोत पेलोड स्ट्रीम में SHA-256 की गणना करता है, इसे अपलोड करता है, फिर उस आईडी द्वारा सटीक गंतव्य ऑब्जेक्ट खोलता है और SHA-256 की फिर से गणना करता है। समान आकार स्पष्ट कटाव पकड़ता है; समान क्रिप्टोग्राफ़िक डाइजेस्ट मजबूत बाइट-स्तरीय जांच है।
केवल स्थानांतरित फ़ाइल प्रतिनिधित्व को कवर किया गया है। एक डाइजेस्ट साझाकरण नियमों, टिप्पणियों, संस्करणों, लेबल, शॉर्टकट, अवधारण सेटिंग्स, या किसी उपयोगकर्ता के लिए निर्यातित Google दस्तावेज़ को कैसे प्रस्तुत करता है, को मान्य नहीं कर सकता है। वे स्वीकृति कार्य बने हुए हैं।
स्रोत को हटाना जानबूझकर सामान्य सफलता पथ से बाहर है
सबसे सुरक्षित डिफ़ॉल्ट केवल प्रतिलिपि है, और जब तक आप इसे सक्षम नहीं करते तब तक फ़ाइलआर्क का विलोपन विकल्प बंद रहता है। विलोपन अक्षम होने पर, सत्यापन विफलता मूल को नहीं हटा सकती क्योंकि विलोपन का अनुरोध कभी नहीं किया जाता है।
यदि आप जानबूझकर डिलीट-आफ्टर-मूव सक्षम करते हैं, तो कार्यकर्ता अभी भी स्रोत प्रदाता के डिलीट ऑपरेशन को कॉल करने से पहले गंतव्य आईडी, आकार और SHA-256 सत्यापन की प्रतीक्षा करता है। अपूरणीय या बहुत बड़े पुस्तकालयों के लिए मजबूत परिचालन विकल्प अभी भी विकल्प को बंद रखना और मानव-अनुमोदित ओवरलैप अवधि का उपयोग करना है।
माइग्रेशन उत्तर देता है "क्या एक सत्यापित प्रति आ गई?" अवधारण उत्तर "पुरानी प्रति कब हटाई जा सकती है?" इन्हें अलग-अलग साक्ष्यों के साथ अलग-अलग निर्णय मानें।
एक ही नियंत्रण मॉडल दोनों दिशाओं में काम करता है
OneDrive से Google ड्राइव के लिए, स्रोत पेलोड को Microsoft ग्राफ़ से पढ़ा जाता है और गंतव्य ऑब्जेक्ट को Google ड्राइव के माध्यम से उसकी लौटाई गई आईडी द्वारा सत्यापित किया जाता है। Google Drive से OneDrive के लिए, स्रोत को Google Drive के माध्यम से डाउनलोड या निर्यात किया जाता है और नए OneDrive आइटम को Microsoft ग्राफ़ के माध्यम से वापस पढ़ा जाता है।
कतार, डेटाबेस स्थितियाँ, बंधे हुए प्रयास, क्षमता पूर्व-उड़ान, स्रोत डाइजेस्ट, गंतव्य आईडी, गंतव्य डाइजेस्ट और पावती आदेश दिशा-तटस्थ हैं। प्रदाता एडाप्टर विभिन्न अपलोड, फ़ोल्डर और सामग्री एपीआई को संभालते हैं।
विषमता सामग्री शब्दार्थ है। Google-मूल दस्तावेज़ों को निर्यात की आवश्यकता होती है, और दोनों प्लेटफ़ॉर्म में सेवा-विशिष्ट साझाकरण और संस्करण व्यवहार होता है। बाइट-सत्यापित फ़ाइल सामग्री को प्रत्येक सहयोग सुविधा के पूर्ण क्लोन के रूप में विपणन नहीं किया जाना चाहिए।
चार-भागीय स्वीकृति योजना का उपयोग करें
सिस्टम रिकॉर्ड का मिलान करें
समीक्षा पूर्ण, लंबित, प्रगति पर और विफल गिनती। किसी भी असफल वस्तु को नहीं छोड़ा जाना चाहिए क्योंकि कुल प्रतिशत अधिक है।
जोखिम द्वारा नमूना
वे फ़ाइलें खोलें जिनके खोने से सबसे अधिक नुकसान होगा, साथ ही बड़े मीडिया, अभिलेखागार, पुराने दस्तावेज़, गैर-अंग्रेज़ी नाम, नेस्टेड पथ और परिवर्तित क्लाउड-नेटिव फ़ाइलें।
गंतव्य व्यवहार को मान्य करें
वास्तविक उपकरणों और उपयोगकर्ताओं से पहुंच का परीक्षण करें। आवश्यक साझाकरण का पुनर्निर्माण करें और पुष्टि करें कि Office या निर्यात की गई Google फ़ाइलें अपेक्षा के अनुरूप खुली हैं।
एक ओवरलैप अवधि रखें
सामान्य उपयोग के दौरान गंतव्य का अभ्यास करते समय स्रोत को उपलब्ध और स्थिर रखें। रद्द करने या हटाने का कोई भी निर्णय बाद में लें।
अक्सर पूछे जाने वाले सवाल
क्या FileArk प्रत्येक फ़ाइल के लिए एक कतार का उपयोग करता है?
हाँ. स्कैनर प्रति स्रोत फ़ाइल के लिए एक डेटाबेस रिकॉर्ड बनाता या पुन: उपयोग करता है और एक सतत माइग्रेशन संदेश प्रकाशित करता है। कार्यकर्ता उन संदेशों को मैन्युअल पावती के साथ खींचते हैं।
कतार संदेश कब स्वीकार किया जाता है?
गंतव्य ऑब्जेक्ट आईडी, आकार और SHA-256 को सत्यापित करने के बाद अपलोड और सत्यापित स्थिति को कायम रखा गया है। अधूरी डिलीवरी को पुनः वितरित किया जा सकता है।
क्या पूर्ण फ़ाइल रिकॉर्ड डेटाबेस से हटा दिए गए हैं?
नहीं, समापन टिकाऊ रिकॉर्ड पर एक राज्य परिवर्तन है। पंक्ति गंतव्य की पहचान, सत्यापन साक्ष्य, समय और प्रगति और ऑडिट के लिए प्रयास की जानकारी रखती है।
क्या SHA-256 स्थानांतरित अनुमतियों और संस्करणों को साबित कर सकता है?
नहीं, यह साबित करता है कि गंतव्य फ़ाइल बाइट्स स्थानांतरित स्रोत पेलोड से मेल खाते हैं। साझाकरण, अनुमतियाँ, संस्करण, टिप्पणियाँ, लेबल, शॉर्टकट और प्रदाता-मूल व्यवहार को अलग-अलग सत्यापन की आवश्यकता होती है।
क्या OneDrive से Google Drive को रिवर्स की तरह ही सत्यापित किया गया है?
मूल नियम दोनों दिशाओं में समान है: स्रोत पेलोड डाइजेस्ट, गंतव्य ऑब्जेक्ट पहचान, गंतव्य आकार, सटीक-ऑब्जेक्ट पुनः डाउनलोड डाइजेस्ट, निरंतर सत्यापन, फिर कतार पावती।
इस गाइड के लिए उपयोग किए गए आधिकारिक संसाधन
- Google Workspace शिक्षण केंद्र: OneDrive से Google Drive पर स्विच करें
- Google Drive सहायता: स्टोरेज और फ़ाइलों का व्यवहार
- Microsoft सहायता: OneDrive पर फ़ाइलें अपलोड और सेव करें
- RabbitMQ: उपभोक्ता स्वीकृतियाँ और प्रकाशक पुष्टि करते हैं
- RabbitMQ: डेटा सुरक्षा और विश्वसनीयता
- Google Drive API: फिर से शुरू किए जा सकने वाले अपलोड
- माइक्रोसॉफ्ट ग्राफ़: एक अपलोड सत्र बनाएं