মেঘের মধ্যে শত শত জিবি সরানো: আপনি কীভাবে জানবেন প্রতিটি ফাইল এসেছে?

সংক্ষিপ্ত উত্তর

ফাইলআর্ক লাইব্রেরিটিকে প্রতি-ফাইল রেকর্ড এবং টেকসই সারি বার্তাগুলিতে ভেঙে দেয়। একজন কর্মী একটি ডেলিভারি কপি করে, ফেরত গন্তব্য আইডি সঞ্চয় করে, আকার যাচাই করে, সেই সঠিক বস্তুটিকে আবার পড়ে এবং সোর্স পেলোডের সাথে SHA-256 তুলনা করে। রেকর্ডটি যাচাই করা হয় - এবং বার্তাটি স্বীকার করা হয় - শুধুমাত্র সেই চেকগুলি এবং ডাটাবেস আপডেট সফল হওয়ার পরে৷

কেন স্কেল "কাজ করা" এর অর্থ পরিবর্তন করে

দশটি ফাইল পরিদর্শন করা সহজ। দশ হাজার ফাইল নেই। একটি বড় ব্যক্তিগত লাইব্রেরি ক্ষুদ্র নথি, মাল্টি-গিগাবাইট ভিডিও, খালি ফাইল, নেস্টেড ফোল্ডার, ইউনিকোড নাম, সংরক্ষণাগারভুক্ত প্রকল্প এবং ক্লাউড-নেটিভ ফর্ম্যাটগুলিকে একত্রিত করতে পারে। একটি ব্যর্থতা একটি চিত্তাকর্ষক চেহারা শতাংশের মধ্যে লুকিয়ে রাখতে পারে।

মোট দরকারী কিন্তু অসম্পূর্ণ. দুটি লাইব্রেরি একই আপাত আকার দেখাতে পারে যখন একটি বস্তু অনুপস্থিত থাকে বা কিছু অসম্পর্কিত ফাইল দ্বারা ভারসাম্যপূর্ণ একটি কাটা বস্তু রয়েছে। নেটিভ ডকুমেন্ট এক্সপোর্ট বা বাদ দেওয়া প্রোভাইডার অবজেক্টের পরে ফাইলের সংখ্যাও আলাদা হতে পারে।

সত্যের দরকারী একক হল ফাইলের কাজ: কোন উৎস অবজেক্টটি পড়া হয়েছে, কোন গন্তব্য অবজেক্ট তৈরি করা হয়েছে, কোন বাইটগুলি তুলনা করা হয়েছে, কখন যাচাইকরণ সম্পন্ন হয়েছে এবং কোন প্রচেষ্টা অমীমাংসিত রয়ে গেছে কিনা।

সম্পূর্ণ FileArk জীবনচক্র, টীকা

যখন স্টার্ট গৃহীত হয়, তখন API প্রথমে MongoDB-তে একটি স্ক্যান কাজ লেখে এবং তারপর প্রকাশক নিশ্চিতকরণ সক্ষম করে একটি টেকসই RabbitMQ সারিতে একটি স্থায়ী স্ক্যান বার্তা প্রকাশ করে। প্রকাশনা ব্যর্থ হলে, কাজটিকে ব্যর্থ হিসাবে চিহ্নিত করা হয় এবং API রিপোর্ট করে যে এটি স্ক্যানে নিরাপদে সারিবদ্ধ হতে পারেনি।

স্ক্যানার উভয় প্রদানকারীকে প্রমাণীকরণ করে, নির্বাচিত উৎসের তালিকা তৈরি করে, আবিষ্কৃত বাইটের বিপরীতে সীমিত গন্তব্য কোটা পরীক্ষা করে এবং প্রতিটি উৎস ফাইলের জন্য একটি ডাটাবেস রেকর্ড আপসার্ট করে। এটি ক্রমাগত মাইগ্রেশন বার্তা প্রকাশ করে এবং সেই প্রকাশগুলি সফল হওয়ার পরেই স্ক্যান সম্পূর্ণ চিহ্নিত করে৷

মাইগ্রেশন কর্মী ম্যানুয়াল স্বীকৃতি এবং একটি প্রিফেচ কাউন্ট ব্যবহার করে। বিষয়বস্তু পড়া, আপলোড করা, পুনরায় পড়া, যাচাই করা এবং অব্যাহত থাকার সময় একটি বিতরণ অস্বীকৃত থাকে। একটি বন্ধ সংযোগ বা প্রক্রিয়া তাই অসমাপ্ত কাজকে সারিতে ফিরিয়ে দিতে পারে।

একটি ডাটাবেস সারি একটি চেকলিস্ট আইটেম, ডিসপোজেবল বুককিপিং নয়

প্রতিটি ফাইল রেকর্ড মুলতুবি শুরু হয়, একটি প্রচেষ্টার সময় InProgress-এ চলে যায় এবং যাচাই করার পরেই আপলোড করা হয়। প্রচেষ্টার গণনা, শেষ চেষ্টার সময়, ত্রুটির বিবরণ, গন্তব্য অবজেক্ট আইডি, উভয় SHA-256 ডাইজেস্ট, যাচাইকরণ পদ্ধতি এবং VerifiedAt রেকর্ডের সাথে সংযুক্ত থাকে।

সম্পূর্ণ রেকর্ড অগ্রগতি এবং অডিট ট্রেইল হিসাবে ডেটাবেসে থাকে। "একটি ফাইল বন্ধ" মানে একটি নিয়ন্ত্রিত রাষ্ট্র পরিবর্তন, প্রমাণ মুছে ফেলা না। ডুপ্লিকেট সারি বিতরণগুলি সেই রাজ্যটি পরিদর্শন করে এবং অবিলম্বে একটি রেকর্ড স্বীকার করে যা ইতিমধ্যেই VerifiedAt দিয়ে আপলোড করা হয়েছে।

তিনটি ব্যর্থ প্রচেষ্টার পরে, একটি ক্রমাগত সমস্যা ব্যর্থ হয়ে যায় প্রচেষ্টা চক্রের জন্য একটি সমাপ্তির টাইমস্ট্যাম্পের সাথে। এটি ব্যতিক্রমগুলিকে দৃশ্যমান করে এবং ড্যাশবোর্ড আটকে থাকা অবস্থায় একটি বিষের বার্তা চিরতরে ঘুরতে বাধা দেয়।

Pending
  → InProgress (attempt recorded)
  → destination ID stored
  → destination size matches
  → exact destination object re-downloaded
  → source SHA-256 == destination SHA-256
  → Uploaded + VerifiedAt persisted
  → queue message acknowledged

কেন একটি ফাইল একাধিকবার বিতরণ করা হতে পারে

ক্লাউড এপিআই, একটি বার্তা ব্রোকার এবং একটি ডাটাবেস জুড়ে নির্ভরযোগ্য সারিগুলি সাধারণত অন্তত-একবার ডেলিভারি প্রদান করে, যাদুকরী ঠিক-একবার প্রতিশ্রুতি নয়। OneDrive বা Google ড্রাইভ আপলোড গ্রহণ করার পরে একটি ক্র্যাশ ঘটতে পারে কিন্তু কর্মী সম্পূর্ণ লেখার আগেই।

FileArk idempotent রেকর্ড এবং গন্তব্য পুনরুদ্ধারের সাথে সেই অনিশ্চয়তা পরিচালনা করে। কর্মী প্রথমে পরীক্ষা করে দেখেন রেকর্ডটি ইতিমধ্যে যাচাই করা হয়েছে কিনা। যদি তা না হয়, তবে এটি আবার আপলোড করার সিদ্ধান্ত নেওয়ার আগে সংরক্ষিত গন্তব্য আইডি ব্যবহার করতে পারে বা প্রত্যাশিত গন্তব্য পথ এবং বিঘ্নিত ফলাফলের জন্য সঠিক আকার অনুসন্ধান করতে পারে।

পুনরুদ্ধার প্রার্থীদের তারপর একই সঠিক-অবজেক্ট হ্যাশ যাচাইকরণের বিষয়। একটি পরিচিত ফাইলের নাম খুঁজে পাওয়া যথেষ্ট নয়। বিন্দু হল একটি বিঘ্নিত প্রচেষ্টাকে প্রমাণে রূপান্তরিত করা, আশাবাদী সাফল্যে নয়।

গন্তব্যে এবং কর্মীর উপর ক্ষমতা পরীক্ষা করা হয়

প্রতি-ফাইল কাজগুলি প্রকাশিত হওয়ার আগে, স্ক্যানারটি মোট অ-নেতিবাচক উত্স মেটাডেটা আকারগুলি করে এবং যখনই প্রদানকারী একটি সীমাবদ্ধ কোটা সরবরাহ করে তখনই গন্তব্যের রিপোর্ট করা অবশিষ্ট স্টোরেজের সাথে প্রয়োজনীয়তার তুলনা করে। একটি কম আকারের গন্তব্য একটি পরিচিত মৃত প্রান্তে কাজ খাওয়ানোর পরিবর্তে স্ক্যান করতে ব্যর্থ হয়।

চিত্রটি একটি প্রিফ্লাইট, কোনো গ্যারান্টি নয়: অ্যাকাউন্টের কার্যকলাপ একটি রানের সময় স্থান গ্রাস করতে পারে, প্রদানকারীর কোটা প্রতিবেদনগুলি পিছিয়ে যেতে পারে এবং রপ্তানি করা ক্লাউড-নেটিভ ফাইলগুলির একটি প্রচলিত উত্স আকার নাও থাকতে পারে৷ প্রদানকারীর প্রয়োগ এবং প্রতি-ফাইল ত্রুটি পরিচালনা সক্রিয় থাকে।

আপনার কম্পিউটার ডিস্ক স্টেজিং জন্য ব্যবহার করা হয় না. মাইগ্রেশন ওয়ার্কারে, মেমরি থ্রেশহোল্ডের উপরে থাকা ফাইলগুলিকে একটি বিচ্ছিন্ন অস্থায়ী ডিরেক্টরিতে স্থাপন করা হয় যখন ভলিউমে প্রত্যাশিত বস্তুর জন্য জায়গা থাকে এবং দুই-গিগাবাইট রিজার্ভ থাকে। প্রচেষ্টা সফল হোক বা নিক্ষেপ হোক না কেন ক্লিনআপে অস্থায়ী সামগ্রী সরানো হয়।

কেন গন্তব্য আইডি প্লাস SHA-256 গুরুত্বপূর্ণ

একটি ফাইলের নাম একটি অনন্য পরিচয় নয়। গন্তব্যে ইতিমধ্যেই একই দৃশ্যমান নামের দুটি ফাইল থাকতে পারে বা মেটাডেটা তালিকা নিষ্পত্তি হতে সময় লাগতে পারে। আপলোড প্রতিক্রিয়া একটি প্রদানকারী অবজেক্ট আইডি প্রদান করে এবং চূড়ান্ত যাচাইকরণ পর্যায়ের আগে ফাইলআর্ক সেই আইডি সংরক্ষণ করে।

কর্মী সোর্স পেলোড স্ট্রীম জুড়ে SHA-256 গণনা করে, এটি আপলোড করে, তারপর সেই ID দ্বারা সঠিক গন্তব্য বস্তুটি খোলে এবং আবার SHA-256 গণনা করে। সমান আকার সুস্পষ্ট ছেদন ক্যাচ; সমান ক্রিপ্টোগ্রাফিক ডাইজেস্ট হল শক্তিশালী বাইট-স্তরের চেক।

শুধুমাত্র স্থানান্তরিত ফাইল উপস্থাপনা কভার করা হয়. একটি ডাইজেস্ট ভাগ করার নিয়ম, মন্তব্য, সংস্করণ, লেবেল, শর্টকাট, ধারণ সেটিংস, বা কীভাবে একটি রপ্তানি করা Google নথি একজন ব্যবহারকারীর জন্য রেন্ডার করে তা যাচাই করতে পারে না। যারা গ্রহণযোগ্যতা কাজ থেকে যায়.

উৎস মুছে ফেলা ইচ্ছাকৃতভাবে স্বাভাবিক সাফল্যের পথের বাইরে

সবচেয়ে নিরাপদ ডিফল্টটি শুধুমাত্র অনুলিপি, এবং আপনি এটি সক্ষম না করা পর্যন্ত FileArk এর অপসারণ বিকল্পটি বন্ধ। মুছে ফেলা অক্ষম হলে, একটি যাচাইকরণ ব্যর্থতা আসলটি সরাতে পারে না কারণ মুছে ফেলার অনুরোধ করা হয় না।

আপনি ইচ্ছাকৃতভাবে মুছুন-পর-সরানো সক্ষম করলে, কর্মী উৎস প্রদানকারীর ডিলিট অপারেশনে কল করার আগে গন্তব্য আইডি, আকার এবং SHA-256 যাচাইকরণের জন্য অপেক্ষা করে। অপরিবর্তনীয় বা খুব বড় লাইব্রেরির জন্য শক্তিশালী অপারেশনাল পছন্দ হল বিকল্পটি বন্ধ রাখা এবং মানব-অনুমোদিত ওভারল্যাপ সময়কাল ব্যবহার করা।

মাইগ্রেশন উত্তর দেয় "একটি যাচাইকৃত অনুলিপি এসেছে?" ধরে রাখার উত্তর "কখন পুরানো কপি সরানো যেতে পারে?" তাদের পৃথক প্রমাণের সাথে পৃথক সিদ্ধান্ত হিসাবে বিবেচনা করুন।

একই নিয়ন্ত্রণ মডেল উভয় দিকে কাজ করে

OneDrive থেকে Google Drive-এর জন্য, সোর্স পেলোড মাইক্রোসফট গ্রাফ থেকে পড়া হয় এবং গন্তব্য অবজেক্ট Google ড্রাইভের মাধ্যমে তার প্রত্যাবর্তিত আইডি দ্বারা যাচাই করা হয়। Google Drive-এ OneDrive-এর জন্য, উৎসটি Google Drive-এর মাধ্যমে ডাউনলোড বা রপ্তানি করা হয় এবং নতুন OneDrive আইটেমটি Microsoft Graph-এর মাধ্যমে পড়া হয়।

সারি, ডাটাবেস স্টেট, বাউন্ডেড প্রয়াস, ক্যাপাসিটি প্রিফ্লাইট, সোর্স ডাইজেস্ট, ডেস্টিনেশন আইডি, ডেস্টিনেশন ডাইজেস্ট, এবং স্বীকৃতি ক্রম দিক-নিরপেক্ষ। প্রদানকারী অ্যাডাপ্টারগুলি বিভিন্ন আপলোড, ফোল্ডার এবং সামগ্রী APIগুলি পরিচালনা করে৷

অসমতা হল বিষয়বস্তু শব্দার্থবিদ্যা। Google-নেটিভ ডকুমেন্টের রপ্তানি প্রয়োজন, এবং উভয় প্ল্যাটফর্মেই পরিষেবা-নির্দিষ্ট শেয়ারিং এবং সংস্করণ আচরণ রয়েছে। বাইট-যাচাইকৃত ফাইল সামগ্রী প্রতিটি সহযোগিতা বৈশিষ্ট্যের সম্পূর্ণ ক্লোন হিসাবে বাজারজাত করা উচিত নয়।

একটি চার অংশ গ্রহণ পরিকল্পনা ব্যবহার করুন

1. সিস্টেম রেকর্ড পুনর্মিলন

   পর্যালোচনা সমাপ্ত, মুলতুবি, অগ্রগতিতে, এবং ব্যর্থ গণনা. কোনো ব্যর্থ আইটেম দূরে তরঙ্গায়িত করা উচিত নয় কারণ সামগ্রিক শতাংশ বেশি।

2. ঝুঁকি দ্বারা নমুনা

   ফাইলগুলি খুলুন যেগুলি হারাতে সবচেয়ে বেশি ক্ষতি করবে, এছাড়াও বড় মিডিয়া, আর্কাইভ, পুরানো নথি, নন-ইংরেজি নাম, নেস্টেড পাথ এবং রূপান্তরিত ক্লাউড-নেটিভ ফাইলগুলি।

3. গন্তব্য আচরণ যাচাই

   বাস্তব ডিভাইস এবং ব্যবহারকারীদের থেকে এক্সেস পরীক্ষা করুন. প্রয়োজনীয় শেয়ারিং পুনঃনির্মাণ করুন এবং নিশ্চিত করুন যে অফিস বা রপ্তানি করা Google ফাইলগুলি প্রত্যাশা অনুযায়ী খোলা।

4. একটি ওভারল্যাপ সময়কাল ধরে রাখুন

   স্বাভাবিক ব্যবহার গন্তব্য অনুশীলন করার সময় উৎস উপলব্ধ এবং স্থিতিশীল রাখুন। পরে যেকোনো বাতিল বা মুছে ফেলার সিদ্ধান্ত নিন।

সচরাচর জিজ্ঞাসিত প্রশ্ন

FileArk প্রতিটি ফাইলের জন্য একটি সারি ব্যবহার করে?

হ্যাঁ। স্ক্যানার উৎস ফাইল প্রতি একটি ডাটাবেস রেকর্ড তৈরি করে বা পুনঃব্যবহার করে এবং একটি স্থায়ী মাইগ্রেশন বার্তা প্রকাশ করে। কর্মীরা ম্যানুয়াল স্বীকৃতি দিয়ে সেই বার্তাগুলি টানছে।

কখন একটি সারি বার্তা স্বীকার করা হয়?

গন্তব্য অবজেক্ট আইডির পরে, আকার এবং SHA-256 যাচাই করা হয়েছে এবং আপলোড করা এবং যাচাইকৃত অবস্থা বজায় রাখা হয়েছে। অসমাপ্ত ডেলিভারি পুনরায় বিতরণ করা যেতে পারে।

সম্পূর্ণ ফাইল রেকর্ড ডাটাবেস থেকে মুছে ফেলা হয়?

না। সমাপ্তি টেকসই রেকর্ডে একটি রাষ্ট্রীয় পরিবর্তন। সারিটি গন্তব্যের পরিচয়, যাচাইকরণের প্রমাণ, সময় এবং অগ্রগতি এবং নিরীক্ষার জন্য প্রচেষ্টার তথ্য রাখে।

SHA-256 অনুমতি এবং সংস্করণ সরানো প্রমাণ করতে পারে?

না। এটি প্রমাণ করে যে গন্তব্য ফাইল বাইট স্থানান্তরিত উৎস পেলোডের সাথে মেলে। ভাগ করা, অনুমতি, সংস্করণ, মন্তব্য, লেবেল, শর্টকাট এবং প্রদানকারী-নেটিভ আচরণের আলাদা বৈধতা প্রয়োজন।

ওয়ানড্রাইভ টু গুগল ড্রাইভ কি একইভাবে বিপরীত হিসাবে যাচাই করা হয়েছে?

মূল নিয়ম উভয় দিকেই একই: উৎস পেলোড ডাইজেস্ট, গন্তব্য বস্তুর পরিচয়, গন্তব্যের আকার, সঠিক-অবজেক্ট পুনরায় ডাউনলোড ডাইজেস্ট, স্থায়ী যাচাইকরণ, তারপর সারি স্বীকৃতি।

এই নির্দেশিকায় ব্যবহৃত প্রামাণিক রিসোর্স

• Google Workspace Learning Center: OneDrive থেকে Google Drive-এ স্থানান্তর
• Google Drive সহায়তা: স্টোরেজ ও ফাইলের আচরণ
• Microsoft সহায়তা: OneDrive-এ ফাইল আপলোড ও সংরক্ষণ
• RabbitMQ: ভোক্তার স্বীকৃতি এবং প্রকাশক নিশ্চিত করে
• RabbitMQ: ডেটা নিরাপত্তা এবং নির্ভরযোগ্যতা
• Google Drive API: পুনরায় শুরু করা যায় এমন আপলোড
• মাইক্রোসফ্ট গ্রাফ: একটি আপলোড সেশন তৈরি করুন