Large migrations · Verification · İlerleme çubuğunun arkasındaki kanıt

Yüzlerce GB'yi Bulutlar Arasında Taşımak: Her Dosyanın Geldiğini Nasıl Biliyorsunuz?

500 GB'ta "yüklemenin bitmiş görünmesi" kanıt değildir. Güvenilir bir geçiş, dayanıklı bir envantere, her nesne için bir durum geçişine, kesintilerden sonra tekrarlanabilir kurtarmaya ve hedefin kendisinden kanıta ihtiyaç duyar.

Güncellenme tarihi ; 16 dakikalık okuma.

Kısa yanıt

FileArk, kitaplığı dosya başına kayıtlara ve dayanıklı kuyruk mesajlarına böler. Bir çalışan bir teslimatı kopyalar, döndürülen hedef kimliğini saklar, boyutu doğrular, o nesneyi tam olarak okur ve SHA-256'yı kaynak yüküyle karşılaştırır. Kayıt ancak bu kontroller ve veritabanı güncellemesi başarılı olduktan sonra doğrulanır ve mesaj onaylanır.

Ölçek neden “çalıştı”nın anlamını değiştiriyor?

On dosyayı incelemek kolaydır. On bin dosya değil. Büyük bir kişisel kitaplık, küçük belgeleri, çok gigabaytlık videoları, boş dosyaları, iç içe geçmiş klasörleri, Unicode adlarını, arşivlenmiş projeleri ve bulutta yerel formatları birleştirebilir. Bir başarısızlık etkileyici görünen bir yüzdenin içine gizlenebilir.

Toplamlar faydalıdır ancak eksiktir. İki kitaplık aynı görünen boyutu gösterebilirken, birinde bir nesne eksik olabilir veya alakasız bir dosya tarafından dengelenmiş kesik bir nesne bulunabilir. Dosya sayıları, yerel belge dışa aktarımından veya hariç tutulan sağlayıcı nesnelerinden sonra da farklılık gösterebilir.

Gerçeğin yararlı birimi dosya işidir: hangi kaynak nesnenin okunduğu, hangi hedef nesnenin oluşturulduğu, hangi baytların karşılaştırıldığı, doğrulamanın ne zaman tamamlandığı ve herhangi bir girişimin çözümsüz kalıp kalmadığı.

Açıklamalı FileArk yaşam döngüsünün tamamı

FileArk tarayıcı kurulumu tarayıcı veritabanı dayanıklı kuyruk çalışanını ve SHA-256 doğrulamasını gösteren açıklamalı yaşam döngüsü
Tarayıcı kontrol akışını başlatır; tarayıcı, kalıcı kuyruk, veritabanı ve çalışan uzun süren geçişi taşır.

Başlat kabul edildiğinde, API önce MongoDB'ye bir tarama işi yazar ve ardından yayıncı onayı etkinleştirilmiş olarak dayanıklı bir RabbitMQ kuyruğuna kalıcı bir tarama mesajı yayınlar. Yayımlama başarısız olursa iş Başarısız olarak işaretlenir ve API, taramayı güvenli bir şekilde sıraya alamadığını bildirir.

Tarayıcı her iki sağlayıcının kimliğini doğrular, seçilen kaynağın envanterini çıkarır, sınırlı hedef kotasını keşfedilen baytlara göre kontrol eder ve her kaynak dosya için bir veritabanı kaydı oluşturur. Kalıcı geçiş mesajları yayınlar ve taramayı yalnızca bu yayınlamalar başarılı olduktan sonra tamamlandı olarak işaretler.

Geçiş çalışanı, manuel bildirimleri ve bir ön getirme sayısını kullanır. İçerik okunurken, yüklenirken, yeniden okunurken, doğrulanırken ve kalıcı hale getirilirken teslimat onaylanmamış olarak kalır. Durdurulan bir bağlantı veya işlem bu nedenle tamamlanmamış işi kuyruğa geri gönderebilir.

Bir veritabanı satırı tek kullanımlık defter tutma değil, bir kontrol listesi öğesidir

Her dosya kaydı Beklemede olarak başlar, bir deneme sırasında Devam Ediyor durumuna geçer ve yalnızca doğrulama sonrasında Yüklendi durumuna ulaşır. Deneme sayısı, son deneme süresi, hata ayrıntısı, hedef nesne kimliği, hem SHA-256 özetleri, doğrulama yöntemi hem de VerifiedAt kayda bağlı kalır.

Tamamlanan kayıtlar, ilerleme ve denetim izi olarak veritabanında kalır. "Bir dosyayı kapatmak", kanıtların silinmesi değil, kontrollü bir durum değişikliği anlamına gelir. Yinelenen kuyruk teslimatları bu durumu denetler ve zaten VerifiedAt ile Uploaded olarak işaretlenmiş bir kaydı anında onaylar.

Üç başarısız denemeden sonra kalıcı bir sorun, deneme döngüsünün tamamlanma zaman damgasıyla birlikte Başarısız olur. Bu, istisnaları görünür hale getirir ve kontrol paneli takılı kalmış gibi görünürken zehirli bir mesajın sonsuza kadar dönmesini önler.

Bir dosya için tamamlama kapısı
Pending
  → InProgress (attempt recorded)
  → destination ID stored
  → destination size matches
  → exact destination object re-downloaded
  → source SHA-256 == destination SHA-256
  → Uploaded + VerifiedAt persisted
  → queue message acknowledged

Bir dosya neden birden fazla kez teslim edilebilir?

Güvenilir kuyruklar genellikle en az bir kez teslimat sağlar; bir bulut API'sı, bir mesaj komisyoncusu ve bir veritabanı genelinde tam olarak bir kez sihirli bir vaat değildir. OneDrive veya Google Drive bir yüklemeyi kabul ettikten sonra ancak çalışan tamamlamayı yazmadan önce bir kilitlenme meydana gelebilir.

FileArk, bu belirsizliği eş zamanlı kayıtlar ve hedef kurtarma ile ele alır. Çalışan öncelikle kaydın zaten doğrulanmış olup olmadığını kontrol eder. Değilse, tekrar yüklemeye karar vermeden önce, saklanan hedef kimliğini kullanabilir veya kesintiye uğrayan sonuç için beklenen hedef yolunu ve tam boyutunu arayabilir.

Kurtarma adayları daha sonra aynı tam nesne karma doğrulamasına tabi tutulur. Tanıdık bir dosya adı bulmak yeterli değildir. Önemli olan kesintiye uğrayan bir girişimi iyimser bir başarıya değil, tekrar kanıta dönüştürmektir.

Kapasite varış noktasında ve işçi üzerinde kontrol edilir

Dosya başına işler yayınlanmadan önce tarayıcı, negatif olmayan kaynak meta veri boyutlarını toplar ve sağlayıcı sınırlı bir kota sağladığında gereksinimi, hedefin bildirilen kalan depolama alanıyla karşılaştırır. Küçük boyutlu bir hedef, işi bilinen bir çıkmaza sokmak yerine taramayı geçemez.

Rakam bir ön kontroldür, bir garanti değildir: Hesap etkinliği bir çalıştırma sırasında yer tüketebilir, sağlayıcı kota raporları gecikebilir ve dışa aktarılan bulutta yerel dosyalar geleneksel bir kaynak boyutuna sahip olmayabilir. Sağlayıcının yaptırımı ve dosya başına hata işleme etkin kalır.

Bilgisayarınızın diski hazırlama için kullanılmaz. Geçiş çalışanında, bellek eşiğinin üzerindeki dosyalar, yalnızca birimde beklenen nesneye ek olarak iki gigabaytlık bir rezerv için yer açıldıktan sonra yalıtılmış bir geçici dizine yerleştirilir. Deneme başarılı olsa da başarısız olsa da temizleme sırasında geçici içerik kaldırılır.

Hedef kimliği artı SHA-256 neden önemlidir?

Dosya adı benzersiz bir kimlik değildir. Hedef zaten aynı görünür ada sahip iki dosya içeriyor olabilir veya meta veri listesinin yerleşmesi zaman alabilir. Yükleme yanıtı bir sağlayıcı nesne kimliği sağlar ve FileArk bu kimliği son doğrulama aşamasından önce saklar.

Çalışan, kaynak veri akışı boyunca SHA-256'yı hesaplar, yükler, ardından tam hedef nesneyi bu kimliğe göre açar ve SHA-256'yı yeniden hesaplar. Eşit boyut belirgin bir kesilmeyi yakalar; eşit kriptografik özet, daha güçlü bayt düzeyi kontrolüdür.

Yalnızca aktarılan dosya gösterimi kapsanmaktadır. Özet, paylaşım kurallarını, yorumları, sürümleri, etiketleri, kısayolları, saklama ayarlarını veya dışa aktarılan bir Google dokümanının kullanıcı için nasıl oluşturulduğunu doğrulayamaz. Bunlar kabul görevleri olarak kalır.

Kaynağın silinmesi kasıtlı olarak normal başarı yolunun dışındadır

En güvenli varsayılan, salt kopyalamadır ve siz etkinleştirmediğiniz sürece FileArk'ın silme seçeneği kapalıdır. Silme devre dışı bırakıldığında, silme işlemi hiçbir zaman istenmediği için doğrulama hatası orijinali kaldıramaz.

Taşıma sonrası silmeyi kasıtlı olarak etkinleştirirseniz çalışan, kaynak sağlayıcının silme işlemini çağırmadan önce yine de hedef kimliğini, boyutunu ve SHA-256 doğrulamasını bekler. Yeri doldurulamaz veya çok büyük kütüphaneler için daha güçlü operasyonel tercih, seçeneği kapalı tutmak ve insan onaylı bir çakışma dönemi kullanmaktır.

Taşıma işlemi "doğrulanmış bir kopya geldi mi?" sorusunu yanıtlıyor Saklama "eski kopya ne zaman kaldırılabilir?" sorusunun cevabını verir. Bunları ayrı delillerle ayrı kararlar olarak ele alın.

Aynı kontrol modeli her iki yönde de çalışır

OneDrive'dan Google Drive'a geçiş için kaynak verisi Microsoft Graph'tan okunur ve hedef nesne, döndürülen kimliğiyle Google Drive aracılığıyla doğrulanır. Google Drive'dan OneDrive'a için kaynak Google Drive aracılığıyla indirilir veya dışa aktarılır ve yeni OneDrive öğesi Microsoft Graph aracılığıyla tekrar okunur.

Kuyruk, veritabanı durumları, sınırlı girişimler, kapasite ön kontrolü, kaynak özeti, hedef kimliği, hedef özeti ve onay sırası yön açısından nötrdür. Sağlayıcı bağdaştırıcıları farklı yükleme, klasör ve içerik API'lerini yönetir.

Asimetri içerik anlambilimidir. Google'da yerel dokümanların dışa aktarılması gerekir ve her iki platformun da hizmete özel paylaşımı ve sürüm davranışı vardır. Bayt doğrulamalı dosya içeriği, her işbirliği özelliğinin tam bir kopyası olarak pazarlanmamalıdır.

Dört bölümlü bir kabul planı kullanın

  1. Sistem kaydını uzlaştırın

    Tamamlanan, bekleyen, devam eden ve başarısız olan sayımları inceleyin. Genel yüzde yüksek olduğu için başarısız olan hiçbir öğeyi göz ardı etmemelisiniz.

  2. Riske göre örnek

    Kaybedilmesinin en çok acı vereceği dosyaların yanı sıra büyük ortamları, arşivleri, eski belgeleri, İngilizce olmayan adları, iç içe geçmiş yolları ve dönüştürülmüş bulutta yerel dosyaları açın.

  3. Hedef davranışını doğrulayın

    Gerçek cihazlardan ve kullanıcılardan erişimi test edin. Gerekli paylaşımı yeniden oluşturun ve Office'in veya dışa aktarılan Google dosyalarının beklendiği gibi açık olduğunu doğrulayın.

  4. Bir örtüşme dönemi tutun

    Normal kullanım hedefi kullanırken kaynağı kullanılabilir ve sabit tutun. İptal veya silme kararını daha sonra verin.

Sık sorulan sorular

FileArk her dosya için bir sıra kullanıyor mu?

Evet. Tarayıcı, kaynak dosya başına bir veritabanı kaydı oluşturur veya yeniden kullanır ve kalıcı bir geçiş mesajı yayınlar. İşçiler bu mesajları manuel onayla alıyor.

Bir kuyruk mesajı ne zaman onaylanır?

Hedef nesne kimliği, boyutu ve SHA-256 doğrulandıktan ve Uploaded ve VerifiedAt durumu kalıcı hale getirildikten sonra. Bitmemiş teslimatlar yeniden teslim edilebilir.

Tamamlanan dosya kayıtları veritabanından silinir mi?

Hayır. Tamamlama, kalıcı kayıtta bir durum geçişidir. Satır, ilerleme ve denetim için hedef kimliğini, doğrulama kanıtlarını, zamanlamayı ve girişim bilgilerini tutar.

SHA-256 izinlerin ve sürümlerin taşındığını kanıtlayabilir mi?

Hayır. Hedef dosya baytlarının aktarılan kaynak yüküyle eşleştiğini kanıtlar. Paylaşım, izinler, sürümler, yorumlar, etiketler, kısayollar ve sağlayıcıya özgü davranışlar ayrı doğrulama gerektirir.

OneDrive'dan Google Drive'a geçiş, tersiyle aynı şekilde mi doğrulandı?

Temel kural her iki yönde de aynıdır: kaynak yük özeti, hedef nesne kimliği, hedef boyutu, tam nesne yeniden indirme özeti, kalıcı doğrulama ve ardından kuyruk onayı.

Bu rehberde yararlanılan resmî kaynaklar

Rehberi okuyun