Gestion des transferts de données volumineux¶
Si vous devez transférer une grande quantité de données (de l'ordre de plusieurs dizaines de Go) ou une grande quantité de fichiers (plusieurs milliers) vers ou depuis CERNBox, certaines précautions sont nécessaires, car les outils interactifs tels que les navigateurs de fichiers natifs du système d'exploitation ou l'interface Web de CERNBox peuvent ne pas être la meilleure option.
Transferts Web¶
Si vous devez rendre des fichiers volumineux disponibles via web, de manière anonyme ou non, vous devriez utiliser les sites WebEOS. Cependant, nous recommandons de fragmenter les fichiers très volumineux pour aider les utilisateurs à les télécharger en l'absence de mécanismes de récupération de transfert. A noter que la limite de 50 Go par fichier s'applique en tout cas.
Si vous devez télécharger des fichiers volumineux sur EOS et que vous êtes membre d'une expérience, il vous est recommandé d'utiliser HTTP Third-Party Copy (TPC) via le service de transfert de fichiers FTS.
Sinon, si vous avez besoin d'utiliser l'interface web de CERNBox, tout telechargement est limité à 20 minutes de temps de transfert. En plus, un maximum de 8 Go sont accordés en upload. Si vous et/ou vos destinataires vous êtes concernés par cette limite, nous vous recommandons de passer à d'autres protocoles comme suggéré ci-dessous.
Notez que si votre destinataire ne possède pas de compte CERN et que vous ne pouvez utiliser que les liens publics CERNBox, vous devez fragmenter les fichiers volumineux de manière à rester en dessous de la limite, ce qui aide aussi au cas où on doit refaire un transfert.
Autres transferts de données¶
Le moyen le plus efficace de transférer des données vers/depuis CERNBox est d'accéder directement au système de stockage. Pour EOS, il vous est recommandé de partager le(s) dossier(s) concerné(s) avec des comptes, et non pas sous forme de "partage public", de manière à pouvoir y accéder sans passer par l'interface web de CERNBox.
En fonction de votre système d'exploitation, vos options sont :
- Si vous savez comment utiliser XRootD sur un système basé sur Linux, c'est la meilleure option car elle offre également une vérification de la checksum.
- Si vous avez accès à FUSE (sur Linux ou MacOS), un outil recommandé est
rsync, en particulier avec les options suivantes :
- Si vous utilisez le partage réseau sur Windows, connu sous le nom de CIFS ou SMB sur un système Windows, un outil recommandé est
robocopy, ou Total Commander pour un gestionnaire de fichiers basé sur une interface graphique. Nous vous recommandons d'appeler la commanderobocopydans PowerShell avec les options suivantes :