GZIP est une bibliothèque de compression de données Open Source qui fournit un taux de compression élevé.
Elle applique deux niveaux de compression :
- Niveau d'octet (schéma de compression basé sur Limpel Ziev LZ)
- Niveau de bit (Huffman Entropy)
Traditionnellement, les solutions basées sur les processeurs sont limitées à la vitesse en Mo/s, mais il existe une forte demande de GZIP accéléré qui fournit un débit en Go/s. Cette application assure la compression et la décompression GZIP et ZLIB à l'aide de la plateforme Alveo U50.
INDÉPENDANTS AMD
Plateforme SUR SITE
Taille : 1,14 Go
Version du conteneur : gzip-U50-2020.1-v1.0
AMD propose cette application gratuitement.
Performances
Les chiffres de débit ci-dessous ont été testés en utilisant l'ensemble de fichiers silesia. (http://sun.aei.polsl.pl/~sdeor/index.php?page=silesia )
La vitesse globale ci-dessous est calculée à l'aide de la liste de fichiers multiples sur plusieurs cœurs.
|
Vitesse/fichier |
Cœurs totaux |
Vitesse globale |
Compression |
7400 Mo/s |
8 |
273 Go/s |
Décompresser |
7400 Mo/s |
7 |
273 Go/s |
Options de déploiement
Cette application est mise en conteneur et peut être facilement exécutée en quelques minutes dans le cloud ou sur site.
SUR SITES |
|
Alveo U50 |
|
Introduction
Suivez les instructions en fonction de votre méthode de déploiement.
1. Configuration de l'hôte
L'application hôte Xilinx Runtime (XRT) est prise en charge sur Ubuntu 16.04 /18.04 et CentOS 7.x. avec l'accès sudo, utilisez la commande suivante pour télécharger et exécuter le script de configuration :
1.1 Clonez le référentiel GitHub pour Xilinx Base Runtime
1.2 Exécutez le script de configuration de l'hôte
Remarque :
- Veuillez patienter jusqu'à la fin de l'installation. Pendant ce temps, vous devrez peut-être appuyer sur [Y] pour poursuivre la configuration de l'hôte.
- Si vous choisissez de flasher le FPGA, vous devrez redémarrer la machine locale à froid une fois l'installation terminée pour charger la nouvelle image sur le FPGA.
- Le script de configuration de l'hôte peut être utilisé pour configurer d'autres versions du XRT et du shell. Veuillez consulter https://github.com/Xilinx/Xilinx_Base_Runtime pour plus de détails.
2. Installer Docker (s'il n'est pas déjà installé)
Avec l'accès sudo, utilisez la commande suivante pour exécuter le script de l'utilitaire afin d'installer docker.
2.1 Accédez au répertoire des utilitaires Xilinx_Base_Runtime
2.2 Exécutez le script d'installation de Docker
3. Exécution de l'application
Saisissez les commandes suivantes dans une fenêtre de terminal pour exécuter l'application :
3.1 Configurez les variables d'environnement par script de Xilinx_Base_Runtime
3,2 tirez sur l'image de menu fixe
3.3 Exécutez l'image Docker
Description des arguments de commande :
$XILINX_DOCKER_DEVICES
- Variables définies par le script de configuration de l'hôte
3.4 Exécutez GZIP
exemples de commandes :
[Pour la compression]
[Pour la décompression]
wget http://sun.aei.polsl.pl/~sdeor/corpus/nci.bz2
Pour la compression
Pour décompression
Tester ou valider un fichier
4. Résultats
Une fois la compression ou la décompression effectuée, le fichier de sortie est généré dans le même chemin d'accès au dossier que le dossier du chemin d'entrée.
- Si le fichier est compressé avec GZIP, le format du fichier de sortie sera :
<file_name>.gz
- Si le fichier est compressé avec ZLIB, le format du fichier de sortie sera :
<file_name>.xz
- L'extension de fichier après la décompression sera :
<compress_file>.raw