Diferencia entre revisiones de «Almacenamiento en Lustre»

Revisión del 23:46 15 jun 2017

En Abacus-I almacenamos la informacion en un sitema de almacenamiento distribuido tipo lustre, cuando se crea una nueva cuenta, el usuario tiene acceso a 3 formas de almacenamiento; la primera es el home del usuario, la segunda forma para almacenar archivos es scratch y el tercer tipo es el almacenamiento en los nodos

Home

El directorio de trabajo del usuario es la home, la cantidad de almacenamiento es de 500Gb y puede conocerse utilizando:

    [dortiz@service1 ~]$ pwd
    /lustre/home/admin/dortizg

Este directorio debe ser utilizado para almacenar las inputs de las aplicaciones y los archivos que tengan relacion directa con el proyecto que el usuario este desarrollando.

Scratch

Este directorio es de tipo temporal, permite almacenar grandes cantidades de datos; esta localizado dentro de la carpeta home del usuario, la cantidad de almacenamiento de este directorio es de 15Tb, en ella podrán guardarse, por ejemplo, datos de salida generados por las aplicaciones.

Es necesario que se realicen copias de seguridad de estos archivos, puesto que este directorio es borrado periódicamente. Las copias de seguridad pueden realiazarse a través de una unidad externa, haciendo la solicitud al equipo de soporte o utilizando la herramienta rsync, sin embargo, se sugiere que se realice mediante el uso de una unidad externa, puesto que en funcion del tamaño de los archivos, podría verse afectado el ancho de banda del clúster y por tanto el acceso al mismo.

Puede conocerse el directorio scratch como:

    [dortiz@service1 ~]$ ls /lustre/home/admin//dortiz
    total 0
    lrwxrwxrwx 1 root root 22 Apr  5 23:48 scratch -> /lustre/scratch/dortizg/

Este directorio se crea una vez que se autoriza su cuenta, en caso de no tenerlo disponible, no tiene que crearlo, unicamente deberá levantar un ticket en: http://support.edomex.cinvestav.mx/ y se asignara lo mas pronto posible.

Almacenamiento en los nodos

Cada nodo en Abacus-I, cuenta con una unidad de almacenamiento de 1Tb, para acceder a ella debe utilizarse /tmp/scratch, este directorio es de tipo temporales y de la misma forma que scratch es limpiado periodicamente, por lo que deben realizarse copias de seguridad.

Por ningun motivo debera almacenar sus datos de salida en el directorio /tmp de cada nodo, pueso que esta particion solo cuenta con 150Mb y en caso de que se llene, el administrador de recursos "slurm" separa el nodo, dejandolo no disponible, hasta que se libere espacio en el.