Diferencia entre revisiones de «Almacenamiento en Lustre»
| (No se muestran 13 ediciones intermedias de 2 usuarios) | |||
| Línea 1: | Línea 1: | ||
| − | En Abacus-I almacenamos la | + | En Abacus-I almacenamos la información en un sitema de almacenamiento distribuido tipo [http://lustre.org/ lustre], cuando se crea una nueva cuenta, el usuario tiene acceso a 3 formas de almacenamiento; la primera es el home del usuario, la segunda forma para almacenar archivos es scratch y el tercer tipo es el almacenamiento en los nodos. |
=== Home === | === Home === | ||
| Línea 8: | Línea 8: | ||
/lustre/home/admin/dortizg | /lustre/home/admin/dortizg | ||
| − | + | En sistemas Linux, este directorio es comunmente utilizado para guardar datos personales de los usuarios, en este caso, debe ser empleado para almacenar las inputs de las aplicaciones y archivos que tengan relacion directa con el proyecto que el usuario este desarrollando. | |
=== Scratch === | === Scratch === | ||
---- | ---- | ||
| − | Este directorio es de tipo temporal | + | Este directorio es de tipo temporal y permite almacenar grandes cantidades de datos, se encuentra localizado dentro de la carpeta ''home'' del usuario, la cantidad de almacenamiento de este directorio es de 15Tb, debe ser utilizado principalmente, para guardar los datos de salida generados por las aplicaciones, además, puede utilizarse para almacenar datos de gran tamaño, siempre y cuando, tengan relación directa con el proyecto que se desarrolle. |
| − | Es necesario que se realicen copias de seguridad de estos archivos, puesto que este directorio es borrado periódicamente. Las copias de seguridad pueden realiazarse a través de una unidad externa, haciendo la solicitud al equipo de soporte o utilizando la herramienta rsync, sin embargo, se sugiere que se realice mediante el uso de una unidad externa, puesto que en | + | Es necesario que se realicen copias de seguridad de estos archivos, puesto que este directorio es borrado periódicamente. Las copias de seguridad pueden realiazarse a través de una unidad externa, haciendo la solicitud al equipo de soporte o utilizando la herramienta [[Guia_de_Usuario|rsync]], sin embargo, se sugiere que se realice mediante el uso de una unidad externa, puesto que en función del tamaño de los archivos, podría verse afectado el ancho de banda del clúster y por lo tanto el acceso al mismo. |
Puede conocerse el directorio scratch como: | Puede conocerse el directorio scratch como: | ||
| Línea 23: | Línea 23: | ||
lrwxrwxrwx 1 root root 22 Apr 5 23:48 scratch -> /lustre/scratch/dortizg/ | lrwxrwxrwx 1 root root 22 Apr 5 23:48 scratch -> /lustre/scratch/dortizg/ | ||
| − | Este directorio se crea una vez que se autoriza su cuenta, en caso de no tenerlo disponible, no tiene que crearlo, unicamente deberá levantar un ticket en: http://support.edomex.cinvestav.mx/ y se asignara lo | + | Este directorio se crea una vez que se autoriza su cuenta, en caso de no tenerlo disponible, no tiene que crearlo, unicamente deberá levantar un ticket en: http://support.edomex.cinvestav.mx/ y se asignara lo más pronto posible. |
=== Almacenamiento en los nodos=== | === Almacenamiento en los nodos=== | ||
---- | ---- | ||
| − | Cada nodo en Abacus-I, cuenta con una unidad de almacenamiento de 1Tb | + | Cada nodo en Abacus-I, cuenta con una unidad de almacenamiento de 1Tb y su directorio se localiza en: |
| − | Por ningun motivo debera almacenar sus datos de salida en el directorio /tmp de cada nodo, | + | [dortiz@r2i3n1 ~]$ ls /tmp/scratch |
| + | total 16 | ||
| + | drwx------ 2 root root 16384 Jan 22 2015 lost+found | ||
| + | |||
| + | Es importante mencionar que el acceso directo a los nodos, puede efectuarse unicamente si un trabajo del usuario está ejecutándose, por lo que la información solo podrá ser leída mientras se mantega en ejecución. Una vez terminado, la información que haya sido almacenada en este directorio ya no podrá ser accedida por el usuario. | ||
| + | |||
| + | Este directorio es de tipo temporal y de la misma forma que scratch es limpiado periodicamente, por lo que deben realizarse copias de seguridad. | ||
| + | |||
| + | '''Por ningun motivo debera almacenar sus datos de salida en el directorio /tmp de cada nodo''', puesto que esta particion solo cuenta con 150Mb y en caso de que se llene, el administrador de recursos "slurm" separa el nodo, dejandolo no disponible, hasta que sea liberado el espacio. | ||
Revisión actual del 03:15 16 jun 2017
En Abacus-I almacenamos la información en un sitema de almacenamiento distribuido tipo lustre, cuando se crea una nueva cuenta, el usuario tiene acceso a 3 formas de almacenamiento; la primera es el home del usuario, la segunda forma para almacenar archivos es scratch y el tercer tipo es el almacenamiento en los nodos.
Home[editar]
El directorio de trabajo del usuario es la home, la cantidad de almacenamiento es de 500Gb y puede conocerse utilizando:
[dortiz@service1 ~]$ pwd
/lustre/home/admin/dortizg
En sistemas Linux, este directorio es comunmente utilizado para guardar datos personales de los usuarios, en este caso, debe ser empleado para almacenar las inputs de las aplicaciones y archivos que tengan relacion directa con el proyecto que el usuario este desarrollando.
Scratch[editar]
Este directorio es de tipo temporal y permite almacenar grandes cantidades de datos, se encuentra localizado dentro de la carpeta home del usuario, la cantidad de almacenamiento de este directorio es de 15Tb, debe ser utilizado principalmente, para guardar los datos de salida generados por las aplicaciones, además, puede utilizarse para almacenar datos de gran tamaño, siempre y cuando, tengan relación directa con el proyecto que se desarrolle.
Es necesario que se realicen copias de seguridad de estos archivos, puesto que este directorio es borrado periódicamente. Las copias de seguridad pueden realiazarse a través de una unidad externa, haciendo la solicitud al equipo de soporte o utilizando la herramienta rsync, sin embargo, se sugiere que se realice mediante el uso de una unidad externa, puesto que en función del tamaño de los archivos, podría verse afectado el ancho de banda del clúster y por lo tanto el acceso al mismo.
Puede conocerse el directorio scratch como:
[dortiz@service1 ~]$ ls /lustre/home/admin//dortiz
total 0
lrwxrwxrwx 1 root root 22 Apr 5 23:48 scratch -> /lustre/scratch/dortizg/
Este directorio se crea una vez que se autoriza su cuenta, en caso de no tenerlo disponible, no tiene que crearlo, unicamente deberá levantar un ticket en: http://support.edomex.cinvestav.mx/ y se asignara lo más pronto posible.
Almacenamiento en los nodos[editar]
Cada nodo en Abacus-I, cuenta con una unidad de almacenamiento de 1Tb y su directorio se localiza en:
[dortiz@r2i3n1 ~]$ ls /tmp/scratch
total 16
drwx------ 2 root root 16384 Jan 22 2015 lost+found
Es importante mencionar que el acceso directo a los nodos, puede efectuarse unicamente si un trabajo del usuario está ejecutándose, por lo que la información solo podrá ser leída mientras se mantega en ejecución. Una vez terminado, la información que haya sido almacenada en este directorio ya no podrá ser accedida por el usuario.
Este directorio es de tipo temporal y de la misma forma que scratch es limpiado periodicamente, por lo que deben realizarse copias de seguridad.
Por ningun motivo debera almacenar sus datos de salida en el directorio /tmp de cada nodo, puesto que esta particion solo cuenta con 150Mb y en caso de que se llene, el administrador de recursos "slurm" separa el nodo, dejandolo no disponible, hasta que sea liberado el espacio.
