01 mayo 2013

Optimización de sistemas de archivos ext3 y ext4

Cuando se trabaja con servidores y estaciones de trabajo, con instalaciones de Ubuntu, CentOS, Red Hat o Fedora y se busca optimizar el uso del disco duro de sistemas de archivos en formato Ext3 o Ext4, hay ajustes que pueden mejorar el desempeño de manera significativa.

Acerca de Ext3.
Ext3 (third extended filesystem o tercer sistema de archivos extendido) se diferencia de ext2 en que trabaja con registro por diario (journaling) y porque utiliza un árbol binario balanceado (árbol AVL, creado por los matemáticos rusos Georgii Adelson-Velskii y Yevgeniy Landis) y también por incorporar el método Orlov de asignación para bloques de disco (el mismo que se gestiona a través de los mandatos lsattr y chattr). Además ext3 permite ser montado y utilizado, como si fuera ext2 y actualizar desde ext2 hacia ext3 sin necesidad de formatear la partición y, por tanto, sin perder los datos almacenados en ésta. Es el sistema de archivos predeterminado en CentOS 5 y Red Hat Enterprise Linux 5.

Acerca de Ext4.
Ext4 (fourth extended filesystem o cuarto sistema de archivos extendido) es un sistema de archivos con registro por diario, publicado por Andrew Morton como una mejora compatible con el formato Ext3 el 10 de octubre de 2006. El 25 de diciembre de 2008 se publicó la versión 2.6.28 del núcleo de Linux, la cual eliminó la etiqueta experimental de código de Ext4. Las mejoras respecto de Ext3 incluyen, entre otras cosas, el soporte de volúmenes de hasta 1024 PiB, soporte añadido de extents (conjunto de bloques físicos contiguos), menor uso de recursos de sistema, mejoras sustanciales en la velocidad de lectura y escritura y verificación más rápida con fsck. Es el sistema de archivos predeterminado en CentOS 6 y Red Hat Enterprise Linux 6.

Acerca del registro por diario (journaling).
El registro por diario (journaling) es un mecanismo por el cual un sistema de archivos implementa transacciones. Consiste en un registro en el que se almacena la información necesaria para restablecer los datos dañados por una transacción en caso de que ésta falle, como puede ocurrir durante una interrupción de energía.

Procedimientos
Para determinar que dispositivos corresponden a las particiones en el disco duro, se utiliza el mandato df.  Ejemplo:

[root@servidor ~]# df
S.archivos         Bloques de 1K   Usado    Dispon Uso% Montado en
/dev/hda2             19283024  17279260   1207584  94% /
/dev/sda1                77749     21905     51830  30% /boot
/dev/sdb1             17496684  10618980   5988912  64% /home
/dev/hda5             54158844  41284544  11223624  79% /var/ftp
/dev/sda2             15352348   4874232   9698164  34% /home/rpmbuild
tmpfs                   777732         0    777732   0% /dev/shm


Una vez determinados que dispositivos corresponden a las diferentes particiones, pueden aplicarse varios métodos de optimización.

Utilizando el mandato e2fsck.
El mandato e2fsck se utiliza regularmente para revisar y reparar, particiones con formato ext2, ext3 y ext4. Incluye la opción -D que realiza la optimización de directorios en el sistema de archivos. La optimización de todos los directorios de una partición consiste en volver a posicionar (reindexing) los directorios, cuando el sistema de archivos incluye soporte para tal,  o volviendo a acomodar y comprimiendo directorios. La opción -D se debe utilizar junto con la opción -f para forzar la verificación de la partición del disco duro.

Para optimizar una partición cuyo formato es ext3 o ext4, es indispensable que ésta esté desmontada. Para poder desmontar una partición es indispensable que el sistema funcione sin procesos haciendo uso de contenidos en dicha partición. Puede utilizarse el mandato lsof para determinar ésto y así definir que es lo que se debe detener momentáneamente.

Si el sistema funciona sin procesos haciendo uso de contenidos en la partición, se puede seguir el procedimiento ejemplificado a continuación con el dispositivo /dev/sda3 que en este particular ejemplo corresponde a la partición para /home:

umount /home
e2fsck -f -D /dev/sda3


La salida puede devolver algo similar a lo siguiente:

[root@m100 SPECS]# e2fsck -D -f /dev/sda3
e2fsck 1.39 (29-May-2006)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 3A: Optimizing directories
Pass 4: Checking reference counts
Pass 5: Checking group summary information

/home: ***** FILE SYSTEM WAS MODIFIED *****
/home: 13/5244736 files (7.7% non-contiguous), 208319/5243214 blocks


Una vez terminado el procedimiento, se pueden volver a montar las particiones optimizadas.

En el caso de tratarse de particiones que sea imposible desmontar por encontrarse en uso, puede utilizarse el disco de instalación de CentOS, Fedora, Red Hat Enterprise Linux, openSUSE y SuSE Linux Enterprise, en modo de rescate o bien un Disco Vivo (LiveCD), desmontando las particiones que se quieran optimizar antes de proceder con el mandato e2fsck -f -D.

Opciones de montado.
Los sistemas de archivos ext3 y ext4 permiten tres opciones que mejoran el desempeño del sistema de archivos. Todas se especifican en la columna de opciones de los dispositivos en el archivo /etc/fstab.

dispositivo   punto de montaje    formato    opciones    a b

De la descripción anterior, a define si la partición se verifica con cada inicio del sistema y b define la prioridad de montaje. Ejemplo del contenido del archivo /etc/fstab:

#
# /etc/fstab
# Created by anaconda on Mon Aug 22 14:39:31 2011
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=a3b3ebcd-e342-43fb-bc33-adf4d1e409ff /         ext4   defaults       1 1
UUID=32932fc8-0e4f-4a68-80a0-28d873a15f87 /boot     ext4   defaults       1 2
UUID=68ea9cb2-959a-4df1-8d3f-8e8554db4925 /home     ext4   defaults       1 2
UUID=238e532b-250c-4a80-87a3-3aecc9715795 /tmp      ext4   defaults       1 2
UUID=03df5f97-5c88-4883-97f1-5091940fa30e swap      swap   defaults       0 0
tmpfs                                     /tmp      tmpfs  defaults       0 0
tmpfs                                     /dev/shm  tmpfs  defaults       0 0
devpts                                    /dev/pts  devpts gid=5,mode=620 0 0
sysfs                                     /sys      sysfs  defaults       0 0
proc                                      /proc     proc   defaults       0 0


Edite el archivo /etc/fstab:

vi /etc/fstab

Opciones noatime y nodiratime (eliminar tiempos de acceso).
Es la forma más rápida y fácil, de lograr mejoras en el desempeño. Esta opción impide se actualice los tiempos de acceso de los inodos (nodos índice), los cuales realmente son poco utilizados por la mayoría de los usuarios. Esto permite mejor desempeño en servidores de noticias, servidores de archivos, servidores FTP y servidores HTTP, pues permite un más rápido acceso hacia el sistema de archivos. En computadoras portátiles permite reducir, de manera considerable, la cantidad de procesos de E/S o Entrada y Salida (I/O o Input/Output), del disco duro. Equivale a utilizar chattr +A, pero aplicado a todos los datos de la partición. La opción nodiratime, que elimina los tiempos de acceso de los directorios, complementa a la opción noatime.

En el siguiente ejemplo, se configurará la opción noatime para el volumen lógico correspondiente a /var/www en el archivo /etc/fstab.

/dev/mapper/vg_01-LogVol03  /var/www  ext4  defaults,noatime,nodiratime  1 2

Opción commit (consignación de cambios).
Esta opción controla el tiempo que se utilizará entra cada operación sincronización (sync) de datos y metadatos en una partición. El tiempo predeterminado es de 5 segundos. Puede incrementarse ligeramente para mejorar el desempeño, tomando en cuenta que si se específica demasiado tiempo y ocurre una interrupción de energía antes de hacer una operación de sincronización (sync), se perderán los datos más recientes con los que se haya trabajado. Esta opción sólo se recomienda si se dispone de un sistema de respaldo de energía confiable.

En el siguiente ejemplo, se configurará la opción commit con el valor equivalente a 8 segundos para el volumen lógico correspondiente a /var/www en el archivo /etc/fstab.

/dev/mapper/vg_01-LogVol03  /var/www  ext4  defaults,noatime,nodiratime,commit=30  1 2

Opción data (datos).
Nota: Debido a que se debe desmontar y volver a montar para aplicar los cambios, se requiere que la partición a optimizar esté sin utilizar, por lo cual se recomienda realizar los procedimiento desde un disco de rescate o bien iniciando el sistema en nivel de ejecución 1 (mono-usuario) o bien realizar las modificaciones y reiniciar el sistema.

Esta opción permite tres posibles valores:

  • ordered: Es el valor predeterminado. Escribe los datos asociados a los metadatos primero en el sistema de archivos antes de hacerlo en el registro por diario. Si la prioridad es garantizar la integridad de datos o bien se carece de un sistema de respaldo de energía confiable, es la opción que debe utilizarse. 
  • journal: Es lo opuesto a ordered. Obliga a escribir primero los datos en el registro por diario y luego en el sistema de archivos, por lo cual utiliza un registro por diario más grande y el cual, por lo tanto, demora más tiempo en recuperarse en caso de una falla del sistema o interrupción de energía. Éste es, evidentemente, el método más lento en la mayoría de los casos, salvo que se realicen operaciones de lectura y escritura, al mismo tiempo, como ocurre con las bases de datos. 
  • writeback: Hace que el sistema de archivos se comporte de manera similar a XFS. Sin preservar el ordenamiento al escribir en el disco, de modo que las consignaciones de cambios (commits) en el registro por diario puede ocurrir antes de la escritura en el sistema de archivos. Este método es el más rápido porque sólo los metadatos se almacenan en el registro por diario, pero puede ocasionar que se muestren datos viejos después de una falla del sistema o interrupción de energía. Sólo se recomienda si se dispone de un sistema de respaldo de energía confiable o bien si en la partición configurada con este formato de registro por diario hay cambios poco frecuentes en los datos (como el caso de /boot, /, /usr, /opt, /usr/local, y, en algunos, escenarios para /var/www) o bien particiones para temporales o caches (como /tmp, /var/tmp y /var/cache. Poco recomendado para particiones donde hay cambios frecuentes en los datos almacenados, como ocurre con /home o /var, /var/lib o /var/spool.

Edite el archivo /etc/fstab:

vi /etc/fstab

En el siguiente ejemplo se configurará en el archivo /etc/fstab el volumen lógico correspondiente a /var/www con la opción data con el valor writeback y el volumen lógico correspondiente a /var/lib con la opción data y el valor journal.

/dev/mapper/vg_01-LogVol03   /var/www   ext4   defaults,data=writeback    1 2
/dev/mapper/vg_01-LogVol04   /var/lib   ext4   defaults,data=journal      1 2


Si se utiliza CentOS 6, cualquier versión reciente de Fedora™ o Red Hat™ Enterprise Linux 6, el formato del registro por diario se actualiza automáticamente al reiniciar el sistema o bien tras desmontar y volver a montar el sistema de archivos que se haya modificado. Para las versiones anteriores de estos sistemas operativos, antes de desmontar y volver a montar o bien reiniciar el sistema, es necesario convertir los registros por diario a su nuevo formato utilizando el mandato tune2fs. En el siguiente ejemplo se cambia el formato del registro por diario writeback al volumen lógico /dev/mapper/vg_01-LogVol0 que correspondería al directorio /var/www del ejemplo anterior:

tune2fs -o journal_data_writeback /dev/mapper/vg_01-LogVol03

En el caso donde se desea cambiar el formato del registro por diario a journal, considerando el ejemplo descrito arriba, donde el volumen lógico /dev/mapper/vg_01-LogVol04 corresponde al directorio /var/lib, se ejecutaría algo similar a lo siguiente:

tune2fs -o journal_data /dev/mapper/vg_01-LogVol04

Para aplicar los cambios, sin correr el riesgo de reiniciar con errores de sintaxis en el archivo /etc/fstab que impedirían montar las particiones configuradas, asumiendo que el sistema está en el nivel de ejecución 1 (mono-usuario), se puede utilizar el mandato umount para desmontar la partición a modificar y posteriormente el mandato mount para volver a montarla. Ejemplos:

umount /var/www
umount /var/lib
mount /var/www
mount /var/lib


Utilizar el mandato mount con la opción -o remount siempre devolverá un error de opción incorrecta. Esta es la razón por la cual se desmontan y montan las particiones, para cambiar el tipo de registro por diario de las particiones.

Si lo anterior devuelve el símbolo de sistema sin errores, significa que las opciones se aplicaron correctamente y que el sistema puede ser reiniciado con toda seguridad en el momento que se considere apropiado.

Para revertir el cambio y volver a utilizar el formato ordered, se edita nuevamente el archivo /etc/fstab:

vi /etc/fstab

Y se elimina la opción data y su valor correspondiente del archivo /etc/fstab:

/dev/mapper/vg_01-LogVol03   /var/www   ext4   defaults               1 2
/dev/mapper/vg_01-LogVol04   /var/lib   ext4   defaults               1 2


Y se ejecuta el mandato tune2fs con la opción -o y el valor journal_data_ordered y el volumen lógico o partición como argumento. En el siguiente ejemplo se regresa al formato ordered a los volúmenes lógicos de los ejemplos anteriores:

tune2fs -o journal_data_ordered /dev/mapper/vg_01-LogVol03
tune2fs -o journal_data_ordered /dev/mapper/vg_01-LogVol04


Para aplicar los cambios, sin correr el riesgo de reiniciar con errores de sintaxis en el archivo /etc/fstab que impedirían montar las particiones configuradas, asumiendo que el sistema está en el nivel de ejecución 1 (mono-usuario), se puede utilizar el mandato umount para desmontar la partición a modificar y posteriormente el mandato mount para volver a desmontarlas. Ejemplos:

umount /var/www
umount /var/lib
mount /var/www
mount /var/lib


Convirtiendo particiones de Ext3 a Ext4.
En CentOS 6, versiones recientes de Fedora™ y Red Hat Enterprise Linux 6 el formato predeterminado en las particiones es Ext4, por lo cual es innecesario convertir de Ext3 a Ext4.

Ext4 ha demostrado ser un sistema de archivos con mucho mejor desempeño que Ext3. Si sólo se necesita hacer pruebas, es posible montar una partición Ext3 como si fuese Ext4, modificando el archivo /etc/fstab, aunque se carecerá de muchas de las mejoras de Ext4.

Instalando los paquetes correspondientes, CentOS 5.5 y versiones posteriores, incluye el soporte necesario para convertir al formato Ext4 las particiones Ext3, preservando los datos originales en el sistema de archivos, con la única restricción de que jamás se deberá convertir a Ext4 las particiones que correspondan /boot y /, debido a que en CentOS 5 y Red Hat Enterprise Linux 5 la versión de Grub, el gestor de arranque, carece de soporte para iniciar desde particiones Ext4.

Es muy importante realizar un respaldo de información relevante antes de proceder, por si acaso algo saliese mal.. Si se utiliza CentOS 5 o Red Hat Enterprise Linux 5, jamás se deben convertir a Ext4 las particiones que correspondan a /boot y /.

En CentOS 5 o Red Hat Enterprise Linux 5, para poder utilizar el formato Ext4 en cualquier otra partición, se requiere que el sistema tenga instalado el paquete e4fsprogs:

yum -y install e4fsprogs

Este paquete incluye las herramientas necesarias para gestionar particiones Ext4, como son e4fsck, e4label, mke4fs, mkfs.ext4 y dumpe4fs, entre otras herramientas.

A partir de este punto y con el objetivo de realizar pruebas, sólo será necesario editar el archivo /etc/fstab y modificar la configuración de cualquier partición (excepto las que correspondan a /boot y /) y cambiar ext3 por ext4. Hasta aquí, es posible revertir el cambio volviendo a editar el archivo /etc/fstab y volviendo a definir ext3 como formato de la partición modificada.

Para convertir una partición por completo a Ext4, lo cual haría que de modo irreversible jamás se pueda volver a montar como Ext3, debe desmontarse primero la partición a convertir y posteriormente utilizar el mandato tune4fs con las opciones -O extents,uninit_bg,dir_index. En el siguiente ejemplo se aplica el mandato tune4fs a la partición /dev/sda7, que correspondería a /tmp, para convertirla a Ext4.

umount /tmp

tune4fs -O extents,uninit_bg,dir_index /dev/sda7

Utilice el mandato fsck.ext4 para verificar el sistema de archivos de la partición y así completar los cambios necesario. El mandato fsck.ext4 debe utilizarse con las opciones -fyD (forzar verificación, contestar si a todas las modificaciones necesarias y optimizar directorios).

fsck.ext4 -fyD /dev/sda7

Si la partición está en uso, como sería el caso de las correspondientes a /usr y/o /var, será necesario hacer lo anterior desde un disco vivo o bien un disco de rescate. El modo de rescate del disco de instalación de CentOS, versión 5.5 en adelante, incluye también soporte básico para Ext4, aunque carece de soporte para convertir particiones de Ext3 a Ext4 a través del mandato tune2fs y carece de mandato tune4fs. Por tanto, el intérprete de mandatos del modo de rescate del disco de instalación de CentOS 5.5 sólo permitirá verificar y reparar, particiones Ext4 a través del mandato fsck.ext4.

En el archivo /etc/fstab se reemplaza LABEL=/tmp por el nombre real del dispositivo y ext3 por ext4.

LABEL=/               /                       ext3    defaults        1 1
LABEL=/boot           /boot                   ext3    defaults        1 2
/dev/sda7             /tmp                    ext4    defaults        1 2
LABEL=SWAP-hda3       swap                    swap    defaults        0 0
tmpfs                 /dev/shm                tmpfs   defaults        0 0
devpts                /dev/pts                devpts  gid=5,mode=620  0 0
sysfs                 /sys                    sysfs   defaults        0 0
proc                  /proc                   proc    defaults        0 0


Ext4 utiliza UUID (Universally Unique Identifier o Identificador Universalmente Único) en lugar de etiquetas. El UUID se puede determinar utilizando el mandato blkid del siguiente modo:

blkid /dev/sda7

Lo cual devolvería algo similar a lo siguiente:

/dev/sda7: LABEL="/tmp" UUID="238e532b-250c-4a80-87a3-3aecc9715795" TYPE="ext4"

Con esta información, el archivo /etc/fstab quedaría del siguiente modo:

LABEL=/                                     /       ext4   defaults   1 1
LABEL=/bot                                  /boot   ext4   defaults   1 2
LABEL=/home                                 /home   ext4   defaults   1 2
UUID=238e532b-250c-4a80-87a3-3aecc9715795   /tmp    ext4   defaults   1 2
LABEL=SWAP-sda3                             swap    swap   defaults   0 0
tmpfs                 /dev/shm              tmpfs   defaults          0 0
devpts                /dev/pts              devpts  gid=5,mode=620    0 0
sysfs                 /sys                  sysfs   defaults          0 0
proc                  /proc                 proc    defaults          0 0


Monte de nuevo la partición.

mount /tmp

Ext3 utiliza una cartografía de mapas de bits. Ext4 se caracteriza por el uso de extents. Para completar el procedimiento, hay que migrar los archivos y directorios de la partición para que utilicen extents. Los archivos se pueden ir migrando con las subsecuentes escrituras en disco, pero mucho del contenido estático, como binarios y bibliotecas compartidas, pueden pasar meses antes de poder ser convertidos.

Una forma de convertir todo de una vez, es utilizar el mandato chattr para añadir el atributo de extents a todos los archivos y directorios de una partición en particular.

find /tmp -xdev -type f -print0 | xargs -0 chattr +e
find /tmp -xdev -type d -print0 | xargs -0 chattr +e


Desmonte de nuevo la partición.

umount /tmp

Con la finalidad de prevenir cualquier problema, vuelva a verificar la partición.

fsck.ext4 -fyD /dev/sda7

Para finalizar el procedimiento, monte de nuevo la partición.

mount /tmp

Eliminando el registro por diario (journal) de Ext4.
Advertencias.
Este procedimiento aplica exclusivamente a las particiones con formato Ext4. El formato Ext3 carece de soporte para funcionar sin registro por diario.

Eliminar el registro por diario implica perder la tecnología lo que garantiza la integridad de los datos de una partición en caso de una interrupción de energía o una falla general del sistema. Sólo se recomienda eliminar el registro por diario en los casos donde se dispone de un buen respaldo de energía (equipos portátiles y ultra-portátiles, por ejemplo), un sistema operativo estable, y/o se tienen particiones asignadas a directorios donde la información es poco relevante (como /tmp, /var/tmp o /var/cache). Este procedimiento está totalmente contraindicado en servidores o bien donde se requiera una garantía absoluta de integridad de datos.

Hay que considerar además que la mejoría obtenida puede ser apenas perceptible, y, muy probablemente, sólo amerite eliminar el registro por diario en particiones en unidades de estado sólido (SSD).

Es importante también realizar un respaldo de información relevante antes de proceder, por si acaso algo saliese mal..

Procedimientos.
Asumiendo que se dispone de una partición /dev/sda7, que en el ejemplo corresponde a /tmp, que fue previamente convertida a Ext4, utilizando el método descrito en este mismo documento o bien que ya tiene formato Ext4, se debe desmontar la partición:

umount /tmp

Para eliminar el registro por diario de la partición /dev/sda7 en CentOS 5 o Red Hat Enterprise Linux 5, se requiere ejecutar el mandato tune4fs, de la siguiente forma:

tune4fs -O ^has_journal /dev/sda7

Para eliminar el registro por diario de la partición /dev/sda7 en CentOS 6 o Red Hat Enterprise Linux 6, se requiere ejecutar el mandato tune2fs, de la siguiente forma:

tune2fs -O ^has_journal /dev/sda7

El símbolo ^ (acento circunflejo) significa que se elimina una opción. En este caso la opción eliminada fue has_journal, que es las responsable del registro por diario.

Sin importar la versión de sistema operativo o anterior requiere utilizar en seguida el mandato fsck, con las opciones -pDf (reparar automáticamente lo que sea necesario y que prescinda de interacción humana, optimizar re-ordenando directorios y forzar verificación) a fin de realizar correcciones importantes e indispensables en el sistema de archivos.

fsck.ext4 -pDf /dev/sda7

Eliminar el registro por diario de una partición ext4 hace que irremediablemente sea imposible leer el UUID de la partición, por lo cual invariablemente hay que editar el archivo /etc/fstab y establecer el nombre real del dispositivo en lugar del UUID:

LABEL=/               /                       ext3    defaults        1 1
LABEL=/boot           /boot                   ext3    defaults        1 2
/dev/sda7             /tmp                    ext4    defaults        1 2
tmpfs                 /dev/shm                tmpfs   defaults        0 0
devpts                /dev/pts                devpts  gid=5,mode=620  0 0
sysfs                 /sys                    sysfs   defaults        0 0
proc                  /proc                   proc    defaults        0 0
LABEL=SWAP-hda3       swap                    swap    defaults        0 0


El procedimiento concluye una vez modificado el archivo /etc/fstab. Vuelva a montar la partición para verificar que todo funcione correctamente.

mount /tmp

La mejoría será apenas perceptible, pero brindará el máximo rendimiento posible para el sistema de archivos Ext4, superando incluso el desempeño en cuanto a velocidad de Ext2.

En un equipo con una partición /tmp con registro por diario y la misma partición /tmp, sin registro por diario, la escritura de 1 GB de información demoró lo siguiente:
/tmp con registro por diario   

real    0m9.796s
user    0m0.444s
sys    0m4.441s


/tmp sin registro por diario   

real    0m8.978s
user    0m0.487s
sys    0m3.811s


Como pude verse, la diferencia es muy poca, pero significativa.

En el dado caso que se quiera volver a utilizar el registro por diario, sólo basta con volver a iniciar con el disco vivo, abrir una terminal y ejecutar lo siguiente.

su -l
umount /home
tune2fs -O has_journal /dev/sda7
fsck -pDf /dev/sda7
mount /home


Bibliografía.
http://www.debian-administration.org/articles/643

Autor: Joel Barrios Dueñas
Correo electrónico: darkshram en gmail punto com
Sitio de Red: http://www.alcancelibre.org/
Jabber ID: darkshram@jabber.org
Creative Commons Reconocimiento-NoComercial-CompartirIgual 2.1

Tomado de: http://www.alcancelibre.org/staticpages/index.php/como-optimizar-ext3

No hay comentarios:

Publicar un comentario