El blog del Pheriko y Unix/Linux!!!

Centos 5:Xen PCI Passthrough USB

2011-12-29T12:59:00.000-08:00

Hola, existen ocaciones donde necesitamos que nuestra maquina virtual pueda hacer uso de puertos como el USB, en mi caso de nuevo necesito que mi hvm pueda yo conectarle una memoria USB para que un software especifico funcione.

El sistema que maneja recursos humanos que es muy usando en la empresas grandes llamado Tress hace uso de una memoria USB tipo HASP como candado de seguridad.

Entonces si deseamos virtualizar el servidor donde se ejecuta el Tress necesitamos este opcion disponible en nuestra HVM.

Pase varias semanas batallando esto, ya que uno se enfrenta a distintos obstaculos, entre ellas la mas critica y dificil que encontre:

Falta de documentacion por parte de los fabricantes tanto de placas madres como de procesadores.

Por que comento esto de los fabricantes de placas madres?, he logrado esto con 2 placas distintas:

Una tipo desktop:

MoBo: SABERTOOTH+990FX
Procesador: AMD Athlon II 640

Dicen los de soporte de la MoBo que si esta habilitada la opcion, pero nunca la encontre, me comunique con ellos y dicen que no pueden arreglar el BIOS.

AMD esta en las mismas, la doc no dice nada de este dato.

Para no perder el chip me fui por la que sigue:

MoBo:Asus M4A89TD PRO/USB3
Procesador: AMD Athlon II 640

En esta si aparece la opcion en el BIOS para habilitar esta funcion, probe Xen 4.1.1 de gitco y gracias a el cielo que Xen me dio el mensaje esperado:

(XEN) I/O virtualisation enabled
(XEN) I/O virtualisation for PV guests disabled

Ya con el simple hecho de que nos de este mensaje ya es ventaja, no me interesa que mi PV no pueda ya que no tengo nada en ellas que lo requiera, bien en la 1er placa actualice el BIOS hasta la ultima version y nada de nada asi que no quice perder mas mi tiempo, por ello mejor me fui por la segura.

Esto me funciono en Centos 5.x, Xen 3.4.1,4.1 sin problemas, algo que note es que solo la v 1.1 del USB fue soportada, y las versiones de windows:

XP Pro xp3
Windows 7 Pro

Otro detalle fue que windows 7, probe varias memorias USB y algunas si funcionaron otras no, pero lo que mas llamo la atencion que la memoria HASP que un programa llamado LabelView de www.teklynx.com no funciono.

Pero mi plan era que el software llamado: Darwin de www.vanguardiatec.com funcionara y.... funciono, usa igual que el anterior una memoria HASP USB, entonces en este momento lo estan usando usando sin problemas.

Ahora la siguiente tarea que encontre fue, puedo virtualizar windows 2003(sin problemas) y que tenga soporte de USB?

En este caso ya no estamos hablando de un equipo tipo desktop, aqui ya es una placa servidor, siempre estas van a tener mejor electronica que una desktop por ello las separan.

Este es el equipo de SuperMicro:

SuperServer 5026T-TB

Siempre hemos sido amantes de esta marca, no le pide nada a Dell, HP, IBM, es mas economica y se codea con ellos, la diferencia que aun en Mexico no existe una distribucion directa, todo viene de USA.

Haste eso que el soporte es excelente y no tienes pasar por una PBX que hace una infinidad de preguntas y siempre estan dispuestos a ayudarte.

El procesador es una Intel Xeon E5649 con memoria ECC 1333Mhz.

Dice la doc de Xen que tanto el MoBo como el CHIP deben tener soporte para que esta operacion funcione, por parte de la MoBo habia soporte, la doc de Intel como todas las demas, hasta AMD carece de informacion detallada.

Me comunique via char con el soporte de Intel, y el hizo lo mismo que uno del ambito haria antes de preguntar, leer la documentacion del chip, ahi no venia nada al respecto, espere un poco y me dice "No tiene soporte", ok gracias.

Entonces, ya era cuestion de probar por mi cuenta, por que en la lista de Xen, alguien comento que tenia algunos servidores con el chips de la familia 5600 y aparecia que si le aparecia el mensaje en su consola de:

(XEN) I/O virtualisation enabled

Pero no mostraba que chips, por ello no quedo otra que mancharme las manos.

Entonces ya fue mucho rollo, vamos a ver como habilitar esto en Xen:

NOTA1: Este procedimiento es igual para todos los chips o MoBo.

NOTA2: Xen 4.x no necesita el paso 1, ya viene por default.

1; Si usan Xen anterior a 4.x deben habilitar la opcion en su kernel asi:

kernel /xen.gz-3.4.3 dom0_max_vcpus=2 dom0_vcpus_pin dom0_mem=1024MB iommu=1

Xen 4.x ya lo tiene.

Reiniciar el server.

2; Asegurarse antes de nada que aparezca el mensaje esperado cuando ejecuten el comando: xen dmesg.

(XEN) I/O virtualisation enabled

Si no aparece esto, ni le sigan.

2; Detectar la direccion de nuestro puerto USB.

Aqui estoy hablando de un puerto USB, pero aplica a los puertos que desean enviar, video, paralelo, etc, etc.

Ahora como puedo yo saber cual es la direccion de una puerto USB especifico?

Existe un comando poco usado llamado:

udevmonitor

Este comando lo que hace es monitorear los puertos para ver en consola que estamos conectando, cuando conectamos una memoria USB aparece esto en pantalla:

UEVENT[1325036667.645024] add@/devices/pci0000:00/0000:00:1a.7/usb1/1-2
UEVENT[1325036667.645051] add@/devices/pci0000:00/0000:00:1a.7/usb1/1-2/usbdev1.3_ep00
UEVENT[1325036667.645235] add@/devices/pci0000:00/0000:00:1a.7/usb1/1-2/1-2:1.0
UEVENT[1325036667.645245] add@/class/scsi_host/host5
UEVENT[1325036667.645251] add@/devices/pci0000:00/0000:00:1a.7/usb1/1-2/1-2:1.0/usbdev1.3_ep01
UEVENT[1325036667.645257] add@/devices/pci0000:00/0000:00:1a.7/usb1/1-2/1-2:1.0/usbdev1.3_ep82
UEVENT[1325036667.645264] add@/devices/pci0000:00/0000:00:1a.7/usb1/1-2/1-2:1.0/usbdev1.3_ep83
UEVENT[1325036667.645270] add@/class/usb_device/usbdev1.3
UDEV [1325036667.656886] add@/devices/pci0000:00/0000:00:1a.7/usb1/1-2
UDEV [1325036667.764765] add@/devices/pci0000:00/0000:00:1a.7/usb1/1-2/usbdev1.3_ep00
UDEV [1325036668.179955] add@/devices/pci0000:00/0000:00:1a.7/usb1/1-2/1-2:1.0
UDEV [1325036668.389248] add@/class/scsi_host/host5
UDEV [1325036668.400871] add@/devices/pci0000:00/0000:00:1a.7/usb1/1-2/1-2:1.0/usbdev1.3_ep82
UDEV [1325036668.400884] add@/devices/pci0000:00/0000:00:1a.7/usb1/1-2/1-2:1.0/usbdev1.3_ep83
UDEV [1325036668.400891] add@/devices/pci0000:00/0000:00:1a.7/usb1/1-2/1-2:1.0/usbdev1.3_ep01
UDEV [1325036668.546698] add@/class/usb_device/usbdev1.3
UEVENT[1325036672.644024] add@/devices/pci0000:00/0000:00:1a.7/usb1/1-2/1-2:1.0/host5/target5:0:0/5:0:0:0
UEVENT[1325036672.644042] add@/class/scsi_disk/5:0:0:0
UEVENT[1325036672.770313] add@/block/sdg
UEVENT[1325036672.770326] add@/class/scsi_device/5:0:0:0
UEVENT[1325036672.770333] add@/class/scsi_generic/sg7
UDEV [1325036672.894515] add@/devices/pci0000:00/0000:00:1a.7/usb1/1-2/1-2:1.0/host5/target5:0:0/5:0:0:0
UDEV [1325036673.105483] add@/class/scsi_disk/5:0:0:0
UDEV [1325036673.108784] add@/class/scsi_generic/sg7
UDEV [1325036673.314546] add@/class/scsi_device/5:0:0:0
UDEV [1325036673.399994] add@/block/sdg

Vamos buscar nuestro puerto:

UEVENT[1325036667.645024] add@/devices/pci0000:00/0000:00:1a.7/usb1/1-2

Ahora vamos a compararlo con el listado de Centos:

lspci

00:00.0 Host bridge: Intel Corporation 5520/5500/X58 I/O Hub to ESI Port (rev 22)
00:01.0 PCI bridge: Intel Corporation 5520/5500/X58 I/O Hub PCI Express Root Port 1 (rev 22)
00:03.0 PCI bridge: Intel Corporation 5520/5500/X58 I/O Hub PCI Express Root Port 3 (rev 22)
00:05.0 PCI bridge: Intel Corporation 5520/X58 I/O Hub PCI Express Root Port 5 (rev 22)
00:07.0 PCI bridge: Intel Corporation 5520/5500/X58 I/O Hub PCI Express Root Port 7 (rev 22)
00:09.0 PCI bridge: Intel Corporation 5520/5500/X58 I/O Hub PCI Express Root Port 9 (rev 22)
00:14.0 PIC: Intel Corporation 5520/5500/X58 I/O Hub System Management Registers (rev 22)
00:14.1 PIC: Intel Corporation 5520/5500/X58 I/O Hub GPIO and Scratch Pad Registers (rev 22)
00:14.2 PIC: Intel Corporation 5520/5500/X58 I/O Hub Control Status and RAS Registers (rev 22)
00:14.3 PIC: Intel Corporation 5520/5500/X58 I/O Hub Throttle Registers (rev 22)
00:16.0 System peripheral: Intel Corporation 5520/5500/X58 Chipset QuickData Technology Device (rev 22)
00:16.1 System peripheral: Intel Corporation 5520/5500/X58 Chipset QuickData Technology Device (rev 22)
00:16.2 System peripheral: Intel Corporation 5520/5500/X58 Chipset QuickData Technology Device (rev 22)
00:16.3 System peripheral: Intel Corporation 5520/5500/X58 Chipset QuickData Technology Device (rev 22)
00:16.4 System peripheral: Intel Corporation 5520/5500/X58 Chipset QuickData Technology Device (rev 22)
00:16.5 System peripheral: Intel Corporation 5520/5500/X58 Chipset QuickData Technology Device (rev 22)
00:16.6 System peripheral: Intel Corporation 5520/5500/X58 Chipset QuickData Technology Device (rev 22)
00:16.7 System peripheral: Intel Corporation 5520/5500/X58 Chipset QuickData Technology Device (rev 22)
00:1a.0 USB Controller: Intel Corporation 82801JI (ICH10 Family) USB UHCI Controller #4
00:1a.1 USB Controller: Intel Corporation 82801JI (ICH10 Family) USB UHCI Controller #5
00:1a.2 USB Controller: Intel Corporation 82801JI (ICH10 Family) USB UHCI Controller #6
00:1a.7 USB Controller: Intel Corporation 82801JI (ICH10 Family) USB2 EHCI Controller #2
00:1c.0 PCI bridge: Intel Corporation 82801JI (ICH10 Family) PCI Express Root Port 1
00:1c.1 PCI bridge: Intel Corporation 82801JI (ICH10 Family) PCI Express Port 2
00:1d.0 USB Controller: Intel Corporation 82801JI (ICH10 Family) USB UHCI Controller #1
00:1d.1 USB Controller: Intel Corporation 82801JI (ICH10 Family) USB UHCI Controller #2
00:1d.2 USB Controller: Intel Corporation 82801JI (ICH10 Family) USB UHCI Controller #3
00:1d.7 USB Controller: Intel Corporation 82801JI (ICH10 Family) USB2 EHCI Controller #1
00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev 90)
00:1f.0 ISA bridge: Intel Corporation 82801JIR (ICH10R) LPC Interface Controller
00:1f.2 IDE interface: Intel Corporation 82801JI (ICH10 Family) 4 port SATA IDE Controller #1
00:1f.3 SMBus: Intel Corporation 82801JI (ICH10 Family) SMBus Controller
00:1f.5 IDE interface: Intel Corporation 82801JI (ICH10 Family) 2 port SATA IDE Controller #2
06:00.0 Ethernet controller: Intel Corporation 82574L Gigabit Network Connection
07:00.0 Ethernet controller: Intel Corporation 82574L Gigabit Network Connection
08:01.0 SCSI storage controller: LSI Logic / Symbios Logic 53c1010 66MHz Ultra3 SCSI Adapter (rev 01)
08:04.0 VGA compatible controller: Matrox Graphics, Inc. MGA G200eW WPCM450 (rev 0a)

Ya dimos y confirmamos que es la direccion que necesitamos.

3; Habilitar el modulo pciback en el kernel.

Este modulo ni RedHat ni Centos lo tienen compilado en el kernel,xen para ello tenemos 2 opciones:

A) Agregarlo
B) Compilar el kernel xen y habilitarlo.

Yo me voy por la mas rapida la A, para esto tenemos que hacer lo siguente.

1.1 Esconder del Host el puerto requerido, ya tenemos la direccion que necesitamos, para esto modificamos el archivo modprobe.conf que esta en /etc y agregamos esta linea a el final:

options pciback hide=(00:1a.7)

Salvamos y salimos, como podran ver es la direccion que obtuvimos anteriormente cuando ejecutamos udevmonitor.

1.2 Agregamos el modulo a nuestro modulo initrd para que cada que reinicie lo cargue antes de darnos la consola del poder.

Nos vamos a el folder boot:

cd /boot

NOTA 3: Por seguridad hacer una copia del initrd actual por si algo sale mal:

cp initrd-$(uname -r).img initrd-$(uname -r).img-default

Ahora si a agregar el modulo:

mkinitrd -f --preload=pciback /boot/initrd-$(uname -r).img $(uname -r)

Como podran ver hemos agregado el modulo pciback para que cuando arranque el kernel lo tenga listo, asi cuando ejecute el modprobe.conf ya pueda el esconder nuestro puerto y quede libre para nuestra hvm, de lo contrario el host se negara a soltar el puerto.

1.3 Decirle a Xen que puerto el va a tomar control para entregar a la HVM que lo necesite.

Para esto vamos a buscar otro dato que necesitamos de nuestro hw, ya tenemos la direccion del puerto, pero Xen requiere otro mas de ese puerto, y este lo obtenemos ejectando el comando lspci -n, buscamos nuestro hw id y buscamos este dato:

lspci -n

00:00.0 0600: 8086:3405 (rev 22)
00:01.0 0604: 8086:3408 (rev 22)
00:03.0 0604: 8086:340a (rev 22)
00:05.0 0604: 8086:340c (rev 22)
00:07.0 0604: 8086:340e (rev 22)
00:09.0 0604: 8086:3410 (rev 22)
00:14.0 0800: 8086:342e (rev 22)
00:14.1 0800: 8086:3422 (rev 22)
00:14.2 0800: 8086:3423 (rev 22)
00:14.3 0800: 8086:3438 (rev 22)
00:16.0 0880: 8086:3430 (rev 22)
00:16.1 0880: 8086:3431 (rev 22)
00:16.2 0880: 8086:3432 (rev 22)
00:16.3 0880: 8086:3433 (rev 22)
00:16.4 0880: 8086:3429 (rev 22)
00:16.5 0880: 8086:342a (rev 22)
00:16.6 0880: 8086:342b (rev 22)
00:16.7 0880: 8086:342c (rev 22)
00:1a.0 0c03: 8086:3a37
00:1a.1 0c03: 8086:3a38
00:1a.2 0c03: 8086:3a39
00:1a.7 0c03: 8086:3a3c
00:1c.0 0604: 8086:3a40
00:1c.1 0604: 8086:3a42
00:1d.0 0c03: 8086:3a34
00:1d.1 0c03: 8086:3a35
00:1d.2 0c03: 8086:3a36
00:1d.7 0c03: 8086:3a3a
00:1e.0 0604: 8086:244e (rev 90)
00:1f.0 0601: 8086:3a16
00:1f.2 0101: 8086:3a20
00:1f.3 0c05: 8086:3a30
00:1f.5 0101: 8086:3a26
06:00.0 0200: 8086:10d3
07:00.0 0200: 8086:10d3
08:01.0 0100: 1000:0021 (rev 01)
08:04.0 0300: 102b:0532 (rev 0a)

   Ahi lo tenemos, el dato que requiere Xen es: 8086:3a3c.

   Abrimos el archivo de Xen llamado /etx/xen/xend-pci-permissive.sxp

   Y nos queda asi:

###############################################################################
(unconstrained_dev_ids
     #('0123:4567:89AB:CDEF')
('8086:3a3c')
)

Viendo su archivo van a notar la diferencia, dice el doc que no es necesario, pero a mi me ha funcionado asi y no he tenido problema con mi HVM ni host.

1.4 Agregar el puerto a la configuracion de nuestra HVM, en este caso Windows XP:

pci = ["00:1a.7"]

Esto lo agregamos a el final del archivo.

4; Reiniciar servidor y a probar.

5; Arracamos nuestra maquina virtual, ya que este lista, le conectamos el USB y tenemos esto:

Imagen 1: Mostrando contenido del USB.

Imagen 2: Controlador de USB en Windows.

Imagen 3: Device Manager de Windows.

No he tenido exito con USB 2.0, pero para lo que lo he necesitado que son las HASP USB Keys me ha funcionado sin problemas.

OS probados y funcionando:

Windows XP Profesional
Windows 2003 Standard Edition
Windows 7 Profesional

Saludos.

Centos 5: Migrar MySQL 5.1 de Windows a Linux.

2011-11-22T10:29:00.001-08:00

Hola, me encontre con un problema cuando quise migrar una base de datos corriendo MySQL 5.1.x en Windows XP y la trate de migrar a MySQL 5.1 corriendo Centos 5.7.

La base de datos que me interesa es tipo InnoDB, entonces la manera tradicional es atraves del comando mysqldump asi:

mysqldump -f --opt --single-transaction nombre-bd > nombre-bd.sql -u root -h windowsxp-ip -p

Para regresarla:

mysql nombre-bd < nombre-bd.sql -p

Todo esto hecho desde el mismo servidor centos.

Bien ya tenemos nuestra bd, ahora es cuestion de reconfigurar nuestra app que este caso se ejecuta bajo Windows atraves de un ODBC, hecho lo anterior era cuestion de ejecutar el programa.

Pero para mi sorpresa no funciono, el programa empezo a marcar errorres, el odbc decia que todo bien, su test sin problemas, que estaba pasando?

Los logs son benditos, me vi en la necesidad de prender el log mysql, reinicie el servicio y a leer el log.

Lo que sucedia era que la app mandaba los querys a la base de datos en mayusculas, recordar que Unix/Linux son sensibles a las minusculas/mayusculas, siempre han operado asi.

Cuando yo corria el mismo query en la consola de mysql el me decia que encontraba la tabla dada, ahi venia el problema, MySQl windows cuando creo la base de datos la tablas las nombro con Myusculas-Minusculas, cuando mysqldump restaura las tablas en Centos lo hace todo con minusculas ya que asi opera el por default.

Y esto llevo a que la app tronara, lo que hice fue modificar un parametro general de MySQL en centos este:

lower_case_table_names = 1

Por default es 0, lo que hace este parametro es que cuando compara los nombres no verifica si son mayusculas, minusculas, etc, una reiniciada a el servidor, y listo, la app empezo a funcionar.

El parametro va en: /etc/my.cnf.

Saludos!!!

Windows 7: Como grabar en C: y otros directorios del sistema

2011-10-26T11:54:00.000-07:00

Me tope con una app que segun los de soporte me decian que el problema que tenia era que tenia problemas de permisos.

Ahora bien, hice lo necesario, aplique los permisos a el folder como ellos me indicaron y aun asi la aplicacion se rehuzo a instalarse.

De ahi, la persona de soporte me comento que iba a decirme como instalar la app a mano, segui sus instrucciones y nada.

Despues me dijo que iba a revisar con su maquina para ver el problema, me mando un correo y me dijo que haya con el la app funciono, probo en windows 7 32/64 y que todo bien, que el problema era la falta de permisos en mi maquina.

Entonces le pregunte, bien si dices que son por falta de permisos, dime donde los tengo que aplicar? Y claro que ni el sabia donde.

Analizando la app, es una hecha en vb6 aun, los dlls mas nuevos son del 2008, los demas son viejos.

El problema radica en que la app trata de instalar esos DLL en el folder C:\Windows\system32\ y claro que no le permite grabar los archivos.

La app fue hecha para buscar los DLL en system32 y no para correrlos localmente en el folder donde esta el ejecutable como el queria hacerle.

Bien, entonces descomprimi el folder, entre a el archivo CAB que tiene los DLL, y trate de copear todos los DLL a el system32 de mi Windows 7, BOOM, no dejo grabar ninguno.

Empece a investigar el problema, y note que mi usuario que se dice estar en el grupo de "Administrators" no lo es, Microsoft trata de engañarnos haciendonos creer que si lo somos, pero al final vivimos en el engaño.

Leyendo otros foros, habia uno donde nos indican esto, y existe una manera de habilitar el usuario "Administrator" que por default esta deshabilitado por seguridad.

Figura 1. Cuenta de Administrator.

Por default como indica la Figura 1, la cuenta esta deshabilitada.

Figura 2. Caracteristicas de la cuenta.

Ya solo, le quitan la palomita para habilitarla, Apply - Ok y listo.

Notaran que la flecha ya no aparece en el usuario, por seguridad esta cuenta si es la de Administrator que teniamos en XP/2000, la que usamos es una de usuario normal con privilegios extras.

Se deslogean y les aparecera la cuenta para logearse, no tiene password por default.

Una recomendacion que les hago, esta cuenta usenla para hacer aquellas cosas que su usuario normal no se los permite en mi caso:

Grabar archivos en el C:\windows\system32\ como los DL por ejemplo.

Ya lo hice, una vez terminada mi tarea, deshabilito de nuevo la cuenta y entro con mi usuario normal, ya que con el si puedo hacer todas mis labores excepto grabar los DLL de mi aplicacion X.

No abusen de esta cuenta, usenla cuando en realidad tengan problemas, esta forma de trabajar de Windows 7 no es mala, desgraciadamente ellos no proporcionan la informacion real, el foro donde lei todo esto ahi viene infinidad de gente que tuvo problemas parecidos a el mio, y varios de ellos indican que hasta hablaron con personas de soporte y aun asi ni ellos mismos lograron solucionar el problema, ni modo asi nos quieren tener y aparte nos cobran.

Recordar que la cuenta por default no tiene password, por ello usenla y cierrenla.

NOTA: Algo que note cuando entre con el usuario Administrator es que los compartidos dejaron de operar, no me he metido mas a fondo pero en cuanto regrese con mi usuario normal los compartidos volvieron a trabajar.

Saludos!!!

Centos 5.x: Xen arrancar DomU al iniciar sistema

2011-10-24T00:26:00.000-07:00

Existe una manera que me ha funcionado, la configuracion de las vm's se localiza en /etc/xen/, dentro de ese directorio hay otro de nombre auto.

Bien, para poder arracar mis vm's cada que por alguna razon necesito reiniciar Dom0(actualizaciones) es crear un soft link hacia ese folder para DomU, ejemplo:

ln -s /etc/xen/vm-1 /etc/xen/auto/vm-1

Listo, prueben y veran que su vm-1 cada que reinicien su dom0, saludos!!!

Xen 3.1/Xen 3.4.

MySQL 5.1: Reparar tablas MyISAM con mysqlcheck

2011-10-13T11:28:00.000-07:00

Bacula se nego a funcionar, la db es MySQL 5.1, el log de bacula es:

12-Oct 19:47 bacula-dir JobId 12396: Fatal error: sql_create.c:870 Lock Filename table Query failed: LOCK TABLES Filename write, batch write, Filename as f write: ERR=Table './bacula/Filename' is marked as crashed and last (automatic?) repair failed

Bueno, tenemos que reparar nuestras tablas, mysql nos proporciona varios comandos, entre ellos podemos tratar de compactar la bd completo o bien usar el comando: mysqlcheck para ver el estatus de las tablas y si necesitaramos reparar alguna tipo MYISAM esta el comando myisamchk.

NOTA: Recomendacion de MySQL, si van a reparar tablas es
altamente recomendable que el servicio este apagado por seguridad, de lo contrario atenganse a las consecuencias si algo sale mal, ya que si un usuario esta tratando de ingresar datos, aunque la tabla ya no se lo permita pero puede estar abierto el aputador a el archivo y luego el comando myisamchk tambien trata de hacer modificaciones, nomas imaginense que puede pasar?.

mysqlcheck

Si lo ejecutan solo, les va a dar todo su arsenal de parametros que soporta.

Bacula tiene varias tablas, todas son usando el engine: myisam.

Ahora vamos empezar por revisar la bd y que nos diga que tablas necesitan reparacion:

/var/lib/mysql/bacula/

 -rw-rw---- 1 mysql mysql       8710 Jun 27 00:28 BaseFiles.frm
-rw-rw---- 1 mysql mysql          0 Jun 27 00:28 BaseFiles.MYD
-rw-rw---- 1 mysql mysql       1024 Jun 27 00:28 BaseFiles.MYI
-rw-rw---- 1 mysql mysql       8604 Jun 27 00:28 CDImages.frm
-rw-rw---- 1 mysql mysql          0 Jun 27 00:28 CDImages.MYD
-rw-rw---- 1 mysql mysql       1024 Jun 27 00:28 CDImages.MYI
-rw-rw---- 1 mysql mysql       8764 Jun 27 00:28 Client.frm
-rw-rw---- 1 mysql mysql       1904 Jun 27 00:28 Client.MYD
-rw-rw---- 1 mysql mysql       3072 Jun 27 00:28 Client.MYI
-rw-rw---- 1 mysql mysql       8732 Jun 27 00:28 Counters.frm
-rw-rw---- 1 mysql mysql          0 Jun 27 00:28 Counters.MYD
-rw-rw---- 1 mysql mysql       1024 Jun 27 00:28 Counters.MYI
-rwxr-xr-x 1 mysql mysql         65 Nov 26  2010 db.opt
-rw-rw---- 1 mysql mysql       9290 Jun 27 00:28 Device.frm
-rw-rw---- 1 mysql mysql          0 Jun 27 00:28 Device.MYD
-rw-rw---- 1 mysql mysql       1024 Jun 27 00:28 Device.MYI
-rw-rw---- 1 mysql mysql       8806 Jun 27 00:28 File.frm
-rw-rw---- 1 mysql mysql 1756959048 Oct 12 22:34 File.MYD
-rw-rw---- 1 mysql mysql  777433088 Oct 12 22:34 File.MYI
-rw-rw---- 1 mysql mysql       8602 Jun 27 00:34 Filename.frm
-rw-rw---- 1 mysql mysql   69038080 Oct 12 18:15 Filename.MYD
-rw-rw---- 1 mysql mysql   75943936 Oct 12 19:10 Filename.MYI
-rw-rw---- 1 mysql mysql       8676 Jun 27 00:34 FileSet.frm
-rw-rw---- 1 mysql mysql       5104 Sep 14 19:20 FileSet.MYD
-rw-rw---- 1 mysql mysql       2048 Sep 26 06:28 FileSet.MYI
-rw-rw---- 1 mysql mysql       9618 Jun 27 00:34 Job.frm
-rw-rw---- 1 mysql mysql       9618 Jun 27 00:34 JobHisto.frm
-rw-rw---- 1 mysql mysql     167324 Jun 27 00:34 JobHisto.MYD
-rw-rw---- 1 mysql mysql      20480 Jun 27 00:34 JobHisto.MYI
-rw-rw---- 1 mysql mysql       8916 Jun 27 00:34 JobMedia.frm
-rw-rw---- 1 mysql mysql     423325 Oct 12 22:34 JobMedia.MYD
-rw-rw---- 1 mysql mysql     304128 Oct 12 22:34 JobMedia.MYI
-rw-rw---- 1 mysql mysql     334004 Oct 12 22:34 Job.MYD
-rw-rw---- 1 mysql mysql      39936 Oct 12 22:34 Job.MYI
-rw-rw---- 1 mysql mysql       8676 Jun 27 00:34 Location.frm
-rw-rw---- 1 mysql mysql       8881 Jun 27 00:34 LocationLog.frm
-rw-rw---- 1 mysql mysql          0 Jun 27 00:34 LocationLog.MYD
-rw-rw---- 1 mysql mysql       1024 Jun 27 00:34 LocationLog.MYI
-rw-rw---- 1 mysql mysql          0 Jun 27 00:34 Location.MYD
-rw-rw---- 1 mysql mysql       1024 Jun 27 00:34 Location.MYI
-rw-rw---- 1 mysql mysql       8660 Jun 27 00:34 Log.frm
-rw-rw---- 1 mysql mysql    5677120 Oct 12 22:34 Log.MYD
-rw-rw---- 1 mysql mysql     732160 Oct 12 22:34 Log.MYI
-rw-rw---- 1 mysql mysql      10453 Jun 27 00:34 Media.frm
-rw-rw---- 1 mysql mysql      11108 Oct 12 22:34 Media.MYD
-rw-rw---- 1 mysql mysql       4096 Oct 12 22:34 Media.MYI
-rw-rw---- 1 mysql mysql       8652 Jun 27 00:34 MediaType.frm
-rw-rw---- 1 mysql mysql        100 Jun 27 00:34 MediaType.MYD
-rw-rw---- 1 mysql mysql       2048 Jun 27 00:34 MediaType.MYI
-rw-r--r-- 1 root  root        6372 Jun 27 00:19 out.txt
-rw-rw---- 1 mysql mysql       8594 Jun 27 00:34 Path.frm
-rw-rw---- 1 mysql mysql       8600 Jun 27 00:34 PathHierarchy.frm
-rw-rw---- 1 mysql mysql          0 Jun 27 00:34 PathHierarchy.MYD
-rw-rw---- 1 mysql mysql       1024 Jun 27 00:34 PathHierarchy.MYI
-rw-rw---- 1 mysql mysql   16394220 Oct 12 19:17 Path.MYD
-rw-rw---- 1 mysql mysql   25443328 Oct 12 19:17 Path.MYI
-rw-rw---- 1 mysql mysql       8658 Jun 27 00:34 PathVisibility.frm
-rw-rw---- 1 mysql mysql          0 Jun 27 00:34 PathVisibility.MYD
-rw-rw---- 1 mysql mysql       1024 Jun 27 00:34 PathVisibility.MYI
-rw-rw---- 1 mysql mysql       9699 Jun 27 00:34 Pool.frm
-rw-rw---- 1 mysql mysql        240 Oct  9 23:17 Pool.MYD
-rw-rw---- 1 mysql mysql       3072 Oct 12 18:15 Pool.MYI
-rw-rw---- 1 mysql mysql       8656 Jun 27 00:34 Status.frm
-rw-rw---- 1 mysql mysql        640 Jun 27 00:34 Status.MYD
-rw-rw---- 1 mysql mysql       2048 Jun 27 00:34 Status.MYI
-rw-rw---- 1 mysql mysql       8644 Jun 27 00:34 Storage.frm
-rw-rw---- 1 mysql mysql        120 Jun 27 00:34 Storage.MYD
-rw-rw---- 1 mysql mysql       2048 Jun 27 00:34 Storage.MYI
-rw-rw---- 1 mysql mysql       8678 Jun 27 00:34 UnsavedFiles.frm
-rw-rw---- 1 mysql mysql          0 Jun 27 00:34 UnsavedFiles.MYD
-rw-rw---- 1 mysql mysql       1024 Jun 27 00:34 UnsavedFiles.MYI
-rw-rw---- 1 mysql mysql       8570 Jun 27 00:34 Version.frm
-rw-rw---- 1 mysql mysql          7 Jun 27 00:34 Version.MYD
-rw-rw---- 1 mysql mysql       1024 Jun 27 00:34 Version.MYI

O bien si analizamos toda la bd debemos darle el usuario/password del root, el nombre de la bd y el sabe donde buscarlo, vamos empezando por esta opcion:

bacula]# time mysqlcheck -a  -B bacula -p
Enter password:
bacula.BaseFiles                                   Table is already up to date
bacula.CDImages                                    Table is already up to date
bacula.Client                                      Table is already up to date
bacula.Counters                                    Table is already up to date
bacula.Device                                      Table is already up to date
bacula.File                                        Table is already up to date
bacula.FileSet                                     Table is already up to date
bacula.Filename
Error    : Table './bacula/Filename' is marked as crashed and last (automatic?) repair failed
Error    : Table 'Filename' is marked as crashed and last (automatic?) repair failed
error    : Corrupt
bacula.Job                                         Table is already up to date
bacula.JobHisto                                    Table is already up to date
bacula.JobMedia                                    Table is already up to date
bacula.Location                                    Table is already up to date
bacula.LocationLog                                 Table is already up to date
bacula.Log                                         Table is already up to date
bacula.Media                                       Table is already up to date
bacula.MediaType                                   Table is already up to date
bacula.Path                                        Table is already up to date
bacula.PathHierarchy                               Table is already up to date
bacula.PathVisibility                              Table is already up to date
bacula.Pool                                        Table is already up to date
bacula.Status                                      Table is already up to date
bacula.Storage                                     Table is already up to date
bacula.UnsavedFiles                                Table is already up to date
bacula.Version                                     Table is already up to date

real    0m2.297s
user    0m0.000s
sys     0m0.000s

Con el parametro -a le pedimos que revise rapidamente los estatus de cada tabla de la bd, es rapido y nos dice la condicion de la tabla. Me gusta ver el tiempo que tardan las tareas en ejecutarse, nos indica la condicion de nuestro equipo en lo personal cuando se trata de bd siempre deseo saber este dato.

Ahora vamos solictando mas detalle, que no revise el estatus si no que abra cada tabla y le realice una revision normal.

time mysqlcheck  --check -B bacula -p
Enter password:******
bacula.BaseFiles                                   OK
bacula.CDImages                                    OK
bacula.Client                                      OK
bacula.Counters                                    OK
bacula.Device                                      OK
bacula.File                                        OK
bacula.FileSet                                     OK
bacula.Filename
warning  : Table is marked as crashed and last repair failed
warning  : 1 client is using or hasn't closed the table properly
warning  : Size of indexfile is: 75943936      Should be: 14383104
error    : Size of datafile is: 69038080         Should be: 69038956
error    : Corruptbacula.Job                                         OK
bacula.JobHisto                                    OK
bacula.JobMedia                                    OK
bacula.Location                                    OK
bacula.LocationLog                                 OK
bacula.Log                                         OK
bacula.Media                                       OK
bacula.MediaType                                   OK
bacula.Path                                        OK
bacula.PathHierarchy                               OK
bacula.PathVisibility                              OK
bacula.Pool                                        OK
bacula.Status                                      OK
bacula.Storage                                     OK
bacula.UnsavedFiles                                OK
bacula.Version                                     OK

real    1m19.222s
user    0m0.000s
sys     0m0.000s

Ahi esta la tabla que esta danada de nuevo.

Pero que tal si ejecutamos la misma consulta pero agregamos el parametro -e que significa, revisa las tablas 100% sin importar el tiempo que tardes ("extendida").

time mysqlcheck  --check -e  -B bacula -p
Enter password:
bacula.BaseFiles                                   OK
bacula.CDImages                                    OK
bacula.Client                                      OK
bacula.Counters                                    OK
bacula.Device                                      OK
bacula.File                                        OK
bacula.FileSet                                     OK
bacula.Filename
warning  : Table is marked as crashed and last repair failed
warning  : 1 client is using or hasn't closed the table properly
warning  : Size of indexfile is: 75943936      Should be: 14383104
error    : Size of datafile is: 69038080         Should be: 69038956
error    : Corrupt
bacula.Job                                         OK
bacula.JobHisto                                    OK
bacula.JobMedia                                    OK
bacula.Location                                    OK
bacula.LocationLog                                 OK
bacula.Log                                         OK
bacula.Media                                       OK
bacula.MediaType                                   OK
bacula.Path                                        OK
bacula.PathHierarchy                               OK
bacula.PathVisibility                              OK
bacula.Pool                                        OK
bacula.Status                                      OK
bacula.Storage                                     OK
bacula.UnsavedFiles                                OK
bacula.Version                                     OK

real    2m8.610s
user    0m0.000s
sys     0m0.008s

Si ven el tiempo de ejecucion fue un poco mas.

MyIsamChk

Ya sabemos que tabla esta danada, ahora vamos a tratar de repararla, los archivos que este comando nos pide son los que tienen extension "MYI". asi que vamos a ejecutar el comando de la siguiente manera.

Si saben donde esta el archivo deben darle la ruta de el o bien se meten a el folder donde estan los archivos, en mi caso es:

/var/lib/mysql/bacula

Pero antes de vamos a apagar el servicio en lo que reparamos la tabla, claro esto lo hago ya despues de horas de trabajo, cuando se que a nadie le afecta si el servicio no esta operando.

service mysql stop

Ahora si, segun el comando tenemos 2 parametros a usar para la reparacion:

-r == repara de manera rapida, la mayor parte del tiempo funciona.
-o == repara al modo antiguo, este siempre funciona, es mas lento pero efectivo.

Yo hago uso del metodo antiguo por ello uso el parametro -o, tengo tiempo, nadie me esta esperando por el servicio asi que lo ejecuto:

time myisamchk -o Filename.MYI
- recovering (with keycache) MyISAM-table 'Filename.MYI'
Data records: 1409502
Found block that points outside data file at 69038076
Data records: 1409472

real    0m27.491s
user    0m19.417s
sys     0m0.384s

Bien parece que todo esta reparado, ahora si a levantar el servicio de nuevo.

service mysql start

De nuevo regresamos a el comando mysqlchk para revisar nuestra base de datos:

time mysqlcheck --check -e  -B bacula -p
Enter password:
bacula.BaseFiles                                   OK
bacula.CDImages                                    OK
bacula.Client                                      OK
bacula.Counters                                    OK
bacula.Device                                      OK
bacula.File                                        OK
bacula.FileSet                                     OK
bacula.Filename                                    OK
bacula.Job                                         OK
bacula.JobHisto                                    OK
bacula.JobMedia                                    OK
bacula.Location                                    OK
bacula.LocationLog                                 OK
bacula.Log                                         OK
bacula.Media                                       OK
bacula.MediaType                                   OK
bacula.Path                                        OK
bacula.PathHierarchy                               OK
bacula.PathVisibility                              OK
bacula.Pool                                        OK
bacula.Status                                      OK
bacula.Storage                                     OK
bacula.UnsavedFiles                                OK
bacula.Version                                     OK

real    4m56.098s
user    0m0.000s
sys     0m0.000s

Listo, asi es como debemos tener nuestras tablas, ahora si a seguir trabajando, saludos!!!

Centos 5: Virtualizando Windows con Xen 4.x.

2011-10-07T14:32:00.000-07:00

Ahora que ya logre que Xen 4.1.1 del repo de Gitco funcionara, es momento de llevar a cabo la instalacion de Windows7 para empezar, necesito correr a este software para instalar una app que solo se puede ejecutar ahi y ademas otras cosas que deben correr en Centos asi que vamos a virtualizar Windows 7 y Centos 5.7.

Este vez le toca a windows 7 Pro, ya que estara bajo un dominio con un PDC Linux por ello no debe ser una version home edition.

Vamos empezando:

1; Sacar la imagen del DVD de instalacion, mi maquinas virtuales estaran almacenadas en la particion:

/opt/

Ahi voy a crear un folder:

cd /opt
mkdir vmwin7
cd vmwin7

Sacamos la imagen:

dd if=/dev/dvdrw of=win7Pro.iso

Tarda un rato, pero con esto tenemos nuestra imagen lista para hacer usadas por Xen.

2; Crear la imagen para ser usada como disco duro virtual, vamos a crear una de unos 65GB, no requiero mas ya hice mis calculos y no es necesario mas.

dd if=/dev/zero of=win7Pro.img oflag=direct bs=1M count=65535

Tambien tarda un rato, ya tenemos nuestros 2 archivos:

-rw-r--r-- 1 root root 68718428160 Oct 7 20:31 win7Pro.img
-rw-r--r-- 1 root root 2564784128 Oct 7 19:01 win7Pro.iso

3; Crear la vm:

La gran ventaja de esto, que a mi en lo personal me agrada es:

a) No requiero tener una instalacion grafica en el server, un servidor solo debe ejecutar los programas necesarios.

b) Atraves de otra maquina puedo llevar a cabo las instalaciones de este tipo, ya que trae soporte para VNC de fabrica.

Que mas necesitamos?

Aqui vamos:

virt-install -n darwin -r 2048 -f /opt/vmwin7/win7Pro.img -b xenbr0 --vnc --vnclisten=192.168.2.48 -v -c /opt/vmwin7/win7Pro.iso

esto recibo de mensajes:

Starting install...
Creating domain...                                                                                                                                                             |    0 B     00:00

(virt-viewer:5331): Gtk-WARNING **: cannot open display:
Domain installation still in progress. You can reconnect to
the console to complete the installation process.

Para Windows XP:

virt-install -n xp1 -r 2048 -f /opt/xp1/winxp.img -b virbr0 --vnc --vnclisten=192.168.2.48 -v -c /opt/xp1/windowsxppro.iso

Para Windows 2003:

virt-install --name win2k3 --ram 2048 --hvm --vcpus=2 --cpuset="auto" --disk path=/vm/win2k3/win2k3.img --network bridge=xenbr0 mac=mac-address --vnc --vnclisten=192.168.2.21 --os-type=windows --os-variant=win2k3 --noautoconsole --cdrom /vm/win2k3/win2k3.iso --video=cirrus

Aqui fuimos mas especificos, es cuestion de jugar con todos los parametros de virt-install, el parametro:

--noautoconsole

Nos sirve para eliminar el mensaje:

(virt-viewer:5331): Gtk-WARNING **: cannot open display:

Vamos revisando que dice xen:

xm list
Name                                        ID   Mem VCPUs      State   Time(s)
Domain-0                                     0 1024     1     r-----    324.5
darwin                                       5 2048     1     -b----     13.7

Algo aparte del DOM-0 esta ejecutandose, como le dije me abriera una conexion a esta instalacion vnv a el IP del server, vamos revisando en otro equipo para ver si es cierto:

Figura 1: Instalacion desde una sesion VNC.

No voy a poner mas imagenes ya que me puede llevar mas tiempo, lo importante es saber como llevar a cabo esto con Xen+Centos.

La 1ra vez reiniciara y no abra manera de que reinicie solo, asi que vamos a crear el archivo de configuracion de Windows 7 en xen, lo voy a llamar vm-darwin y lleva esto:

name = "Darwin"
uuid = ""
memory = 2048
vcpus = 2
cpus = "1,2"
builder = "hvm"
kernel = "/usr/lib/xen/boot/hvmloader"
boot = "c"
pae = 1
acpi = 1
apic = 1
localtime = 0
on_poweroff = "destroy"
on_reboot = "restart"
on_crash = "destroy"
device_model = "/usr/lib64/xen/bin/qemu-dm"
sdl = 0
vnc = 1
display = "Darwin:0.0"
vncunused = 1
vnclisten = "192.168.2.48"
vncpassword = ""
keymap = "en-us"
disk = [ "file:/opt/vmwin7/win7Pro.img,hda,w" ]
vif = [ "mac=00:16:36:09:96:b6,bridge=xenbr0,script=vif-bridge" ]
parallel = "none"
serial = "pty"

El dato mas critico es la MAC address, yo tengo un control de ellas, atraves de otras se cual colocarlo, voy a meterme mas de lleno aqui para poner saber como generar este dato, aqui agarre la otra maquina y jugarle, los 2 primero digitos son de entrada.

Ahora lo volvemos arrancar para que continue la instalacion:

xm create /etx/xen/vm-darwin

Como ya le indicamos que cuando reciba un reboot --> reinicie entonces ya el debe hacerlo sin intervencion de nosotros.

Figura 2: Windows 7 Instalado bajo Xen

Ya solo vamos a terminar de configurarlo y listo.

Ya una vez terminado el proceso de instalacion, recordar que como en mi caso no estoy haciendo uso de ningun entorno grafico, le instale rapidamente el servicio VNC para poder administrarlo remotamente y no he tenido problemas hasta el momento.

Centos 5: Boot Xen 4.1 Gitco

2011-10-07T11:41:00.000-07:00

Me vi en la necesidad de instalar otra maquina con Xen, cuando se trata de virtualizar me gusta tener software mas actualizado, lo malo que Centos no esta a la vanguardia en esto, y en la rama 6 ya mejoraron las cosas.

Desgraciadamente no puedo aun moverme a la rama 6 ya que varios de mis servidores estan en la 5.7 y migrar todos seria un poco complicado, y no complicado, con la carga de trabajo no me es facil(tiempo).

Ahora si deseamos hacer unos de las funciones que nos brinda la version 4.1 de Xen tenemos solo 3 opciones:

1) Hacerlo a mano.
2) Hacer uso de repo externos como Gitco.
3) Usar la version que trae por default Centos si no queremos complicarnos la existencia.

Yo opto por la #2.

Ahora lo que tenemos que hacer es lo siguiente:

a)Deshistalar todo el paquete que no sea de utilidad.

yum remove ...

b)Actualizar nuestro sistema:

yum update

c) Apagar servicios que no sean necesarios, y deshabilitarlos:

service nombre-del-servicio stop
chkconfig nombre-del-servicio off

d) Bajar el repo de Gitco:

cd /etc/yum.repos/
wget http://www.gitco.de/repo/GITCO-XEN4.1.1_x86_64.repo

e) Deshistalar todo lo relacionado a Xen(si ya tenian algo):

yum groupremove Virtualization

NOTA: Yo no uso selinux lo tengo deshabilitado.

Con lo anterior hecho, reiniciamos.

Ya de regreso:

f)La instalacion:

yum groupinstall Virtualization

Por default Centos deja el el kernel normal como arranque, pero yo quiero el otro asi que modifico la prioridad, ademas, Xen tiene un footprint muy pequeo, no requerimos 1TB de memoria, los ultimos benchmark que saque me indicaron que con 1GB de memoria trabaja sin problemas.

Ademas decian que solo requeria un Core del #total que tenemos, pero el benchmark me dijo que deberia dejarle 2 ya que todas mis instalaciones llevan un arreglo de disco, ya sea Raid5/Raid10, el Raid1 no tiene problemas los otros si les beneficia dejarle 2 cores a el DOM-O.

Asi queda mi kernel:

default=0
timeout=5
splashimage=(hd1,0)/grub/splash.xpm.gz
hiddenmenu
title CentOS (2.6.18-274.3.1.el5xen)
        root (hd1,0)
        kernel /xen.gz-4.1.1 dom0_max_vcpus=2 dom0_vcpus_pin dom0_mem=1024MB
        module /vmlinuz-2.6.18-274.3.1.el5xen ro root=/dev/VolGroup00/LogVol00 pci=nomsi
        module /initrd-2.6.18-274.3.1.el5xen.img
title CentOS (2.6.18-274.3.1.el5)
        root (hd1,0)
        kernel /vmlinuz-2.6.18-274.3.1.el5 ro root=/dev/VolGroup00/LogVol00
        initrd /initrd-2.6.18-274.3.1.el5.img
title CentOS (2.6.18-194.el5)
        root (hd1,0)
        kernel /vmlinuz-2.6.18-194.el5 ro root=/dev/VolGroup00/LogVol00
        initrd /initrd-2.6.18-194.el5.img

Si usteds creen que 1 solo core es necesario para su DOM-0, entonces cambian el parametro: dom0_max_vcpus=1.

Con todo lo anterior le pedimos que:

Si tengo un server que me da N numero de cores
Me da M numero de memoria RAM

Que solo me de: 2 cores de mi N numero y que solo le asigne el M cantidad de memoria RAM, asi la demas Xen podra administrarla para sus VM's, de lo contrario Xen tendria que preocuparse en buscar que core ejecutar las tareas tanto del DOM-0 y como de sus DOM-U si no le especificamos estos datos.

Le agregue por ultimo el parametro:

pci=nomsi

Por que Xen no quiso arrancar, segun gitco en el README dice:

IMPORTANT: I cannot ensure the stability of these packages, 
so feel free, if you deploy them on a production environment !

xen3.4.3 (x86_64)   => stable
xen4.1.0 (x86_64)   => stable (in some cases, you need the kernel parameter pci=nomsi)

xen4.1.1 (x86_64)   => stable (in some cases, you need the kernel parameter pci=nomsi)

Asi que eso hice y funciono.

Ahora ya tengo un Xen listo para operar:

xm info
host                   : impexpo.import.local
release                : 2.6.18-274.3.1.el5xen
version                : #1 SMP Tue Sep 6 20:57:11 EDT 2011
machine                : x86_64
nr_cpus                : 4
nr_nodes               : 1
cores_per_socket       : 4
threads_per_core       : 1
cpu_mhz                : 3000
hw_caps                : 178bf3ff:efd3fbff:00000000:00001710:00802001:00000000:000037ff:00000000
virt_caps              : hvm
total_memory           : 3839
free_memory            : 2766
free_cpus              : 0
xen_major              : 4
xen_minor              : 1
xen_extra              : .1
xen_caps               : xen-3.0-x86_64 xen-3.0-x86_32p hvm-3.0-x86_32 hvm-3.0-x86_32p hvm-3.0-x86_64
xen_scheduler          : credit
xen_pagesize           : 4096
platform_params        : virt_start=0xffff800000000000
xen_changeset          : unavailable
xen_commandline        : dom0_max_vcpus=2 dom0_vcpus_pin dom0_mem=1024MB
cc_compiler            : gcc version 4.1.2 20080704 (Red Hat 4.1.2-50)
cc_compile_by          : root
cc_compile_domain      : gitco.tld
cc_compile_date        : Sun Sep  4 23:28:19 CEST 2011
xend_config_format     : 4

\ \/ /___ _ __   | || |  / | / |
 \  // _ \ '_ \  | || |_ | | | |
 /  \  __/ | | | |__   _|| |_| |
/_/\_\___|_| |_|    |_|(_)_(_)_|

(XEN) Xen version 4.1.1 (root@gitco.tld) (gcc version 4.1.2 20080704 (Red Hat 4.1.2-50)) Sun Sep  4 23:28:19 CEST 2011
(XEN) Latest ChangeSet: unavailable
(XEN) Bootloader: GNU GRUB 0.97
(XEN) Command line: dom0_max_vcpus=2 dom0_vcpus_pin dom0_mem=1024MB
(XEN) Video information:
(XEN)  VGA is text mode 80x25, font 8x16
(XEN)  VBE/DDC methods: V2; EDID transfer time: 1 seconds
(XEN) Disc information:
(XEN)  Found 2 MBR signatures
(XEN)  Found 2 EDD information structures
(XEN) Xen-e820 RAM map:
(XEN)  0000000000000000 - 000000000009f400 (usable)
(XEN)  000000000009f400 - 00000000000a0000 (reserved)
(XEN)  00000000000e6000 - 0000000000100000 (reserved)
(XEN)  0000000000100000 - 00000000cffb0000 (usable)
(XEN)  00000000cffb0000 - 00000000cffbe000 (ACPI data)
(XEN)  00000000cffbe000 - 00000000cffe0000 (ACPI NVS)
(XEN)  00000000cffe0000 - 00000000d0000000 (reserved)
(XEN)  00000000ff700000 - 0000000100000000 (reserved)
(XEN)  0000000100000000 - 0000000120000000 (usable)
(XEN) ACPI: RSDP 000FB4E0, 0014 (r0 ACPIAM)
(XEN) ACPI: RSDT CFFB0000, 0040 (r1 060710 RSDT1719 20100607 MSFT       97)
(XEN) ACPI: FACP CFFB0200, 0084 (r2 060710 FACP1719 20100607 MSFT       97)
(XEN) ACPI: DSDT CFFB0450, 99F6 (r1  78LCP 78LCP607       16 INTL 20051117)
(XEN) ACPI: FACS CFFBE000, 0040
(XEN) ACPI: APIC CFFB0390, 007C (r1 060710 APIC1719 20100607 MSFT       97)
(XEN) ACPI: MCFG CFFB0410, 003C (r1 060710 OEMMCFG  20100607 MSFT       97)
(XEN) ACPI: OEMB CFFBE040, 0071 (r1 060710 OEMB1719 20100607 MSFT       97)
(XEN) ACPI: SRAT CFFB9E50, 00E8 (r3 AMD    FAM_F_10        2 AMD         1)
(XEN) ACPI: HPET CFFB9F40, 0038 (r1 060710 OEMHPET  20100607 MSFT       97)
(XEN) ACPI: SSDT CFFB9F80, 088C (r1 A M I  POWERNOW        1 AMD         1)
(XEN) System RAM: 3839MB (3931452kB)
(XEN) Domain heap initialised
(XEN) Processor #0 0:5 APIC version 16
(XEN) Processor #1 0:5 APIC version 16
(XEN) Processor #2 0:5 APIC version 16
(XEN) Processor #3 0:5 APIC version 16
(XEN) IOAPIC[0]: apic_id 4, version 33, address 0xfec00000, GSI 0-23
(XEN) Enabling APIC mode:  Flat.  Using 1 I/O APICs
(XEN) Table is not found!
(XEN) Using scheduler: SMP Credit Scheduler (credit)
(XEN) Detected 3000.291 MHz processor.

A trabajar sobre el, saludos!!!

Pfsense 2 Squid Deshabilitar Cache

2011-08-27T08:55:00.000-07:00

Squid nos permite a nosotros deshabilitar el cache, este es util en sistemas embebidos donde tenemos como medio de almacenamiento una tarjeta de memoria CF de 2 GB.

Si estamos usando el GUI de pfsense tenemos que hacer lo siguiente:

Figura 1. Deshabilitando cache de GUI.

Una vez hecho esto, salvamos y listo. Ahora si desean ver que le paso a nuestra archivo de configuración entonces, vamos a tener estos cambios:

Figura 2. squid.conf con cache deshabilitado.

Como pueden ver ahi esta el parametro dado de alta, su cache.log ya no registrara nada.

Ahora van a ver su archivo log access.log casi puros TCP_MISS:

Figura 3. access.log TCP_MISS.

Saludos!!!

Pfsense 2 OpenVPN Site2Site TLS/SSL

2011-07-02T00:57:00.000-07:00

Vamos a ver, esta ultimas semanas hemos estado trabajando duro con Pfsense 2.0RC3 Current i386 para unir 2 redes atraves de una VPN, hay ocaciones donde no es posible alquilar una T1 para este tipo de tareas, no quedaria nada de ganancia para la empresa.

Por ello con los costos que se manejan actualmente en las conexiones tipo ADSL/Cable y las velocidades uno en el area voltea a verlas como una opcion.

Ahora hablando de las VPN, he trabajado con OpenVPN desde la version 1.0 de Pfsense si mal no recuerdo, desde que conoci a este firewall basado en FreeBSD me enfoque de lleno en el, ya que yo conoci a el mundo Unix gracias a FreeBSD y aun maestro(Lic. en Informatica Rene) de redes del Instituto Tecnologico de Tijuana, gracias profe.

Bien, anteriormente teniamos que hacer uso de las herramientas de openvpn que son usa serie de scripts que nos generan los archivos necesarios para tener una comunicacion segura, ya que el tema es: OpenVPN SSL/TLS, el cual se basa en tener una llave privada y una publica con la cual el tunel encriptara/desencriptara los paquetes que por ahi fluyan, esto es termimos basicos.

Ahora con pfsense 2.0 esto a cambiado, ya que el trae atraves de su gui las herramientas necesarias para llevar a cabo la generacion de los archivos antes mencionados.

Vamos a mostrar la red que deseamos unir atraves de openvpn.

Como se podra ver es una red muy comun, ahora esa red que se muestra pareciera que todo esta comunicado pero no, ya que solo muestro que ambas redes tiene una conexion a Internet, pero no hay ningun medio de comunicacion seguro entre ambas.

Por default sabemos que pfsense pide como minimo 2 tarjetas de red:

Son las que se muestran en la figura 1.

No voy a entrar en detalle hacerca openssl, PKI, etc, ya que de eso ahi mucho en Internet.

Vamos ensuciarnos las manos.

Certificados

Que necesitamos?

1; CA.
Common Name: ca.

2; Certificado Servidor.
Common Name: server.

Esto nos va generar en total 4 archivos.

ca.crt ===> todos deben ternerlo ==> Secreto (No)
ca.key ===> todos deben ternerlo ===> Secreto (Si)
server.crt ===> Solo el server debe tenerlo ===> Secreto (No)
server.key ===> Solo el server debe tenerlo ===> Secreto (Yes)

Estos son los archivos que va a necesitar el server, ahora tambien tenemos que generar los archivos del cliente y tendremos esto:

1; cliente1.
Common Name: cliente1.

Esto nos va generar en total 2 archivos.

cliente1.crt ==> Debe tenerlos tanto el cliente1 como el server ===> Secreto(No).
cliente1.key ===> Debe tenerlos tanto el cliente1 como el server ===> Secreto (Si)

Algo que tiene openvpn es que uno puede usar los mismos archivos del cliente en N numero de clientes pero no esto no me agrada, por ello yo prefiero generar para cada uno sus respectivas credenciales.

Dyndns

OpenVPN se basa en la direccion de Internet, pero con un servicio de adsl/cable nuestras direcciones publicas cambian y es dificil para OpenVPN mantener a el dia su operacion. Internet no es nada sin los DNS asi que por ello hago uso del servicio de dyndns y tengo lo siguiente:

server . dyndns . org
cliente1 . dyndns . org

Una vez dados de alta, debemos configurar el servicio de "Dynamic DNS".

Figura 2: Configurando Dinamic Dyndns.

Figura 3: Estatus de Dinamic Dyndns..

Esto debe hacerse en todos sus servers y clientes, la figura 3 nos debe mostrar nuestra IP en color, si no muestra su IP deben solucionarlo, lo que me ha pasado es que a veces el password lo pongo mal.

Creando credenciales--Cert Manager

1; Creando el CA certificado de Autenticidad.

Figura 4: Creando CA.

Figura 5: Ingresando datos de CA.

Debemos poner atención en los datos que ingresamos y siempre recordar el nombre que se ingresa en "Common Name" debe ser unico.

Y sobre todo el valor que elegimos en la duracion de la llave, ya que si se nos olvida y llega su tiempo la conexion se caera automaticamente, pero a muchos les gusta poner datos muy grandes para nunca preocuparse de cambiarlas, yo estoy usando 365 dias, pero me gusta mas hacer esto cada 180 dias.

Otro campo que deben ustedes juzgar en sus pruebas es el tamaño en bits de la llave, esto tiene una relacion con el CPU, ya que mientras mas grande, mas segura pero esto sacrifica CPU, si van a conectar varias redes aun punto central recordar que el server debe ser un equipo con un buen CPU.

Figura 6: Resultado de la creacion del CA.

Como podran ver ya tenemos el CA del server, con este vamos a firmar todos los certificados que vamos a crear enseguida.

Figura 7: Creacion de certificados.

Figura 8: Creando el certificado del servidor.

Ver la figura 8, hemos basado los datos en los que ingresamos cuando creamos los CA, recordar siempre nuestro "Common Name".

Figura 9: Creando certificado de nuestro cliente.

Figura 10: Listado de certificados creados.

Figura 11: Nuestro CA mostrando los certificados firmados.

Ya tenemos todos nuestros archivos creados, es momento de ir a openvpn a configurar nuestro 1er servidor.

OpenVPN

Vamos mostrando en nuestra red quien sera el server y quien sera el cliente1 para mayor claridad.

Figura 12: Detalle de red con OpenVPN.

La figura 12 muestra claramente donde vamos a iniciar la configuracion, sera en la red marcado como "OpenVPN-server" ahi es donde mi cliente desea entrar a utilizar mis recursos que son impresoras, servidor ERP, servidores de bases de datos, correo, archivos compartidos, etc.

Recordar que en OpenVPN no cambia el diseño servidor-cliente, por cada red que deseamos conectar a nuestro tunel(server) creamos un cliente, empezamos.

Figura 13: Creando el servidor.

Figura 14: Configurando el server.

Nuestro tunel cruzara por la red: 10.0.99.0/24, ninguna de sus redes debe hacer uso de esta red, el server siempre tomas las primera IP de esa red:

Figura 15: Interface del server.

Figura 16: Mostrando el server creado.

Ahora, yo deseo agregar unos parametros para mi cliente importantisimos de lo contrario mi tunel no funcionara bien. Para ello hago uso de la etiqueta que dice "Custom specific override¨.

Figura 17: Agregando parametros adicionales a mi cliente1.

Figura 18: Estatus de la opcion personalizada.

Hasta aqui hemos terminado la configuraciion de nuestro servidor de parte de OpenVPN, lo que sigue es abrir el puerto en el firewall para permitir el acceso a server por parte de los clientes, datos de la conexion:

Interface: WAN.
Protocolo: UDP.
Puerto: 1194 (Default).

Con esto se supone que nuestro servidor debe estar escuchando por peticiones en ese puerto via UDP, vamos a revisar:

Figura19: Server escuchando peticiones.

Lo que sigue es abrir el puerto 1194 en la WAN:

Figura 20: Regla para OpenVPN.

Figura 21: Estatus de la regla.

Algo que hace Pfsense automaticamente es agregar una interface llamada "Openvpn" en las reglas de su firewall y es sencilla "Todo entra y sale", que es lo hace en la v. 1.2.3, la diferencia es que ahora uno ya puede controlarla aun mas por que ya podemos configurar nuestras reglas como en la LAN/WAN,algo que muchos pediamos en las versiones anteriores, por fin se cumplio.

Figura 22: Regla de VPN en el firewall.

Ya con esto podemos recibir a nuestros clientes.

Configuracion de nuestro 1er cliente

Vamos sobre nuestro 1er cliente que desea accesar atraves de OpenVPN de manera segura.

Pero antes de llegar a openvpn, debemos recordar que nuestro cliente necesita ciertas credenciales para entablar esa comunicacion, arriba se los aclare, necesitamos por parte del server:

ca.crt
ca.key
cliente1.crt
cliente1.key

Vamos a bajarlos a nuestra computadora, ustedes deciden como llevarlos hasta el server yo uso memorias usb y voy fisicamente a el cliente1 para darselos.

Figura 23: Bajando archivos CA.

Figura 24: Bajando archivos de nuestro cliente.

Una vez que tiene su cliente esos archivos es momento de darselos, para ello deben abrirlos en con algun editor de texto, yo estoy usando WordPad, copeo el contenido y lo pego donde lo necesito:

Figura 25: Agregando CA as cliente1.

Figura 26: Contenido ejemplo de el contenido de las credenciales.

Figura 27: Pegando el contenido en cada campo.

Figura 28: CA dado de alta en nuestro cliente1.

Figuara 29: Dando de alta los certificados del cliente1.

Figura 30: Agregar el contenido donde se indica.

Figura 31: Certificados de cliente1 dados de alta.

Ya tenemos de lado del cliente todo lo necesario, lo que sigue es configurar nuestro openvpn para entablar la comunicacion con nuestro server.

Figura 32: Configurando cliente1.

Figura 33: Configuracion de cliente1.

Figura 34: Finalizacion de cliente1.

Figura 35: Estatus de OpenVPN en el server.

Figura 36: Estatus de OpenVPN en cliente1.

Probando Comunicacion

Ya nuestro tunel esta arriba, nuestro pfsense-cliente estos datos de interface del tunel:

Figura 37: Interface vpn del cliente1.

Ahora el tunel esta creado, pero si ustedes de cualquier lado del tunel tratan de llegar a los clientes no pasaran, porque una cosa es comunicacion entre el tunel 10.0.99.0/24 y otra cosa esa comunicacion entre las redes fisicas 192.168.2.0/24 y 192.168.50.0/24. Entonces la regla del tunel esta libre, ustedes deben abrir a nivel LAN en ambos lados para que fluya la comunicacion entre las 2 redes. En su firewall de lado del server abran una regla que permita todo de su LAN hacia la red 192.168.50.0/24, lo mismo del lado del cliente, una regla LAN que permita el trafico hacia la 192.168.2.0/24, pueden crear hasta un alias si gustan, esto es para pruebas, cuando se vayan a produccion deben permitir solo lo necesario.

Pingeo entre ambos servidores

Figura 38: Pingeo operando en ambos lados.

Figura 39: Pingeo de lado del cliente.

Figura 40: Pingeo de lado del server.

Listo.

Parece que la comunicacion esta operando, espero les sirva a alguien, lo que sigue es ajustar o probar varias tipos de escenarios principalmente lo referente a el tamaño de las llaves, el algoritmo de encriptacion, mientras mas fuerte creemos las llaves o elijamos un algoritmo mas alto recordar que su CPU sera afectado, pero esto sus pruebas se los diran y ustedes tendran que tomar la decision, saludos.

Versiones de pfsense

Figura 41: Version de pfsense para este manual.

Necesitan soporte en Baja California y sus alrededores: pmoreno@bajaopensolutions.com

NOTE: If u want this manual to be translate to English let me know please!!!

FreeBSD: newsyslog

2011-05-01T22:00:00.001-07:00

Bien el mundo BSD tiene un programa para rotar sus logs de nombre:newsyslog.

Cada que instalamos por ejemplo a FreeBSD se instala en /etc ya que es una aplicacion base, y nos da una configuracion como esta:

/var/log/all.log 600 7 * @T00 J
/var/log/amd.log 644 7 100 * J
/var/log/auth.log 600 7 100 * JC
/var/log/console.log 600 5 100 * J
/var/log/cron 600 3 100 * JC
/var/log/daily.log 640 7 * @T00 JN
/var/log/debug.log 600 7 100 * JC
/var/log/kerberos.log 600 7 100 * J
/var/log/lpd-errs 644 7 100 * JC
/var/log/maillog 640 7 * @T00 JC
/var/log/messages 644 5 100 * JC
/var/log/monthly.log 640 12 * $M1D0 JN
/var/log/pflog 600 3 100 * JB /var/run/pflogd.pid
/var/log/ppp.log root:network 640 3 100 * JC
/var/log/security 600 10 100 * JC
/var/log/sendmail.st 640 10 * 168 B
/var/log/weekly.log 640 5 1 $W6D0 JN
/var/log/wtmp 644 3 * @01T05 B
/var/log/xferlog 600 7 100 * JC

Si ustedes revisan algunos parametros han cambiado para mi, pero algunos continuan igual.
Lo que deseo es agregar dos ya que el programa no instala ningun script que rote sus logs, por ejemplo clamavis.

Por ello agrego lo siguiente:

/var/log/clamav/freshclam.log clamav:clamav 640 10 * @T00 J
/var/log/clamav/clamd.log clamav:clamav 640 10 * @T00 J

El man page de newsyslog.conf dice lo siguiente:

logfile name owner:group mode count size when flag

Vamos a romperlo:

logfile name--> /var/log/clamav/freshclam.log
owner:group-->clamav:clamav
NOTA:si uno no agrega este parametro se pone por default root:wheel.
mode--> 640
count-->10
size -->*
Nota: cuando colocamos un "*" significa que no importa el tamaño, cuando llegue su momento el sistema lo va a rotar.
when --> T00
Aqui es donde le indicamos a que horas del dia lo va hacer, aqui es a las 12:00AM
flag --> J
Aqui le indicamos por ejemplo si deseamos que cuando lo rote lo comprima J = bzip.

Tenemos 2 maneras de trabajar, cuando le indicamos en el 6to campo un "*", entonces el espera que le indiquemos aque horas lo va hacer, como en mi caso u otra cosa puede ser que le indiquemos que a cierto tamaño el tiene que rotarlo asi:

/var/log/clamav/clamd.log clamav:clamav 640 30 250 * Z

Cada que pase el tamaño de 256Kb el lo va a rotar, ademas va a usar 30 archivos y a cada archivo lo va a comprimir usando gzip, entonces tendremos 30 archivos ejemplo:

clamd.0.bzip
clamd.1.bzip
clamd.2.bzip
clamd.3.bzip
etc...

Ahora, que pasa con el parametro "when" o cuando en español?

Ese parametro esta sabroso, ya que usa el formato "ISO 8601" para el tiempo, segun el man page dice que debe empezar con @:

$D0 rotar cada noche a las 12:00AM igual a @T00.
$D23 Todos los dias a las 23:00PM igual que @T23.
$W0D23 Cada semana en domingo a las 23:00PM. Dia de la semana 0 = domingo.
$W5D16 Rotar cada semana el viernes a las 16:00PM.
$M1D0 El 1er dia de cada mes a las 12:00AM igual a @01T00.
$M5D6 El 5to dia de cada mes a las 06:00AM igual que @05T06.

Entonces ya con esto ustedes podran modificar a su antojo, si no me preguntan, animo.

Solo recordar que cada que modifican a newsylog.conf deben re-iniciarlo.

/etc/rc.d/newsyslog restart.

Centos 5.x: Sacar imagen de cd/dvd.

2011-02-02T10:37:00.000-08:00

Con xen necesitamos tener las imagenes de los disco de instalacion Windows para mayor facilidad a la hora de hacer la instalacion.

Existe un comando viejisimo que sigue siendo util: dd.

En mi maquina la unidad de CD se llama: /dev/sr0, entonces ejecuto esto:

dd if=/dev/sr0 of=/opt/win2k3.iso

/dev/sr0 --> Mi unidad de cd/dvd
/opt/win2k3.iso --> ruta y nombre del archivo deseado.

Ya solo espero que termine y poder usarla en Xen para arrancar la instalacion.

Saludos!!!

Centos 5.x: OpenLDAP 2.3.x Replica

2011-01-22T10:38:00.000-08:00

Buenos dias.

Esta vez vamos a ver como hacer un servidor de respaldo para LDAP, por lo general es conveniente cuando ya tenemos un dominio con mas de 50 usuarios.

Cuand hablo de dominio me estoy refiriendo a Samba+LDAP, yo deseo que si mi servidor PDC cae por alguna razon, mis usuarios no se vean afectados, otra es que solo deseo tener un solo dominio para mi empresa, poder tener el PDC en Tijuana y el BDC en San Diego, atravez de un enlace privado o P2P o VPN.

En este ejemplo, los usuarios de Tijuana haran uso del PDC maestro y los de San Diego haran uso del BDC que esta en San Diego, no tendrian ellos que comunicarse para Tijuana a buscar info del dominio. La unica situacion sera cuando ldap de Tijuana requiera actualizar informacion en su servidor ldap de respaldo de San Diego.

Bien, ya no voy a tocar el tema de como configurar un dominio con Samba+LDAP ya que en mi blog viene como, nomas ahi que buscarle.

Lo que voy hacer es lo siguiente:

1; Debemos sacar una copia del ldap maestro y pasarsela a el esclavo, todo esto se tiene que hacer con el maestro apagado y el esclavo apagado, y cuando hagan la copia no hagan ya ningun movimiento con el maestro, de lo contrario la copia no sera exacta, por ello yo lo apago.

2; Habilitar en el ldap maestro las opciones para hacer operar la replica, que es llevada a cabo por un servicio llamado slurp, cuando arranquen el ldap maestro veran que aparece un servicio con ese nombre.

3; Enviar la copia a el esclavo.

4; Configurar el esclavo tal cual esta el maestro, y agregar las opciones de esclavo.

5; cargar la BD del maestro a el esclavo.

6; Arrancar el esclavo, enseguida el maestro.

7; Probar.

Paso 1.

slapadd -l klb.ldif

Paso 2.

Abrimos el archivo de configuracion slapd.conf del maestro y agregamos esto a el final:

replogfile /var/lib/ldap/replog
replica host=slave1.klabacita.local:389
binddn="cn=Manager,dc=klabacita,dc=local"
credentials=Manager-password
bindmethod=simple

NOTA: Cuando den de alta estos parametros, recordar que despues de "replica host" los siguientes deben de tener un tab de separacion, de lo contrario ldap marcara errores cuando lo ejecuten.

Aqui mi dominio se llama KLABACITA.LOCAL.
replica host=servidor esclavo que recibe los updates.
server-name= pueden poner el IP del servidor, si trabajan con DNS o hosts poner el nombre del servidor, si usan nombre recuerden siempre probar la resolucion de nombre a IP.
credentials= password del root user del ldap.

El archivo de nombre: replog no va a existir, deben crearlo en la ruta elegida y debe tener como usuario y grupo a ldap.

Si desean tener multiples esclavos deben agregar los mismo parametros pero apuntando a cada uno de sus esclavos.

Paso 3.

Para poder enviar la copia, hago uso de scp:

scp klb.ldif root@ip-del-esclavo:/opt/

Ya deben saber como usar scp, correcto!!!

Paso 4.

Aparte de tener el slapd.conf del esclavo igual que el maestro, hablando tambien de la misma version de samba y los schemas tambien deben existir en el esclavo, agregamos las siguientes opciones a el esclavo a el final del archivo:

updatedn "cn=Manager,dc=klabacita,dc=local"
updateref ldap://master-ldap-server:389/

master-ldap-server= IP/Nombre del servidor maestro de LDAP.

Paso 5.

El ldap esclavo debe estar apagado y ejecutar:

slapadd -l /opt/klb.ldif

Paso 6.

En el esclavo:

service ldap start

service ldap start
Checking configuration files for slapd: config file testing succeeded
[ OK ]
Starting slapd: [ OK ]

En el maestro:
service ldap start

service ldap start
Checking configuration files for slapd: config file testing succeeded
[ OK ]
Starting slapd: [ OK ]
Starting slurpd: [ OK ]

Ya aparecio el slurp.

Paso 7.

Para probar debemos configurar a centos para que use a LDAP como su provedor de usuarios y grupos. Para ello debemos agregar a ambos sistemas ambos servidores por si uno cae tenga otro de donde sacar la info.

Configurar el /etc/ldap.conf y agregar el que falta, empezando por el maestro:

host 127.0.0.1 pdc-srv

Ahora el esclavo:

host 127.0.0.1 pdc-dos

pdc-srv = nombre de mi servidor esclavo.
pdc-dos = nombre de mi servidor maestro.

Ahora sigue /etc/openldap/ldap.conf

Maestro:

URI ldap://127.0.0.1 ldap://pdc-srv
HOST 127.0.0.1 pdc-srv

Esclavo:

URI ldap://127.0.0.1 ldap://pdc-dos
HOST 127.0.0.1 pdc-dos

Ejecutamos el servicio authconfig-tui y volvemos a configurar a ldap, cuando pasen a la pantalla siguiente en ambos sistemas deberan ver como se agrego el segundo servidor.

Listo, lo que sigue es probar esto, apaguen el maestro, supongamos que tenemos un usuario de nombre: test.

Con el servidor maestro apagado, ejecutamos el comando:

id test en ambos sistemas y nos debe dar la misma informacion:

Maestro:
id test
uid=1003(test) gid=513(Domain Users) groups=513(Domain Users)

Esclavo:

id test
uid=1003(test) gid=513(Domain Users) groups=513(Domain Users)

Arranquen el maestro y apaguen el esclavo, debe ocurrir lo mismo.

Agreguen un usuario, hagan lo mismo y deben recibir respuesta aunque cualquiera de ambos este apagado, monitorien el archivo de las replica en el maestro.

Si quieren aun mas ver si se estan llevando las replicas, en el esclavo ejecutamos el tcpdump para el puerto 389 y deben ver la comunicacion cuando el maestro manda los cambios.

Esclavo:

tcpdump -i eth0 port 389

Maestro:

agreguen un usuario, como estamos hablando de samba+ldap, entonces vamos hacer uso de smbldap-tools comando smbldap-useradd.

smbldap-useradd -a -m test2

Tan pronto ejecuten esto, en la pantalla del esclavo van a ver comunicacion, y prueban de nuevo con el comando id, debe su esclavo ya tener info del usuario:

id test2

Es todo, saludos!!!

Centos 5x: Herramientas de desempeño de disco duro

2010-11-22T22:53:00.000-08:00

Tenemos 2 tipos de raid comunmente usados, Raid-5 y Raid-10. Ahora uno puede comprar una tarjeta controladora que soporta estos y muchos mas, el unico detalle es que muchas no tiene drivers para Linux/Unix y sus herramientas de monitoreo requieren modulo grafico para poder usarlas.

Bien desde que conoci a md en Linux o gmirror en FreeBSD he optado por llevar a cabo mis arreglos via software con estas 2 herramientas.

Ahora que herramientas tenemos a la mano Open Source que podamos usar para ver el desempeño de nuestros discos duros o arreglos?

Aqui muestro algunas de ellas y las herramientas que podemos usar para capturar la informacion para posteriormente analizarla y tomar una decision sobre cual de los arreglos nos proporciona el mejor desempeño.

Vamos empezando por las internas, las que siempre vamos a encontrar en Linux, especificamente hablando de Centos.

Antes de continuar vamos a ver que herramientas vamos a usar para monitorear, bueno yo estoy usando a dstat, ya que me permite capturar toda su informacion en un archivo csv para posteriormente analizar.

Estos son los parametros que uso:

dstat -c -C 0,1,total -d -i -g -m --noheaders --output=nombredearchivo.csv

Ahora en mi caso me interesa saber el desempeño de mi arreglo en especial donde van a estar operando mis maquinas virtuales ya que estoy trabajando sobre Xen y la particion se llama /vm -> /dev/md2, es donde voy a enfocarme.

Antes de arrancar la ejecucion de cada aplicacion, estoy ejecutando dstat con el nombre de cada programa que ejecuto como salida, para el final, cambiar los parametros de mi arreglo y volver a repetir los pasos, asi podre comparar manzanas con manzanas y saber cual me ofrece mejor desempeño.

Vamos procesos los voy a repetir porque si solo lo hacemos una vez tendemos a estar solo comparando el buffer del disco duro:

dd
hdparm

Esta herramienta sencilla es lineal no hay nada de manera aleatoria, asi que vamos a ver como a vamos a ejecutar:

time dd if=/dev/zero of=/vm/bench/out.img bs=8k count=2048 && echo "Leyendo" && time dd of=/dev/null if=/vm/bench/out.img bs=8k count=2048 && echo "borrando" time rm -rf out.img && time dd if=/dev/zero of=/vm/bench/out.img bs=16k count=2048 && echo "Leyendo" && time dd of=/dev/null if=/vm/bench/out.img bs=16k count=2048 && echo "borrando" time rm -rf out.img && time dd if=/dev/zero of=/vm/bench/out.img bs=32k count=2048 && echo "Leyendo" && time dd of=/dev/null if=/vm/bench/out.img bs=32k count=2048 && echo "borrando" && time rm -rf out.img && time dd if=/dev/zero of=/vm/bench/out.img bs=256k count=2048 && echo "Leyendo" && time dd of=/dev/null if=/vm/bench/out.img bs=256k count=2048 && echo "borrando" && time rm -rf out.img && time dd if=/dev/zero of=/vm/bench/out.img bs=512k count=2048 && echo "Leyendo" && time dd of=/dev/null if=/vm/bench/out.img bs=512k count=2048 && echo "borrando" && time rm -rf out.img && time dd if=/dev/zero of=/vm/bench/out.img bs=1024k count=2048 && echo "Leyendo" && time dd of=/dev/null if=/vm/bench/out.img bs=1024k count=2048 && echo "borrando" && time rm -rf out.img && time dd if=/dev/zero of=/vm/bench/out.img bs=2048k count=2048 && echo "Leyendo" && time dd of=/dev/null if=/vm/bench/out.img bs=2048k count=2048 && echo "borrando" && time rm -rf out.img

hdparm

time hdparm -Tt /dev/md2 && time hdparm -Tt /dev/md2 && time hdparm -Tt /dev/md2

Las que siguen con aplicaciones que no se encuentran en el sistema base asi que necesitamos instalarlas.

Bonnie

Con esta aplicacion hemos hecho varias corrida con distintos parametros, como sigue:

time bonnie -s 100 -m mbx-xenserver &&
time bonnie -s 100 -m mbx-xenserver -y &&
time bonnie -s 1024 -m mbx-xenserver &&
time bonnie -s 1024 -m mbx-xenserver -y &&
time bonnie -s 2048 -m mbx-xenserver &&
time bonnie -s 2048 -m mbx-xenserver -y

Bonnie++

Una version de bonnie mejorada.

time bonnie++ -d ./ -u root && time bonnie++ -d ./ -u root -s 32 -n 128 -r 16 && time bonnie++ -d ./ -u root -s 256 -n 16 -r 128 && time bonnie++ -d ./ -u root -s 1024 -n 8 -r 512 -b

dbench

Emula un samba.

time dbench -c /usr/share/dbench/client.txt 40

Fio

Aqui tenemos que crear un archivo y correr en una ejecucion varias tareas distintas, muy practico.

bench.fio:

[global]
directory=/opt/bench/fio

[test1]
rw=rw
size=128m
nrfiles=16
sync=0
bsrange=4k-8k,16k-32k
zero_buffers
file_service_type=random
ioengine=sync
iomem=malloc

[test2]
rw=write
size=512m
nrfiles=2
sync=0
bsrange=16k-32k,64k-128k
file_service_type=roundrobin
ioengine=psync
iomem=shm

[test3]
rw=randread
size=8m
nrfiles=256
bsrange=4k-8k,32k-64k
sync=1
zero_buffers
file_service_type=random
ioengine=libaio

[test6]
rw=randrw
size=1024m
nrfiles=2
bsrange=8k-32k,64k-128k
refill_buffers
file_service_type=roundrobin

Para entender lean el man page, para ejecutarlo:

time fio bench.fio

tiobench

Un sistema parecido a fio.

time tiobench -size 512 --size 1024 --size 2048 --numruns 2 --block 4096 --block 8192 --threads 2

Como mencione anteriormente, estoy usando dstat para capturar informacion de como esta trabajando el equipo para posteriormente analizarla.

Por que estoy siempre incluyendo el comando "time"? Aparte de ver como se comporta tanto el CPU como el arreglo, me interesa saber que tan rapido se estan llevando a cabo cada tarea, cuando decida por cual arreglo irme, voy a tomar en cuenta estos 3 parametros:

Mas I/O del disco
Menor uso de CPU
Menor tiempo de ejecucion

Por ello siempre la incluyo, la salida del "dstat" es larga aqui no puedo ponerla, pero ustedes veran la salida.

Centos 5: Respaldos con Bacula + MySQL 5.1.

2010-10-20T16:05:00.001-07:00

Esta vez le toca el turno a el tema de los respaldos. Yo siempre he tratado de usar codigo libre para hacer lo que sea posible en un departamento de sistemas. Y como toda area de informatica, necesitamos respaldos.

Me vi un dia a la tarea de buscar que software podriamos usar para respaldas los servidores, encontre varias opciones:

amanda
rsync
tar
bacula

De todas ellas la que mas me lleno el ojo fue bacula, ya que existen clientes para una gama de sistemas operativos:

Windows
Linux
Mac
Unix

Lo cual lo hizo un contendiente vs symantec backup.

Utilizabamos veritas(que ya lo compro symantec creo yo) pero como todo software hecho para windows no tiene clientes para Linux/Unix y ademas que en el servidor de respaldos tenia que mapear todos los compartidos que ocupaba respaldar.

No es nada amigable, buscar otra alternativa era invertir una gran cantidad de dinero, licencias, etc. Con bacula me olvide de todo eso.

Otra cosa que los demas no tienen hablando del mundo de open source es no poder
hacer uso de una virtud que aparecio en windows 2000 en adelante llamada "Shadow Copy".

Esta funcion lo que hace es crear un respaldo de windows incluyendo los archivos abiertos, bacula puede hacer que las versiones que tienen esta utileria lo hagan y cuando terminan le envian el achivo a bacula, que gran cualidad de bacula.

En Linux/Unix no tenemos ese problema que ataca Redmont con esta funcion.

Otra gran caracteristica de Bacula es la gran gama de medios de almacenamiento que soporta, como todo inicia con Linux, pues ellos le dejaron la tarea a Linux y no se amarraron a tener que crear los latosos "Drivers" si no que le dejaron la tarea a Linux/Unix, a que me refieron con esto, cualquier medio de almacenamiento que soporte Linux/Unix sera bien recibido por Bacula como pueden ser:

Disco Duro- Externo e Interno, USB/Ata/Sata/Solido etc etc.
Quemadores de CD/DVD
Memorias USB
Unidades de Cinta - Internas/Externas
Floppies

En fin, si pueden almacenar informacion en Linux/Unix bacula la podra usar.

Y ademas que el demonio de almacenamiento(luego hablo de el) de bacula no necesita estar donde esta el director(luego hablo de el) podemos tener un servidor de bacula y otro de almacenamiento solamente, asi de flexible.

Modulos de Bacula

Bacula esta disenado inteligentemente, existen los siguientes modulos y cada uno tiene su funcion:

Director: El director es el administrador de todo llamado bacula-dir, medios de almacenamiento que son administrados por el demonio de almacenamiento llamado bacula-sd, comunicacion con los clientes, administrar la agenda de tareas, informarnos de errores, tareas hechas, o sea toda la operacion el la controla por ello el nombre de director.

Almacenamiento: Este modulo llamado tecnicamente bacula-sd se encarga de administrar todos los medios de almacenamiento, cuando el director necesita sacar o meter informacion se comunica con este modulo y el hace la tarea. Puede o no residir donde esta el director, depende totalmente del hosts donde esta para hacer uso de los medios de almacenamiento.

Consola: Llamado tecnicamente bconsole, este modulo es la interface que tenemos los administradores de bacula para poder interactuar con el director, los clientes, bacula-sd.

Clientes: Llamado bacula-fd, es el modulo que cada cliente debe tener instalado para poder ser respaldado, cuando el Director necesita respaldar o restaurar algun directorio o archivo se comunica con este modulo.

Lo anterior son los actores que nos vamos a encontrar a la hora de trabajar con bacula, algo que me gustaria notar es que cada modulo tiene su archivo de configuracion, estos son:

Director ---> bacula-dir.conf
Almacenamiento --> bacula-sd.conf
Clientes --> bacula-fd.conf
Consola --> bconsole.conf

Para entender un poco mas como opera bacula, vamos a hablar un poco de que son los pools y volumenes, porque mas adelante se los van a encontrar, ya cuando lleguen a donde los tienen que usar tendrar un mejor panorama de como configurarlos.

Pools y Volumenes

Bacula como mencione, almacena todo en una BD, de ahi siguen los pool, que vienen siendo
contenedores de volumenes, los volumenes son ya los medios donde se almacenan los archivos a respaldar. Entonces tenemos que:

1 Pool puede contener N numero de volumenes, un volumen fisicamente es ya el medio de almacenamiento, si estamos usando el mismo disco duro, y tengo un volumen llamado "FullFile-0001", en mi directorio donde guardo mis backups, tendre esto:

-rw-r----- 1 bacula bacula 20781361 Nov 3 18:51 FullFile-0001

Un archivo con ese nombre, si fuera una cinta, entonces tendria una cinta etiquetada con ese nombre, etc, etc. Espero les haya quedado claro eso.

Ahora bien, uno puede tener cuantos Pools desea, yo por ejemplo tengo 2 en este ejemplo, 1 para mis Full Backups y otro para mis Difrenciales(luego vamos a llegar a esto), y cada uno de ellos tienen sus volumenes, cuantos tengo, depende de como los configuren y la capacidad de sus medio de almacenamiento.

Aqui estan mis Pools:

*list pools
+--------+---------------+---------+---------+----------+-------------+
| PoolId | Name | NumVols | MaxVols | PoolType | LabelFormat |
+--------+---------------+---------+---------+----------+-------------+
| 1 | BajaOFullFile | 1 | 0 | Backup | FullFile- |
| 2 | BajaODiffFile | 1 | 0 | Backup | FileDiff- |
| 3 | Scratch | 0 | 0 | Backup | * |
+--------+---------------+---------+---------+----------+-------------+

El Scratch aun no he tenido la necesidad de usarlo.

Un punto importante, si observan la columna de nombre "Label Format", cuando bacula inicia un respaldo, y no tiene ningun "Volumen" disponible, hay una opcion de la configuracion que le indicamos que si no tiene de donde agarrar, el tiene la autoridad de crear uno nuevo, entonces cuando el lo crea, le agrega a este campo un numero consecutivo, vean:

FullFile-0001
FileDiff-0002

Si fuera necesario agregar otro volumen a mis "Full" backups, el agregaria:

FullFile-0002

Asi sucesivamente, interesante no.

Con esto dejo lo referente a Pools, y Volumenes

Tipo de Respaldos "Level"

Cuando respaldamos, tenemos otra seccion donde tenemos que decirle a el director cual sera nuestra forma de respaldar, aqui tenemos:

Full
Diferencial
Incremental

Full: Aqui no tenemos pierde, bacula agarra todos directorios y archivos indicados y los respalda.

Diferencial: Segun mis entedimientos, cualquier tipo de respaldo excepto Full, debe de existir un respaldo Full antes de llevarse a cabo, aqui entran todos los demas, como el diferencial, incremental, verificador. Ahora el diferencial, lo que hace es solo respaldar los archivos que han cambiado(fecha de apertura mas nueva) en base a el ultimo Full, por ejemplo, si mi Full de ayer tiene un archivo de nombre "Test.txt, y hoy cuando mi diferencial se ejecute ese archivo tiene la fecha de hoy, bacula lo respaldara. Si mi Full fue la semana pasada, bacula compara los archivos que han cambiado en base a el ultimo Full. Asi cuando restauremos un sistema completo, solo necesitaremos el ultimo Full + ultimo diferencial.

Incremental: Aqui a diferencia del diferencial, este respalda los archivos que han cambiado en base a el ultimo respaldo, sease Full o incremental, asi que si necesitaramos restaurar un sistema completo, necesitaremos el ultimo Full+ todos los incrementales despues de ese Full, con esto ya podran darse cuentad de la diferencia entre un Diferencial e Incremental.

Configuracion

Ahora viene la parte mas compleja, la configuracion.

Pero antes de entrar a esta parte que a la mayoria siempre le interesa, vamos a especificar los sistemas que vamos a respaldar:

A; Centos 5.5 192.168.50.130 --->Aqui se ejecuta el bacula server.
B; Centos 5.5 192.168.50.103 ---> Aqui ejecuto el servidor mysql.
C; Centos 5.5 192.168.50.4
D; Windows XP Pro 192.168.50.122
E; Windows 7 Ultimate Edition Cliente 192.168.50.121

Como podran ver les voy a mostrar una confiracion que se usa comumente en produccion.

El servidor sera Centos, asi que tambien tiene que respaldarse por ello lo incluyo. Como nota Centos por default no tiene a Bacula en sus paquetes, necesitamos compilarlo desde las fuentes.

La base de datos esta otro servidor.

Para ello tenemos este link, ya lo hice y funciona:

Compilar Bacula 5.0.2 en Centos 5.5

Yo lo hice con la ultima verion 5.0.3.

Algo que me gustaria marcar es que el link habla hacerca de wxconsole, php, esto va enfocado a un sistema con GUI, lo cual conmigo no aplica, ya que un servidor que yo levante raramente tendra un modo grafico al menos que sea Windows, pero no es mi caso.

Por ello yo no agregue paquetes que se estan enfocados a GUI:

Mientras menos paquetes, menor probabilidad de ser atacado por bugs.

Otra cosa, Centos viene con MySQL 5.0 el cual ya hace tiempo dejo de ser actualizado al menos que sea por bugs, por ello yo baje el RPM directamente de Mysql:

Community Edition 5.1

Por seguridad cuando se instala bacula en Centos, el se encarga de configurar la BD en MySQL, en FreeBSD uno tiene que hacerlo, pero ninguno de los 2 sistemas le ponen password a el usuario bacula de la BD, por ello les recomiendo que lo hagan.

Ya tenemos un mejor panorama de lo que necesitamos, no voy a pasar por la instalacion de los paquetes o compilacion ya que los links son muy claros, si tienen dudas claro que les podre ayudar.

Todo lo que sigue es referente a la configuracion del servidor, a el final vamos a ver los clientes.

Director

Es el archivo mas complejo ya que aqui se juntan todos los modulos, clientes, base de datos, etc. No se asusten, voy a tratar de explicar cada una de las entradas hasta donde mi entendimiento me deje.

Este archivo esta divido en secciones, cuando instalan bacula la configuracion nos da por default un archivo de nombre bacula-dir.conf.sample, todos los archivos de bacula deben terminar en .conf.

Esta es la 1ra seccion:

NOTA: Aqui ya voy a mostrar la configuracion tal cual la tengo en uno de los servidores que respaldo.

Director { # define myself
Name = bacula-dir
DIRport = 9101 # where we listen for UA connections
QueryFile = "/usr/lib/bacula/query.sql"
WorkingDirectory = "/var/lib/bacula"
PidDirectory = "/var/run"
Maximum Concurrent Jobs = 20
Password = "mi-password" # Console password
Messages = Daemon
}

Detalles:

Name: una cadena de texto abierta, cada quien le pone como guste, asi lo van a conocer todos los clientes.
DIRport = Por default el director usa el puerto 9101, no lo cambien al menos que tengan alguna razon.
QueryFile = Ya esta hecho no cambiarlo.
WorkingDirectory = Directorio que bacula usa para sacar la chamba, logs, bsr, etc, usar el default.
PidDirectory = Los unixeros saben que esto, asi dejenlo.
Maximum Concurrent Jobs = Cuantos jobs al mismo tiempo, prueba y error les dira, cuando quieran respaldar mas de un cliente a la vez tiene que jugar con este valor hasta conseguir su objetivo.
Password = Cuando quieran comunicarse con el director este password necesitaran, cambienlo a su gusto.
Messages = A donde mandar los mensajes, por default a el mismo demonio.

Jobs de Respaldo

Los jobs es lo que bacula usa para configurar las parametros escenciales de cada cliente, ya muchos campos que aparecen los he mencionado, seguimos.

Tenemos 2 tipos aqui, un JobsDefs y Jobs, el 1ro es como una plantilla, la uso por que todos mis clientes tienen muchas opciones en comun, el 2do es ya la configuracion de cada uno de mis clientes, y si se dan cuenta en esta opcion hago un llamado a "JobsDefs".

JobDefs {
Name = "DefaultJob"
Type = Backup
Level = Full
Storage = File
Messages = Standard
Pool = FullFile
}

Definicion.

Name = Entre comillas, nombre de mi plantilla.
Type = Tipo de jobs puede ser, Backup, Restore, Verify, Admin.
NOTA: Cuando vamos a respaldar:Backup, cuando vamos a recuperar datos:Restore, cuando deseamos comparar el contenido de nuestro respaldo vs los archivos reales:Verify, el otro nunca lo he usado.
Level = Ya hable de este.
Storage = Nuestro medio de almacenamiento.
Messages = Tipo de mensaje que enviara cuando termine el jobs ya sea bueno o malo, a correo o archivo. Dejar el que viene por default.
Pool = Ya hable de el.
Priority = Cada job tiene una prioridad, asi que a cada uno le asignamos uno, aqui nunca he tenido problemas, ya que yo ejecuto un cliente a la vez.

Ya tenemos nuestra platilla, ahora sigue definir los jobs, aqui es donde uso mi JobsDefs o mi platilla.

Jobs Para Cliente A

Job {
Name = "BackupXen"
JobDefs = "DefaultJob"
Write Bootstrap = "/var/lib/bacula/xenserver.bsr"
Client = XENSERVER-FD
FileSet = "XENSERVER-FS"
Schedule = "XENSERVER-SCH"
Priority = 11
}

NOTA: Asi es estoy respaldando un linux donde tengo corriendo a Xen para virtualizar.

Definicion:
Name = "" enter comillas, ya saben libre el nombre, consejo que sea el nombre referente a el cliente que van a respaldar, el mio dice BackupXen , entonces eso me dice quien es rapidamente.
JobDefs = "" entre comillas, le hablo a mi plantilla, ya hable de esto anteriormente.
Write Bootstrap = "" entre comillas, es archivo que usa bacula para cada cliente, cuando va a restaurar.
Client = Ahora si, el nombre de mi cliente, existe una configuracion con este nombre, bacula la va a buscar, mas abajo la van a ver.
FileSet = "" entre comillas, igual que la anterior, es donde defininimos lo que vamos a respaldar.
Schedule = "" entre comillas, igual que la anterior, es donde indicamos la agenda a seguir automaticamente.
Priority = Ya le explique.

Jobs de Recuperacion

Asi como existen Jobs para los backups, tenemos que generar los contrarios o sea para recuperar nuestros datos, y aplica lo mismo, podemos tener una plantilla o mas plantillas segun sus gustos.

Tenemos esto:

JobDefs {
Name = "RestoreFiles"
Type = Restore
Storage = File
Pool = FullFile
Messages = Standard
}

Name = un nombre caracteristico.
Type = Restore, no hay de otra aqui.
Storage = Nuestro medio de almacenimiento de donde vamos a sacar los datos.
Pool = Ya se la saben.
Messages = Ya se la saben.

Job Restore Para Cliente A

Job {
Name = "RestoreXENSERVER"
JobDefs = "RestoreFiles"
Client = XENSERVER-FD
FileSet = "XENSERVER-FS"
Where = "/opt/restore"
}

El parametro "Where" lo que dice es para este cliente donde queremos que mande los archivos cuando se restauren. Asi que debe exister ese directorio en el cliente. Yo lo hago para cuando obtengo los datos no sobre escribir los datos actuales.

Hasta aqui ya hemos visto parte de la configuracion, espero ya tengan una idea mas clara de como opera bacula.

File Set

Ahora sigue la seccion donde vamos a indicarle que archivos y directorios deseamos respaldar para cada cliente, van encontrarse con nuevos parametros, algunos ya seran conocidos.

FileSet {
Name = "XENSERVER-FS"
Enable VSS = No
Include {
Options {
signature = MD5
compression = GZIP
}
File = "/etc"
File = "/opt/data"
}
}

NOTA: Poner mucho cuidado en los corchetes {} cuando abrirlos y cerrarlos.

Name = "", arriba en los Jobs definen uno para cada cliente, debe ser el mismo nombre que haya definieron, aqui ya es la configuracion de cada uno de los File Set's.
Include {
Options {
signature = dejar la entrada por default, MD5 es buen algoritmo.
compression = si es en disco, CD,DVD,USB usenla siempre, si es en cinta ponerla en No, ya que la cinta ya tiene compresion por HW, seria innecesario este parametro.
}
File = "" ahora si aqui definimos cada uno de los directorios o archivos a respaldar, no se pueden juntar, ejemplo, tengo un directorio en /var/db y otro en /usr/videos, no puedo hacer esto:
File = "/var/db" "/usr/videos", por cada uno una entrada.
}
}

Hasta aqui hemos trabajado sobre un cliente Linux, voy a mostrar el File Set de un cliente para explicar una funcion que tiene bacula para los clientes Windows, que aparecio apartir de Windows 2000.

Ya posteriormente mostrare todo el archivo completo.

FileSet {
Name = "WINDOWSXP-FS"
Enable VSS = Yes
Include {
Options {
signature = MD5
compression = GZIP
}
File = "C:/Documents and Settings/Administrator/My Documents/"
}
Exclude {
File = "C:/Documents and Settings/Administrator/My Documents/My Music"
}
}

El parametro es:

Enable VSS = yes

Este parametro lo que hace es que antes de empezar a enviar los respaldos, ejecute un "Shadow Copy" de ellos, una vez terminado que los envie.

Otra parte que agregue es:

Exclude, todo lo que aqui se agrege sera ignorado por bacula cuando respalde este cliente. O sea que cuando mande el cliente todos los datos de "My Documents" no mandara todo lo que este dentro de "My Music".

Definicion:
Name = "" Ya sabes el significado.
Enable VSS = Solo para clientes windows Yes / No
Include {
Options {
Aqui van las opciones que deseamos agregar, el manual tiene muchas.
signature = Este parametro no lo toquen nucan he tenido problemas con el.
compression = Deseamos compresion Si o No, Si no estan respaldando en cinta siempre usenlo, ya que cuando se respalda en disco duro, interno, externo, CD, DVD, memorias USB se comprime todo, ahorra espacio. Hacerlo en cinta no es recomendable ya que ya traen compresion por HW, no es recomendable.
}
File = "" Para cada folder o archivo que vayamos a respaldar aqui debemos ponerlo, por cada directorio debe a ver una entrada de estas, no podemos juntarlas asi:
File = /var /usr /etc

Si no que debemos darle a cada uno su entrada asi:
File = /var
File = /usr
File = /etc
}
Exclude {
File = "" aqui ponemos lo que no deseamos respaldar de lo incluido en "Include".
}

Schedule

Aqui vamos a configurar la agenda de bacula, ya que una vez que bacula empiece operaciones, si no existen problemas, el trabajara automaticamente, nomas que necesitamos decirle los horarios para ejecutar cada respaldo, y hay parametros que podemos cambiar si asi lo deseamos.

Schedule {
Name = "XENSERVER-SCH"
Run = mon-fri at 19:00
Run = Level = Differential Storage = File Pool = DiffFile tue-sat at 19:00
}

Definicion:
Name = "", ya saben debe llamarse tal cual lo declararon en el Jobs.
Run = Aque horas lo vamos a ejecutar.

Como podran ver tengo 2 Run, por que? No podemos mezclar, uno para los Full y otro para los diferenciales. Cuando solo pongo la hora, bacula considera los parametros del Job definido, ahora como en mi caso uso un Pool distinto para los diferenciales aqui lo defino como podran ver.

Otro paremetro que puede cambiar es "Storage", en otro servidor tengo una cinta y espacio en disco, tengo 3 Run's asi:

Name = "CATALOG-SCH"
Run = sun at 20:00
Run = Storage = File Pool = FullFile mon at 23:40
Run = Level = Differential Storage = File Pool = DiffFile tue-thu at 21:00

El parametro de la hora nos permite hacer muchas cosas, indicarle un solo dia, varios, cierto dia del mes, de la semana, etc, ejemplo:

tue-thu, que lo ejecute de martes a jueves a las 21:00.
sun, solo el domingo a las 20:00
mon,solo el lunes a las 23:40

Para mas detalles ver el manual.

Clientes

Ahora si viene la configuracion de cada cliente, esta es la informacion que usa el Director para comunicarse con cada cliente.

Client {
Name = XENSERVER-FD
Address = 192.168.50.104
FDPort = 9102
Catalog = MyCatalog
Password = "mi password" # password for FileDaemon
File Retention = 30 days # 30 days
Job Retention = 6 months # six months
AutoPrune = yes # Prune expired Jobs/Files
Maximum Concurrent Jobs = 3
}

Definicion:
Name = Tal cual lo definieron en el Jobs.
Address = Ip o nombre si tienen un hosts o dns funcional.
FDPort = Puerto, los clientes usan el 9102, si quieren otro lo pueden hacer.
Catalog = Nombre de la BD de bacula, yo no he tenido razon de cambiarlo.
Password = "", entre comillas ustedes lo deciden.
File Retention = Cuanto tiempo desean mantener la info en la BD de los archivos para este cliente. Pasando este tiempo bacula los purga para que la BD no crezca demasiado, si tenemos los datos en cinta, aunque los borre aun los podemos recuperar. Este parametro ustedes deben calcularlo bien.
Job Retention = Lo mismo, pero para este jobs, son cosas distintas.
AutoPrune = yes/no, indicarle si deseamos que el purge automaticamente o no para nosotros hacerlo, esto es basado en los parametros anteriores.
Maximum Concurrent Jobs = Ya tendremos la razon de este parametro en la seccion extra.

Storage

Le toca el turno a el medio de almacenamiento, como bacula esta secciona por modulos, aqui solo le indicamos a el Director como comunicarse con el programa que administra los medios de almacenamiento, la configuracion real esta en otro archivo, mas adelante los vamos a ver.

Storage {
Name = File
Address = 192.168.50.130 # N.B. Use a fully qualified name here
SDPort = 9103
Password = "password del sd daemon"
Device = FileStorage
Media Type = File
Maximum Concurrent Jobs = 10
}

Name = File
Address = IP o nombre.
SDPort = Usen el default, al menos que gusten cambiarlo.
Password = "", entre comillas, el que gusten.
Device = Nombre configurado en el archivo bacula-sd-conf
Media Type = Tipo de Medio de almacenamiento.
Maximum Concurrent Jobs = Ya lo mencione anteriormente.

Me gustaria comentar que no hay limite para los servicios de respaldo, podemos tener tantos queramos, por ejemplo si tuvieramos otro servidor donde desearamos enviar datos, solo le indicamos el IP y el password, ese servidor solo debera tener operando el bacula-sd que es nombre del demonio que se encarga delos medios de almacenamiento.

Catalogo

Catalog {
Name = MyCatalog
dbname = "bacula"; dbuser = "bacula"; dbpassword = "mipassword"
}

Sencillo, aqui configuramos los datos para que el director pueda meter o sacar informacion de la BD, muy simple no.

Lo mismo, no necesariamente tenemos que tener nuestro servidor de respaldo donde esta el director, podemos tenerlo en otro equipo, por ejemplo en un sistema de producion, mysql se ejecuta en otro servidor distinto a el de bacula-dir, y mi definicion del Catalogo es asi:

dbname = "bacula"; DB Address =192.168.50.3; dbuser = "bacula"; dbpassword = "passworddelusuario"

Mensajes

Messages {
Name = Standard
mailcommand = "/usr/sbin/bsmtp -h localhost -f \"$Bacula$ \<%r\>\" -s \"Bacula: %t %e of %c %l\" %r"
operatorcommand = "/usr/sbin/bsmtp -h localhost -f \"$Bacula$ \<%r\>\" -s \"Bacula: Intervention needed for %j\" %r"
mail = root@localhost = all, !skipped
operator = root@localhost = mount
console = all, !skipped, !saved
append = "/var/lib/bacula/log" = all, !skipped
catalog = all
}

Messages {
Name = Daemon
mailcommand = "/usr/sbin/bsmtp -h localhost -f \"$Bacula$ \<%r\>\" -s \"Bacula daemon message\" %r"
mail = root@localhost = all, !skipped
console = all, !skipped, !saved
append = "/var/lib/bacula/log" = all, !skipped
}

Esta seccion no la cambien, bacula manda informacion de todo lo que hace via correo local y aparte en un archivo log.

En mi caso, yo hago uso de mi correo interno, para ello utlilizo el programa llamado "SSMTP", a sendmail lo desinstalo ya que es mucho para lo que necesito. Asi me llega todo a mi cuenta de correo, aqui tengo un ejemplo:

Messages {
Name = Standard
mailcommand = "/usr/sbin/bsmtp -h 192.168.50.7:25 -f \"$Bacula$ %r\" -s \"Bacula BajaO: %t %e of %c %l\" %r"
operatorcommand = "/usr/sbin/bsmtp -h 192.168.50.7:25 -f \"$Bacula$ %r\" -s \"Bacula BajaO: Necesito un Favor Para %j\" %r"
mail = root@localhost = all, !skipped
operator = root@localhost = mount
console = all, !skipped, !saved
append = "/var/lib/bacula/log" = all, !skipped
}

Messages {
Name = Daemon
mailcommand = "/usr/sbin/bsmtp -h 192.168.50.7:25 -f \"$Bacula$ %r\" -s \"Bacula Mensaje Demonial\" %r"
mail = root@localhost = all, !skipped
console = all, !skipped, !saved
append = "/var/lib/bacula/log" = all, !skipped
}

Asi de simple.

Aunque no tengamos un servidor de correo, bacula envia los datos a el servicio local de Linux, ademas que todos los mensajes los escribe en /var/lib/bacula/log en distribuciones RedHat y derivados, en FreeBSD van en /var/db/bacula/log, si algun mensaje se les va de la consola, tenemos este archivito "log".

Pools

Ahora viene la definicion de los Pools, que ya hable de ellos anteriormente, asi los tengo declarados:

Pool {
Name = FullFile
Maximum Volumes = 0
Pool Type = Backup
Use Volume Once = no
Maximum Volume Jobs = 8
Maximum Volume Files = 0
Maximum Volume Bytes = 0
Volume Use Duration = 0
Catalog Files = yes
AutoPrune = yes
Volume Retention = 120 days
Recycle Current Volume = no
Recycle = yes
Label Format = FullFile-
}

Definicion:
Name = Ya saben, algo que ustedes conozcan.
Pool Type = Yo solo uso "Backups"
Recycle = yes/no, aqui le indicamos a el director si nuestros volumenes podran reciclarse, asi podremos tener una rotacion, no tenemos cintas para toda la vida!!!
AutoPrune = yes/no, para que el director recicle informacion de la BD.
Volume Retention = Cuanto tiempo un Volumen podran mantenerse intacto, despues de este tiempo se podra reciclar.
Maximum Volume Bytes = Podremos especificar cuantos bytes por cada volumen, yo no lo necesito.
Maximum Volume Jobs = Cuantos Jobs por cada volumen, una vez llegando a esta cantidad el volumen se cierra.
Maximum Volume Files = Cuantos archivos por volumen, no lo utilizo.
Volume Use Duration = Tiempo que deseamos usar cada volumen.
Catalog Files = yes/no, si deseamos que bacula genere un listado de todos los archivos a respaldar, asi cuando recuperemos sea mas rapido, siempre usenlo, le agrega mas info a la BD pero vale la pena.
Recycle Current Volume = yes/no, nunca me he visto en la necesidad de ponerlo en "Yes".
Label Format = Ya hable al respecto, un parametro para todos nuestros volumenes a la hora de crearlos.

Como mencione por cada uno de mis tipo de respaldo tengo un Pool, o sea que uso 2, Full y Diferencial.

Ustedes pueden ya saber como configurar el otro.

Consola

Es la ultima parte de la configuracion, para monitorear el estatus del director los clientes tienen que configurarse en base a estos parametros.

Console {
Name = bacula-mon
Password = "monitor"
CommandACL = status, .status
}

Muy simple.

Definicion:

Name = Nombre que ustedes gusten.
Password = "", clave.
CommandACL = No modificarlo, al menos que sepan que hacen.

Como podran ver, bacula nos permite configurarlo de muchas maneras, aqui ya es cuestion de gustos y necesidades. Vamos a ver un archivo completo:

bacula-dir.conf Completo

###########################################################
### Director Definitions ###
###########################################################

Director { # define myself
Name = bacula-dir
DIRport = 9101 # where we listen for UA connections
QueryFile = "/usr/lib/bacula/query.sql"
WorkingDirectory = "/var/lib/bacula"
PidDirectory = "/var/run"
Maximum Concurrent Jobs = 20
Password = "mipassword" # Console password
Messages = Daemon
}

###########################################################
### Backup JobsDef##
###########################################################

JobDefs {
Name = "DefaultJob"
Type = Backup
Level = Full
Storage = File
Messages = Standard
Pool = FullFile
}

###########################################################
### Backup Job's Definitions ###
###########################################################

Job {
Name = "BackupXen"
JobDefs = "DefaultJob"
Write Bootstrap = "/var/lib/bacula/xenserver.bsr"
Client = XENSERVER-FD
FileSet = "XENSERVER-FS"
Schedule = "XENSERVER-SCH"
Maximum Concurrent Jobs = 3
Priority = 11
}

Job {
Name = "BackupXP"
JobDefs = "DefaultJob"
Write Bootstrap = "/var/lib/bacula/xp.bsr"
Client = WINDOWSXP-FD
FileSet = "WINDOWSXP-FS"
Schedule = "WINDOWSXP-SCH"
Maximum Concurrent Jobs = 3
Priority = 12
}

Job {
Name = "BackupWin7"
JobDefs = "DefaultJob"
Write Bootstrap = "/var/lib/bacula/win7.bsr"
Client = WIN7-FD
FileSet = "WIN7-FS"
Schedule = "WIN7-SCH"
Priority = 13
}

# Backup the catalog database (after the nightly save)
Job {
Name = "BackupCatalog"
JobDefs = "DefaultJob"
Write Bootstrap = "/var/lib/bacula/catalog.bsr"
Client = CATALOG-FD
FileSet="CATALOG-FS"
Schedule = "CATALOG-SCH"
# This creates an ASCII copy of the catalog
# Arguments to make_catalog_backup.pl are:
# make_catalog_backup.pl
#RunBeforeJob = "/usr/lib/bacula/make_catalog_backup.pl MyCatalog"
# This deletes the copy of the catalog
#RunAfterJob = "/usr/lib/bacula/delete_catalog_backup"
Maximum Concurrent Jobs = 3
Priority = 14
}

Job {
Name = "BackupMySQL"
JobDefs = "DefaultJob"
RunScript {
RunsWhen = Before
FailJobOnError = No
Command = "/etc/bacula/backupdb.sh"
}
RunScript {
RunsWhen = After
FailJobOnError = No
Command = "/etc/bacula/deletedb.sh"
}

Write Bootstrap = "/var/lib/bacula/mysqlserver.bsr"
Client = MYSQLSERVER-FD
FileSet = "MYSQLSERVER-FS"
Schedule = "MYSQLSERVER-SCH"
Priority = 15
}

###########################################################
### Restore Jobs ###
###########################################################

### Template ###
JobDefs {
Name = "RestoreFiles"
Type = Restore
Storage = File
Pool = FullFile
Messages = Standard
}

Job {
Name = "RestoreXENSERVER"
JobDefs = "RestoreFiles"
Client = XENSERVER-FD
FileSet = "XENSERVER-FS"
Where = "/opt/restore"
}

Job {
Name = "RestoreWINXP"
JobDefs = "RestoreFiles"
Client = WINDOWSXP-FD
FileSet = "WINDOWSXP-FS"
Where = "C:/restore"
}

Job {
Name = "RestoreWIN7"
JobDefs = "RestoreFiles"
Client = WIN7-FD
FileSet = "WIN7-FS"
Where = "C:/restore"
}

Job {
Name = "RestoreCATALOG"
JobDefs = "RestoreFiles"
Client = CATALOG-FD
FileSet = "CATALOG-FS"
Where = "/opt/restore"
}

Job {
Name = "RestoreMYSQLSERVER"
JobDefs = "RestoreFiles"
Client = MYSQLSERVER-FD
FileSet = "MYSQLSERVER-FS"
Where = "/opt/restore"
}

###########################################################
### File Set Definitions ###
###########################################################

FileSet {
Name = "XENSERVER-FS"
Enable VSS = No
Include {
Options {
signature = MD5
compression = GZIP
}
File = "/etc"
File = "/opt/data"
}
}

### VM-DOS ###
FileSet {
Name = "WINDOWSXP-FS"
Enable VSS = Yes
Include {
Options {
signature = MD5
compression = GZIP
}
File = "C:/Documents and Settings/Administrator/My Documents/"
}
Exclude {
File = "C:/Documents and Settings/Administrator/My Documents/My Music"
}
}

### VM-TRES ###
FileSet {
Name = "WIN7-FS"
Enable VSS = Yes
Include {
Options {
signature = MD5
compression = GZIP
}
File = "C:/Users/Administrator/Pictures"
}
Exclude{

}
}

FileSet {
Name = "CATALOG-FS"
Enable VSS = No
Include {
Options {
signature = MD5
compression = GZIP
}
File = "/etc"
File = "/var/lib/bacula"
File = "/var/log"
File = "/opt/data"
}
}

### MySQL Server ###
FileSet {
Name = "MYSQLSERVER-FS"
Enable VSS = No
Include {
Options {
signature = MD5
compression = GZIP
}
File = "/etc"
File = "/opt/db"
File = "/opt/rpm"
File = "/opt/data"
}
}

###########################################################
### Schedule Definitions ###
###########################################################

Schedule {
Name = "XENSERVER-SCH"
Run = mon at 19:00
Run = Level = Differential Pool = DiffFile tue-sat at 19:00
}

schedule {
Name = "WINDOWSXP-SCH"
Run = mon at 19:30
Run = Differential Pool = DiffFile tue-sat at 19:15
}

Schedule {
Name = "WIN7-SCH"
Run = mon at 20:00
Run = Differential Pool = DiffFile tue-sat at 19:30
}

Schedule {
Name = "CATALOG-SCH"
Run = mon at 20:30
Run = Differential Pool = DiffFile tue-sat at 19:45
}

Schedule {
Name = "MYSQLSERVER-SCH"
Run = mon at 21:00
Run = Differential Pool = DiffFile tue-sat at 20:00
}

###########################################################
### Clients Definitions ###
###########################################################

Client {
Name = XENSERVER-FD
Address = 192.168.50.104
FDPort = 9102
Catalog = MyCatalog
Password = "mipassword"
File Retention = 30 days # 30 days
Job Retention = 6 months # six months
AutoPrune = yes # Prune expired Jobs/Files
Maximum Concurrent Jobs = 3
}

### WINDOWS XP ###
Client {
Name = WINDOWSXP-FD
Address = 192.168.50.122
FDPort = 9102
Catalog = MyCatalog
Password = "mipassword" # password for FileDaemon
File Retention = 30 days # 30 days
Job Retention = 6 months # six months
AutoPrune = yes # Prune expired Jobs/Files
Maximum Concurrent Jobs = 3
}

### WINDOWS 7 ###
Client {
Name = WIN7-FD
Address = 192.168.50.121
FDPort = 9102
Catalog = MyCatalog
Password = "mipassword" # password for FileDaemon
File Retention = 30 days # 30 days
Job Retention = 6 months # six months
AutoPrune = yes # Prune expired Jobs/Files
}

Client {
Name = CATALOG-FD
Address = 192.168.50.130
FDPort = 9102
Catalog = MyCatalog
Password = "mipassword" # password for FileDaemon
File Retention = 30 days # 30 days
Job Retention = 6 months # six months
AutoPrune = yes # Prune expired Jobs/Files
Maximum Concurrent Jobs = 3
}

Client {
Name = MYSQLSERVER-FD
Address = 192.168.50.3
FDPort = 9102
Catalog = MyCatalog
Password = "mipassword" # password for FileDaemon
File Retention = 30 days # 30 days
Job Retention = 6 months # six months
AutoPrune = yes # Prune expired Jobs/Files
Maximum Concurrent Jobs = 3
}

###########################################################
### Storage Definitions ###
###########################################################

Storage {
Name = File
Address = 192.168.50.130 # N.B. Use a fully qualified name here
SDPort = 9103
Password = "mipassword"
Device = FileStorage
Media Type = File
Maximum Concurrent Jobs = 10
}

###########################################################
### Catalog ###
###########################################################

Catalog {
Name = MyCatalog
# Uncomment the following line if you want the dbi driver
# dbdriver = "dbi:mysql"; dbaddress = 127.0.0.1; dbport =
# dbname = "bacula"; dbuser = "bacula"; dbpassword = "bacula"
dbname = "bacula"; DB Address =192.168.50.3; dbuser = "bacula"; dbpassword = "userpassword"
}

###########################################################
### Message Definitions ###
###########################################################

Messages {
Name = Standard

mailcommand = "/usr/sbin/bsmtp -h localhost -f \"$Bacula$ \<%r\>\" -s \"Bacula: %t %e of %c %l\" %r"
operatorcommand = "/usr/sbin/bsmtp -h localhost -f \"$Bacula$ \<%r\>\" -s \"Bacula: Intervention needed for %j\" %r"
mail = root@localhost = all, !skipped
operator = root@localhost = mount
console = all, !skipped, !saved

append = "/var/lib/bacula/log" = all, !skipped
catalog = all
}

Messages {
Name = Daemon
mailcommand = "/usr/sbin/bsmtp -h localhost -f \"$Bacula$ \<%r\>\" -s \"Bacula daemon message\" %r"
mail = root@localhost = all, !skipped
console = all, !skipped, !saved
append = "/var/lib/bacula/log" = all, !skipped
}

###########################################################
### Pools ###
###########################################################

### Full Files ###
Pool {
Name = FullFile
Maximum Volumes = 0
Pool Type = Backup
Use Volume Once = no
Maximum Volume Jobs = 8
Maximum Volume Files = 0
Maximum Volume Bytes = 0
Volume Use Duration = 0
Catalog Files = yes
AutoPrune = yes
Volume Retention = 120 days
Recycle Current Volume = no
Recycle = yes
Label Format = FullFile-
}

Pool {
Name = DiffFile
Pool Type = Backup
Use Volume Once = no
Maximum Volume Jobs = 24
Maximum Volume Files = 0
Maximum Volume Bytes = 0
Volume Use Duration = 0
Catalog Files = yes
Recycle = yes
AutoPrune = yes
Volume Retention = 120 days
Label Format = FileDiff-
}

# Scratch pool definition
Pool {
Name = Scratch
Pool Type = Backup
}

#
# Restricted console used by tray-monitor to get the status of the director
#
Console {
Name = bacula-mon
Password = "Monitor"
CommandACL = status, .status
}

Muy bien, ya tenemos el archivo de configuracion del director, ahora sigue configurar el
encargado de los medios de almacenamiento.

Bacula Storage Daemon

Storage { # definition of myself
Name = bacula-sd
SDPort = 9103 # Director's port
WorkingDirectory = "/var/lib/bacula"
Pid Directory = "/var/run"
Maximum Concurrent Jobs = 20
}

Name = Nombre deseado.
SDPort = Puerto Especifico.
WorkingDirectory = Directorio temporal, no modificar.
Pid Directory = No modificar.
Maximum Concurrent Jobs = Nunca he sobre pasado este limite, asi que dejenlo como esta.

Director {
Name = bacula-dir
Password = "password-deseado"
}

Directores que tienen permitido accesar esta demonio.

Name = Nombre del director.
Password = Password que tiene usar el director si desea contactar a este demonio.

Director {
Name = bacula-mon
Password = "monitor-password"
Monitor = yes

}

Name = Nombre de la consola de bacula para estatus.
Password = Password para contactar el monitor.
Monitor = No cambiar si desean ser contactados por monitores.

Device {
Name = FileStorage
Media Type = File
Archive Device = /opt/backups
LabelMedia = yes; # lets Bacula label unlabeled media
Random Access = Yes;
AutomaticMount = yes; # when device opened, read it
RemovableMedia = no;
AlwaysOpen = no;
}

Name = Nombre de este medio de almacenamiento, el director asi lo conoce.
Media Type = Tipo de medio de almacenamiento.
Archive Device = Ubicacion fisica de este recurso, debe existir este directorio.
LabelMedia = Se permite etiquetar o no este medio, default si.
Random Access = No modificar.
AutomaticMount = No modificar.
RemovableMedia = Para almacenamiento en disco duro "No" para otros cambia.
AlwaysOpen = No modificar para disco duro.

Messages {
Name = Standard
director = bacula-dir = all
}

No modificar estos parametros.

Tiene mas datos el archivo de configuracion, pero es solo para manejar cintas, dvd's, etc. Aqui solo hemos manejado disco duro, asi que todo lo que necesitamos esta en la configuracion anterior.

Ya hay muchos parametros estan por demas explicitos, pero de todos modos los tratamos de explicarlos.

Ahora vamos a ver la configuracion total.

bacula-sd.conf

Storage { # definition of myself
Name = bacula-sd
SDPort = 9103 # Director's port
WorkingDirectory = "/var/lib/bacula"
Pid Directory = "/var/run"
Maximum Concurrent Jobs = 20
}

Director {
Name = bacula-dir
Password = "mi-password"
}

Director {
Name = bacula-mon
Password = "monitor-password"
Monitor = yes

}

Device {
Name = FileStorage
Media Type = File
Archive Device = /opt/backups
LabelMedia = yes; # lets Bacula label unlabeled media
Random Access = Yes;
AutomaticMount = yes; # when device opened, read it
RemovableMedia = no;
AlwaysOpen = no;
}

Messages {
Name = Standard
director = bacula-dir = all
}

Demonio FD

Este tambie es un archivo muy simple, asi es bacula. Vamos a seguir el mismo formato, vamos a mostrar la configuracion y tratar de explicar cada parametro mostrado, hay muchos que nunca se van a cambiar por ello los indico.

Director {
Name = bacula-dir
Password = "password-de-este-cliente"
}

Name = Nombre del director que tiene permitido accesar a este cliente.
Password = Clave que se solicita a el director que desea contactar este cliente.

Director {
Name = bacula-mon
Password = "monitor-password"
Monitor = yes
}

Name = Ya saben la razon de estos parametros.
Password = Clave del monitor.
Monitor = no modificar.

FileDaemon {
Name = uno-fd
FDport = 9102
WorkingDirectory = /var/lib/bacula
Pid Directory = /var/run
Maximum Concurrent Jobs = 20
}

Name = Nombre de este cliente, asi lo conocen los directores.
FDport = No modificarlo.
WorkingDirectory = No modificarlo.
Pid Directory = No modificarlo.
Maximum Concurrent Jobs = No modificarlo.

Messages {
Name = Standard
director = bacula-dir = all, !skipped, !restored
}

Ya saben este ultimo parametro. Ahora vamos a ver el archivo completo.

bacula-fd.conf

Director {
Name = bacula-dir
Password = "password-cliente"
}

Director {
Name = bacula-mon
Password = "password-monitor"
Monitor = yes
}

FileDaemon {
Name = uno-fd
FDport = 9102
WorkingDirectory = /var/lib/bacula
Pid Directory = /var/run
Maximum Concurrent Jobs = 20
}

Messages {
Name = Standard
director = bacula-dir = all, !skipped, !restored
}

Me gustaria comentar que los archivos de los clientes tambien es muy sencillo y aparte que Unix a Windows no cambian en nada, son los mismos parametros, lo que cambia es la ruta a directorios o archivos.

Consola de bacula

Por ultimo la consola para administrar a bacula. El mas simple de todos.

Director {
Name = bacula-dir
DIRport = 9101
address = 192.168.50.130
Password = "password-del-director"
}

Name = Nombre del director.
DIRport = No mover.
address = IP del director, si tienen dns y opera lo pueden usar.
Password = Password del director para contactarlo bacula-dir.conf.

bconsole.conf

Director {
Name = bacula-dir
DIRport = 9101
address = 192.168.50.130
Password = "passwod-del-director"
}

Revision de Sintaxis

Para el director, nuestra bd debe estar lista para trabajar.

Bien, hasta aqui ya tenemos los 4 archivos escenciales de bacula, tanto del lado del servidor como del cliente. Lo que sigue es verficar que no haya errores de sintaxis, para ello cada demonio de bacula tiene su forma de hacerlo, asi:

bacula-dir -t -c /etc/bacula/bacula-dir.conf
bacula-sd -t -c /etc/bacula/bacula-sd.conf
bacula-fd -t -c /etc/bacula/bacula-fd.conf
bconsole -t -c /etc/bacula/bconsole.conf

Si no retorna nada es que todo esta correctamente, de lo contrario nos indica la linea donde se produce el problema.

Si aparecen errores ya saben que deben repararlos antes de seguir.

MySQL 5.1: Desempeño de MySQL con mysqlslap

2010-09-25T15:58:00.000-07:00

Esta estamos trabajando con MySQL, necesito poner a operar un servidor con MySQL para la empresa, como ya vieron la base de datos es MySQL 5.1.

Para esto existen muchas herramientas para esto, pero esta vez nos vamos a enforcar sobre:

mysqlslap

Viene por default cuando instalas mysql, estoy trabajando sobre Centos 5.5 en una maquina virtual con Xen:

uname -a
Linux 2.6.18-194.11.3.el5xen #1 SMP Mon Aug 30 16:55:32 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux

La version de MySQL es:

MySQL-client-community.x86_64 5.1.50-1.rhel5 installed
MySQL-devel-community.x86_64 5.1.50-1.rhel5 installed
MySQL-server-community.x86_64 5.1.50-1.rhel5 installed
MySQL-shared-compat.x86_64 5.1.50-1.rhel5 installed

Centos aun sigue trabajando sobre MySQL 5.0.x, muchas funciones que necesitamos de MySQL no las tiene la version 5.0 por ello decidimos irnos por la version que nos proporciona mysql.com.

Bien, vamos a empezar, que version estamos usando de mysqlslap:

mysqlslap Ver 1.0 Distrib 5.1.50, for unknown-linux-gnu (x86_64)

Ahora mysqlslap tiene la opcion de poner trabajar sobre las engines de mysql, he trabajado con otras herramientas para desempeño de mysql y muchas no tiene soporte para otras engines sino solo para myisam.

La engine o motor de MySQL que me interesa es InnoDB por varias funciones que MyISAM no trae , una de ella es "ROLL BACK", la version 5.5 de MySQL ya trae a InnoDB como motor principal asi que tenemos que ir adaptandonos a el cambio.

La bd con la que vamos a trabajar se llama: sbinno y la tabla se llama: sbtest con estos campos:

+-------+------------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+-------+------------------+------+-----+---------+----------------+
| id | int(10) unsigned | NO | PRI | NULL | auto_increment |
| k | int(10) unsigned | NO | MUL | 0
| c | char(120) | NO
| pad | char(60) | NO
| vchar | varchar(30) | NO | | NULL
+-------+------------------+------+-----+---------+----------------+

Vamos empezando a correr las primeras pruebas, vamos empezando insertando datos a la tabla con mysqlslap:

[root@mysqlmaster ~]# mysqlslap --user=root --password=mipassword --engine=innodb --create-schema="sbinno" --query="INSERT INTO sbtest (k,c,pad,vchar) VALUES (1234567890,'Esta es la informacion que vamos a meter en el campo de nombre c de la tabla sbtest de la base de datos nombre sbinno','Aqui vamos a poner su direccion donde viven calle # colonia','Lugar donde trabajan aqui va')" --number-of-queries=10000

Vamos que estamos haciendo:

--engine=innodb especificamos el motor a usar.
--create-schema="sbinno" la bd que con la que deseamos trabajar.
--query= el comando sql que deseamos ejecutar.
--number-of-queries=10000 cuantes repeticiones deseamos del comando.

1er ejemplo:

mysqlslap --user=root --password=mipassword --engine=innodb --create-schema="sbinno" --query="INSERT INTO sbtest (k,c,pad,vchar) VALUES (1234567890,'bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla','bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla','bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla')" --number-of-queries=1000
Benchmark
Running for engine innodb
Average number of seconds to run all queries: 1.392 seconds
Minimum number of seconds to run all queries: 1.392 seconds
Maximum number of seconds to run all queries: 1.392 seconds
Number of clients running queries: 1
Average number of queries per client: 1000

Ya cada quien decide que datos agregarle.

Podemos ver los resultados el tiempo que le llevo agregar los 1000 registros.

Centos 5.5: Incrementar una particion logica LVM

2010-09-22T23:00:00.000-07:00

NOTA: Antes de llevar a cabo este proceso, recordar que si algun servicio depende de este particion debemos apagar esos servicios para que no sea afectados, en mi caso Samba opera en esta particion, tuve que apagar todos los servicios de samba: smb, nmb, windbind.

Otro caso, cuando necesito hacer esto en el servidor de correo, tengo que apagar por ejemplo: postfix, dovecot, y revisar que nadie este dentro del directorio con el comando lsof ejemplo:

lsof | grep /home

sof | grep /home
imap       3794     user1 cwd       DIR      253,2      4096    6488065 /home/user1
imap       3794     user1 mem       REG      253,2    113664   17629545 /home/user1/Maildir/dovecot.index.cache
imap       3794     user1 mem       REG      253,2     23048   17629544 /home/user1/Maildir/dovecot.index.log
imap       3794     user1 mem       REG      253,2      1792    6490085 /home/user1/Maildir/dovecot.index
imap       3794     user1    7u      REG      253,2      1792    6490085 /home/user1/Maildir/dovecot.index
imap       3794     user1    8u      REG      253,2     23048   17629544 /home/user1/Maildir/dovecot.index.log
imap       3794     user1    9u      REG      253,2    113664   17629545 /home/user1/Maildir/dovecot.index.cache
imap       4225     user1 cwd       DIR      253,2      4096    6488065 /home/user1
imap       4225     user1 mem       REG      253,2     39836    6750287 /home/user1/Maildir/.Drafts/dovecot.index.log
imap       4225     user1 mem       REG      253,2       144   17825894 /home/user1/Maildir/.Drafts/dovecot.index
imap       4225     user1    7u      REG      253,2       144   17825894 /home/user1/Maildir/.Drafts/dovecot.index
imap       4225     user1    8u      REG      253,2     39836    6750287 /home/user1/Maildir/.Drafts/dovecot.index.log
imap       4842 user2 cwd       DIR      253,2      4096   14549015 /home/user2
imap       4842 user2 mem       REG      253,2    613376   14549783 /home/user2/Maildir/dovecot.index.cache
imap       4842 user2 mem       REG      253,2     88196   13763032 /home/user2/Maildir/dovecot.index.log
imap       4842 user2 mem       REG      253,2     12736    1900617 /home/user2/Maildir/dovecot.index
imap       4842 user2    7u      REG      253,2     12736    1900617 /home/user2/Maildir/dovecot.index
imap       4842 user2    8u      REG      253,2     88196   13763032 /home/user2/Maildir/dovecot.index.log
imap       4842 user2    9u      REG      253,2    613376   14549783 /home/user2/Maildir/dovecot.index.cache
imap       4849 user2 cwd       DIR      253,2      4096   14549015 /home/user2

Tengo que estar 100% seguro que nadie esta usando el directorio.

Vamos a ver:

1; Si sabemos que tenemos espacio fisico manos a la obra, revisamos cuanto espacio tenemos en nuestro grupo, ya que un Volumen Logico(LogicalVolume) pertenece a uno:

#vgdisplay
--- Volume group ---
VG Name               VolGroup00
System ID
Format                lvm2
Metadata Areas        1
Metadata Sequence No 8
VG Access             read/write
VG Status             resizable
MAX LV                0
Cur LV                7
Open LV               6
Max PV                0
Cur PV                1
Act PV                1
VG Size               55.88 GB
PE Size               32.00 MB
Total PE              1788
Alloc PE / Size       1256 / 39.25 GB
Free PE / Size       532 / 16.62 GB
VG UUID               M9IZt3-dsAt-AdZw-yG4n-D46i-s6hM-Nxxdyb

Tenemos : 16GB dispnibles para poder repartir, vamos a agradar nuestro VolumenLogico de nombre: LogVol05 6GB mas.

Este es su espacio antes de llevar a cabo el proceso:

/dev/mapper/VolGroup00-LogVol05 15871      7771      7282 52% /opt

2; Vamos a darle 6GB mas.
lvextend -L+6G /dev/VolGroup00/LogVol05

3; Desmontamos la particion, verificando que nada este abierto en la particion:

umount /opt

4; Verificamos la particion:

e2fsck -f /dev/VolGroup00/LogVol05
e2fsck 1.39 (29-May-2006)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
/dev/VolGroup00/LogVol05: 2854/4194304 files (73.2% non-contiguous), 2120610/4194304 blocks

5; Agrandamos la particion:

resize2fs /dev/VolGroup00/LogVol05
resize2fs 1.39 (29-May-2006)
Resizing the filesystem on /dev/VolGroup00/LogVol05 to 5767168 (4k) blocks.
The filesystem on /dev/VolGroup00/LogVol05 is now 5767168 blocks long.

6; Montamos la particion y revisamos el nuevo tamaño:

/dev/mapper/VolGroup00-LogVol05 21823      7771     12926 38% /opt

7; Levantar servicios que fueron apagados antes de iniciar este proceso y revisar su operacion, saludos!!!

Centos 5.x x64 : instalar super-smack 1.3

2010-09-21T17:34:00.000-07:00

Ahi va, tenemos que tener:

MySQL-client-community.x86_64 5.1.50-1.rhel5 installed
MySQL-devel-community.x86_64 5.1.50-1.rhel5 installed
MySQL-server-community.x86_64 5.1.50-1.rhel5 installed
MySQL-shared-compat.x86_64 5.1.50-1.rhel5 installed

Y como super-smack no sabe hacerca de /usr/lib64 tenemos que indicarle, para esto ya tenemos el codigo y estamos en la carpeta de super-smack1.3:

./configure --with-mysql --with-mysql-lib=/usr/lib64/

Building with the following options:

MySQL Support..................... yes
PostgreSQL Support................ no
Oracle Support.................... no

If this is not what you intended, please re-run configure.

Thanks for using super-smack!

Esto sale despues de un chorizo mas grande. Tambien debemos tener libtool y sus allegados, texinfo.

Bien una vez ejecutado configure, vamos a ejecutar make, pero debemos hacer lo siguiente para arquitecturas de 64bits, abrir el archivo src/query.cc e irse a la linea aprox. 188 y modificar esa parte del codigo como sigue:

void Query_report::fd_send(int fd)
{
map >::iterator i =
type_reports.begin();
char buf[MAX_REPORT_LEN];
int len = 0, num_recs = 0;
char* p = (char*)buf + 1, *p_end = (char*)buf+sizeof(buf);

while(i != type_reports.end())
{
string s((*i).first);
int str_len = (*i).first.length();
if((long)p + str_len + 3 *sizeof(int) < (long)p_end )
{
*p++ = (char) str_len;
const char* q_type_name = s.c_str();
memcpy(p,q_type_name , str_len);
p += str_len;
memcpy(p, &((*i).second->num_queries), sizeof(int));
p += sizeof(int);
memcpy(p, &((*i).second->max_time), sizeof(int));
p += sizeof(int);
memcpy(p, &((*i).second->min_time), sizeof(int));
p += sizeof(int);
i++;
num_recs++;
}
else
die(0, "report buffer overflow -- too many query types");
}

len = (long)p - (long)buf;

Revisen bien que necesitan modificar.

Ahora si lo instalamos:
[root@mbx-mysqlmaster super-smack-1.3]# make install
Making install in src
make[1]: Entering directory `/usr/app/bench/super-smack-1.3/src'
make[2]: Entering directory `/usr/app/bench/super-smack-1.3/src'
/bin/sh ../mkinstalldirs /usr/local/bin
/usr/bin/install -c super-smack /usr/local/bin/super-smack
/usr/bin/install -c gen-data /usr/local/bin/gen-data
make[2]: Nothing to be done for `install-data-am'.
make[2]: Leaving directory `/usr/app/bench/super-smack-1.3/src'
make[1]: Leaving directory `/usr/app/bench/super-smack-1.3/src'
make[1]: Entering directory `/usr/app/bench/super-smack-1.3'
make[2]: Entering directory `/usr/app/bench/super-smack-1.3'
make[2]: Nothing to be done for `install-exec-am'.
/bin/sh ./mkinstalldirs /usr/share/smacks /var/smack-data
mkdir /usr/share/smacks
mkdir /var/smack-data
cp -rp ./smacks/* /usr/share/smacks
make[2]: Leaving directory `/usr/app/bench/super-smack-1.3'
make[1]: Leaving directory `/usr/app/bench/super-smack-1.3'

Ya solo necesito ver como hacerle para no se vaya a /usr/local/bin. Animo!!!

FreeBSD 8: Actualizar reglas de spamassassin via proxy

2010-09-20T02:31:00.001-07:00

Como puedo actualizar a spamassassin que esta atras de un web proxy como squid?

Necesitamos dar de alta una variable de sistema, como usamos chs, sa espera que la variable sea dada de alta como si fuera linux, ni modo asi es esto:

http_proxy = http://usuario:password@ip:puerto

Seria dar de alta la variable en .cshrc asi:

http_proxy "http://usuario:password@192.168.1.2:3128"

Listo.

Centos 5.x: MySQL Tools

2010-09-14T23:16:00.001-07:00

Vamos viendo que herramientas podemos usar para saber el desempeño de MySQL, vamos empezando por: msqlreport.

Lo bajamos del site: http://hackmysql.com/mysqlreport

Descomprimimos y empezamos a trabajar sobre el:

#./mysqlreport
./mysqlreport
install_driver(mysql) failed: Can't locate DBD/mysql.pm in @INC (@INC contains: /usr/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi /usr/lib/perl5/site_perl/5.8.8 /usr/lib/perl5/site_perl /usr/lib64/perl5/vendor_perl/5.8.8/x86_64-linux-thread-multi /usr/lib/perl5/vendor_perl/5.8.8 /usr/lib/perl5/vendor_perl /usr/lib64/perl5/5.8.8/x86_64-linux-thread-multi /usr/lib/perl5/5.8.8 .) at (eval 7) line 3.
Perhaps the DBD::mysql perl module hasn't been fully installed,
or perhaps the capitalisation of 'mysql' isn't right.
Available drivers: DBM, ExampleP, File, Gofer, Proxy, Sponge.
at ./mysqlreport line 249

Bien, vamos a ver necesitamos instalar los siguientes paquetes antes de continuar:

yum install perl-DBD-mysql

Ahora ejecutamos ahora si el programa con los parametros del servidor:

./mysqlreport --user username --password mipassword

Use of uninitialized value in multiplication (*) at ./mysqlreport line 829.
Use of uninitialized value in formline at ./mysqlreport line 1227.
MySQL 5.1.50-community- uptime 0 6:19:10 Tue Sep 14 23:30:32 2010

__ Key _________________________________________________________________
Buffer used 28.00k of 384.00M %Used: 0.01
Current 71.85M %Usage: 18.71
Write hit 35.75%
Read hit 94.88%

__ Questions ___________________________________________________________
Total 3.05k 0.1/s
Com_ 1.64k 0.1/s %Total: 53.82
QC Hits 630 0.0/s 20.66
DMS 458 0.0/s 15.02
COM_QUIT 327 0.0/s 10.72
-Unknown 7 0.0/s 0.23
Slow 10 s 1 0.0/s 0.03 %DMS: 0.22 Log: OFF
DMS 458 0.0/s 15.02
SELECT 395 0.0/s 12.96 86.24
INSERT 33 0.0/s 1.08 7.21
DELETE 27 0.0/s 0.89 5.90
UPDATE 2 0.0/s 0.07 0.44
REPLACE 1 0.0/s 0.03 0.22
Com_ 1.64k 0.1/s 53.82
set_option 611 0.0/s 20.04
show_tables 232 0.0/s 7.61
change_db 192 0.0/s 6.30

Scan 719 0.0/s %SELECT: 182.03
Range 0 0/s 0.00
Full join 0 0/s 0.00
Range check 0 0/s 0.00
Full rng join 0 0/s 0.00
Sort scan 18 0.0/s
Sort range 0 0/s
Sort mrg pass 0 0/s

__ Query Cache _________________________________________________________
Memory usage 165.27k of 32.00M %Used: 0.50
Block Fragmnt 1.70%
Hits 630 0.0/s
Inserts 197 0.0/s
Insrt:Prune 197:1 0.0/s
Hit:Insert 3.20:1

__ Table Locks _________________________________________________________
Waited 0 0/s %Total: 0.00
Immediate 536 0.0/s

__ Tables ______________________________________________________________
Open 35 of 512 %Cache: 6.84
Opened 51 0.0/s

__ Connections _________________________________________________________
Max used 4 of 151 %Max: 2.65
Total 329 0.0/s

__ Created Temp ________________________________________________________
Disk table 143 0.0/s
Table 687 0.0/s Size: 16.0M
File 5 0.0/s

__ Threads _____________________________________________________________
Running 1 of 1
Cached 3 of 8 %Hit: 98.78
Created 4 0.0/s
Slow 0 0/s

__ Aborted _____________________________________________________________
Clients 0 0/s
Connects 10 0.0/s

__ Bytes _______________________________________________________________
Sent 1.80M 79.3/s
Received 245.42k 10.8/s

__ InnoDB Buffer Pool __________________________________________________
Usage 304.00k of 8.00M %Used: 3.71
Read hit 84.42%
Pages
Free 493 %Total: 96.29
Data 19 3.71 %Drty: 0.00
Misc 0 0.00
Latched 0.00
Reads 77 0.0/s
From file 12 0.0/s 15.58
Ahead Rnd 1 0.0/s
Ahead Sql 0 0/s
Writes 0 0/s
Flushes 0 0/s
Wait Free 0 0/s

__ InnoDB Lock _________________________________________________________
Waits 0 0/s
Current 0
Time acquiring
Total 0 ms
Average 0 ms
Max 0 ms

__ InnoDB Data, Pages, Rows ____________________________________________
Data
Reads 25 0.0/s
Writes 3 0.0/s
fsync 3 0.0/s
Pending
Reads 0
Writes 0
fsync 0

Pages
Created 0 0/s
Read 19 0.0/s
Written 0 0/s

Rows
Deleted 0 0/s
Inserted 0 0/s
Read 0 0/s
Updated 0 0/s

Le toca el turno a mysqltuner, lo bajamos de:

http://blog.mysqltuner.com/

Lo ponemos en modo script:

chmod +x mysqltuner.pl

./mysqltuner.pl

>> MySQLTuner 1.0.1 - Major Hayden
>> Bug reports, feature requests, and downloads at http://mysqltuner.com/
>> Run with '--help' for additional options and output filtering
Please enter your MySQL administrative login: root
Please enter your MySQL administrative password:

-------- General Statistics --------------------------------------------------
[--] Skipped version check for MySQLTuner script
[OK] Currently running supported MySQL version 5.1.50-community-log
[OK] Operating on 64-bit architecture

-------- Storage Engine Statistics -------------------------------------------
[--] Status: -Archive -BDB -Federated +InnoDB -ISAM -NDBCluster
[--] Data in MyISAM tables: 924B (Tables: 9)
[!!] InnoDB is enabled but isn't being used
[OK] Total fragmented tables: 0

-------- Performance Metrics -------------------------------------------------
[--] Up for: 15m 18s (28 q [0.031 qps], 15 conn, TX: 26K, RX: 1K)
[--] Reads / Writes: 100% / 0%
[--] Total buffers: 1.4G global + 12.4M per thread (151 max threads)
[!!] Maximum possible memory usage: 3.3G (167% of installed RAM)
[!!] Slow queries: 10% (3/28)
[OK] Highest usage of available connections: 0% (1/151)
[OK] Key buffer size / total MyISAM indexes: 384.0M/120.0K
[!!] Query cache efficiency: 0.0% (0 cached / 14 selects)
[OK] Query cache prunes per day: 0
[OK] Sorts requiring temporary tables: 0% (0 temp sorts / 1 sorts)
[OK] Temporary tables created on disk: 0% (0 on disk / 8 total)
[OK] Thread cache hit rate: 93% (1 created / 15 connections)
[OK] Table cache hit rate: 82% (32 open / 39 opened)
[OK] Open file limit used: 5% (68/1K)
[OK] Table locks acquired immediately: 100% (18 immediate / 18 locks)
[!!] Connections aborted: 13%

-------- Recommendations -----------------------------------------------------
General recommendations:
Add skip-innodb to MySQL configuration to disable InnoDB
MySQL started within last 24 hours - recommendations may be inaccurate
Reduce your overall MySQL memory footprint for system stability
Your applications are not closing MySQL connections properly
Variables to adjust:
*** MySQL's maximum memory usage is dangerously high ***
*** Add RAM before increasing MySQL buffer variables ***
query_cache_limit (> 1M, or use smaller result sets)

Ahora le toca a innotop este lo bajamos de:

http://code.google.com/p/innotop/downloads/list

Descomprimimos y vemos que necesitamos:

perl Makefile.PL
Checking if your kit is complete...
Looks good
Warning: prerequisite Term::ReadKey 2.1 not found.
Writing Makefile for innotop

Necesitamos instalar:

yum install perl-TermReadKey

Ahora si lo instalamos:

make install
cp innotop blib/script/innotop
/usr/bin/perl "-MExtUtils::MY" -e "MY->fixin(shift)" blib/script/innotop
Manifying blib/man1/innotop.1
Installing /usr/share/man/man1/innotop.1
Installing /usr/bin/innotop
Writing /usr/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/auto/innotop/.packlist
Appending installation info to /usr/lib64/perl5/5.8.8/x86_64-linux-thread-multi/perllocal.pod

Probando:

innotop --u root --password mi-password

When Load QPS Slow QCacheHit KCacheHit BpsIn BpsOut
Total 0.00 0.12 0 42.86% 100.00% 5.27 82.19

Cmd ID State User Host DB Time Query
Daemon 1 Waiting on empty q event_sc localhost 14:31

Listo.

Ahora le toca el turno a mysqlsla, este lo bajamos de:

http://hackmysql.com/mysqlsla

Lo mismo, descomprimimos y a instalar, leer el INSTALL ee.

perl Makefile.PL
Checking if your kit is complete...
Looks good

make
cp lib/mysqlsla.pm blib/lib/mysqlsla.pm
cp bin/mysqlsla blib/script/mysqlsla
/usr/bin/perl "-MExtUtils::MY" -e "MY->fixin(shift)" blib/script/mysqlsla
Manifying blib/man3/mysqlsla.3pm

make install
Installing /usr/lib/perl5/site_perl/5.8.8/mysqlsla.pm
Installing /usr/share/man/man3/mysqlsla.3pm
Installing /usr/bin/mysqlsla
Writing /usr/lib64/perl5/site_perl/5.8.8/x86_64-linux-thread-multi/auto/mysqlsla/.packlist
Appending installation info to /usr/lib64/perl5/5.8.8/x86_64-linux-thread-multi/perllocal.pod

Probamos:

mysqlsla --log-type slow
Report for slow logs:
0 queries total, 0 unique
Sorted by 't_sum'
Grand Totals: Time 0 s, Lock 0 s, Rows sent 0, Rows Examined 0

Aun no tenemos nada listo, pero ahi esta corriendo.

Otro mas mytop y mtop.

super-smack.

Debemos copear el archivo /usr/share/smack/select-key.smack ahi mismo con el nombre select-key-mysql.smack.

Editarlo a nuestros parametros.

Y por ejemplo ejecutarlo asi:

super-smack -d mysql select-key-mysql.smack 10 1000

Query Barrel Report for client smacker1
connect: max=203ms min=0ms avg= 43ms from 10 clients
Query_type num_queries max_time min_time q_per_s
select_index 20000 0 0 38950.44

Aqui genera una tabla myisam.

Le toca el turno a sysbench, Centos 5.5 tiene la 0.4.10, del sitio podemos descargar la 0.4.12, es lo que vamos hacer e instalar.

Leyendo el INSTALL del src dice que debemos hacer esto:

1; Desempaquetar el archivo .tar.gz.
2; Entrar a el directorio creado.
3; Ejecutar:
./configure
4; Ejecutar
make ---->Pero antes de instalar libtool,autocof,gcc,gcc-c++ con yum.
5; make install

Listo ya tenemos a sysbench operable.

Vamos a generar una tabla de nombre sbtest como dice el manual con

FreeBSD 8.x: Modulo coretemp

2010-09-13T14:00:00.000-07:00

Tengo problemas con un servidor supermicro 1U que tiene un Xeon dual core CPU: Intel(R) Xeon(R) CPU E3110 @ 3.00GHz (2999.68-MHz K8-class CPU).

Este servidor tiene la funcion de spam filter. Sus uptimes no han sido revasados:

bsdsar
Time % User % Sys % Nice % Intrpt % Idle
00:00 0 0 0 0 100
01:00 0 0 0 0 100
02:00 0 0 0 0 100
03:00 0 0 0 0 100
04:00 0 0 0 0 100
05:00 0 0 0 0 100
06:00 0 1 0 0 99
07:00 0 0 0 0 100
08:00 0 0 0 0 100
08:45 0 0 0 0 100
08:50 0 0 0 0 100
08:55 0 0 0 0 100
09:00 0 0 0 0 100
09:45 0 0 0 0 100
09:50 0 0 0 0 100
09:55 0 0 0 0 100
10:00 0 0 0 0 100
10:45 0 0 0 0 100
10:50 0 0 0 0 100
10:55 0 0 0 0 100
11:00 0 0 0 0 100
11:45 0 0 0 0 100
11:50 0 0 0 0 100
11:55 0 0 0 0 100
12:00 0 0 0 0 100
12:45 0 0 0 0 100
12:50 0 0 0 0 100
12:55 0 0 0 0 100
13:00 0 0 0 0 99
13:45 3 4 0 0 94
13:50 3 3 0 0 94
13:55 2 4 0 0 94
14:00 3 3 0 0 94

Por alguna razon turbia se me congela cada 2 o 3 semanas, no es nuevo pero quiero pensar que algo hace que se caliente y le pase esto, la desventaja es que no lo tengo en mi oficina, sino en las oficinas centrales que solo visito 1 vez a la semana.

Solo una vez me toco estar presente cuando se congelo, cuando entre a el cuarto de servidores los abanicos estaban trabajando al maximo parecia que iba a despejar, el teclado no respondia, asi que no tuve otra manera mas sana de resetearlo que de botonazo, lo que nunca se debe hacer.

Bien en cuanto lo hice, los abanicos empezaron a trabajar de manera normal, se reinicio el servidor y el raid-1 no sufrio dano alguno.

Los servidores cada vez son mas inteligentes y tienen mas electronica integrada, ellos mismos balancean la velocidad de los abanicos de acuerdo a la temperatura del nucleo, la gran desventaja que siempre hacen las aplicaciones encargadas o para windows o para linux redhat.

Los otros como el caso de FreeBSD no tiene esas comodidades, por ello los programadores tienen que hacer utilerias que hagan estas tareas.

Para esto alguien en el foro de freebsd comento del modulo coretemp:

man coretemp
CORETEMP(4) FreeBSD Kernel Interfaces Manual CORETEMP(4)

NAME
coretemp -- device driver for Intel Core on-die digital thermal sensor

SYNOPSIS
To compile this driver into the kernel, place the following line in your
kernel configuration file:

device coretemp

Alternatively, to load the driver as a module at boot time, place the
following line in loader.conf(5):

coretemp_load="YES"

DESCRIPTION
The coretemp driver provides support for the on-die digital thermal sen-
sor present in Intel Core and newer CPUs.

The coretemp driver reports each core's temperature through a sysctl node
in the corresponding CPU device's sysctl tree, named
dev.cpu.%d.temperature.

SEE ALSO
sysctl(8)

HISTORY
The coretemp driver first appeared in FreeBSD 7.0.

AUTHORS
The coretemp driver was written by Rui Paulo as part
of a Google Summer of Code project. This manual page was written by
Dag-Erling Smorgrav .

FreeBSD 8.0 August 23, 2007 FreeBSD 8.0

Preguntando me comentaron que aplica a los chips nuevos, en mi caso parece que Xeon es parte de ellos, aqui un ejemplo de mi salida:

sysctl -a | grep temperature
dev.cpu.0.temperature: 41.0C
dev.cpu.1.temperature: 40.0C

Ahora necesito un script que me mande cada 5 minutos un correo con la temperatura actual, asi podre saber si en realidad la temperatura del cpu este llegando a un nivel que provoca esto, tengo que dar con el problema, este es el script con cron:

#crontab -e
*/5 * * * * /sbin/sysctl -a | grep temperature | mail -s "Temperatura Actual" root

Esto es lo que me llega:

Subject: Temperatura Actual

dev.cpu.0.temperature: 41.0C
dev.cpu.1.temperature: 40.0C

No soy un experto en scripts, pero ya vere como hacerle para que cuando llegue a cierta temperatura me mande un aviso de "Peligro" y prevenir que se congele el equipo.

Para activar este modulo tenemos 2 opciones o lo incluimos en el kernel o lo cargamos como modulo, yo prefiero lo 1ro.

device coretemp

Hacen todos los pasos para compilar el kernel, instalarlo y arrancarlo.

O si prefieren lo segundo, abren el /boot/loader.conf y agregan esta linea:

coretemp_load="YES"

Esto es para que cada que reinicien se cargue el modulo, si lo quieren cargar en tiempo real ya saben besederos:

kldload coretemp

Listo.

Si existen mas maneras de llevar a cabo esto me avisan!!!

FreeBSD 7/8: apache cgi-bin test

2010-09-06T12:00:00.000-07:00

Necesitamos correr unos cgi-bin para apcupsd en FreeBSD, segun husmeando el directorio de apache tenemos esto:

/usr/local/www/apache22/cgi-bin

Ahi aparecen 2 archivos de prueba:

printenv
test-cgi

Ahora si nos vamos aun navegador a ejecutarlos nos dice que:

****************************************************************

Internal Server Error

The server encountered an internal error or misconfiguration and was unable to complete your request.

Please contact the server administrator, root@localhost and inform them of the time the error occurred, and anything you might have done that may have caused the error.

More information about this error may be available in the server error log.

****************************************************************

Bien vamos viendo que dicen los logs de apache:

[Mon Sep 06 11:58:59 2010] [error] [client 192.168.90.31] (13)Permission denied: exec of '/usr/local/www/apache22/cgi-bin/printenv' failed
[Mon Sep 06 11:58:59 2010] [error] [client 192.168.90.31] Premature end of script headers: printenv

mmmm permiso denegado, ahora los archivos cgi-bin son alfinal de cuentas scripts hechos por lo comun en perl.

Vamos dondo los permisos de ejecucion como cualquier script perl, bash, sh, etc.

chmod +x test-cgi

Probamos:

CGI/1.0 test script report:

argc is 0. argv is .

SERVER_SOFTWARE = Apache/2.2.16 (FreeBSD) mod_ssl/2.2.16 OpenSSL/0.9.8e DAV/2 PHP/5.3.3 with Suhosin-Patch
SERVER_NAME = 192.168.90.3
GATEWAY_INTERFACE = CGI/1.1
SERVER_PROTOCOL = HTTP/1.1
SERVER_PORT = 80
REQUEST_METHOD = GET
HTTP_ACCEPT = text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
PATH_INFO =
PATH_TRANSLATED =
SCRIPT_NAME = /cgi-bin/test-cgi
QUERY_STRING =
REMOTE_HOST =
REMOTE_ADDR = 192.168.90.31
REMOTE_USER =
AUTH_TYPE =
CONTENT_TYPE =
CONTENT_LENGTH =

Listo, ya se que puedo crear mis scripts y subirlos a mi servidor, saludos!!!

FreeBSD 7/8: Raid-1 agregando otro Raid-1

2010-08-28T12:06:00.001-07:00

Buenas tardes, tengo un caso particular, mi servidor de respaldo tiene una cinta StorageWorks 232 SCSI externa que trono.

Ahi hacia mis Full backups con bacula, los respaldos diferenciales los hacia en disco, usando compresion en disco nos ahorramos muchos espacio.

Bien el problema es que estamos hablando de aprox. 140GB sin comprimir de datos, a lo mucho se alojan en 80GB, el disco duro no me da mucho espacio, y me es mas dificil reinstalar todo ya que el tiempo no me lo permite, necesito agregar mas discos ya que la placa madre me permite 4 en total, 2 ya los tengo en Raid-1 con gmirror.

Necesito agregarle 2 mas para hacer otro arreglo dentro del mismo servidor, mi duda era si era posible hacerlo, investigando esto, no hay limites con gmirror, podemos tener N numero de arreglos corriendo.

gm0, gm1, gm3, etc. Entonces vamos empezando.

Vamos a agregar 2 disco mas a el servidor, para esto apagamos el equipo, metemos los discos y comprobamos que el BIOS los detecte.

Una vez hecho esto, arrancancamos el servidor de nuevo y ahora verificar que arranque y que todos los servicios este operando sin problemas.

Como recomendacion, marquen los discos, nunca cambien de pocision los discos, es decir si tenemos el servidor con raid1 usando 2 discos y tenemos por asi decirlo:

sata-0 disco-1
sata 1 disco-2

Nunca cambien esta pocision, marquen los discos, creanme a veces uno se le pasan estos detalles y cuando arrancamos el sistema freebsd no tiene manera de detectar estos cambios y el solo abre el fstab para montar las particiones y nomas imagienese lo que pasa.

Bien, ahora que nuestro sistema esta operando, nuestros raid-1 que tenemos operando, vamos creando el otro raid-1.

sata-2 disco-3 /dev/ad5
sata-3 disco-4 /dev/ad7

Vamos empezando por ad5:gmirror label -vb round-robin gm1 /dev/ad5


Metadata value stored on /dev/ad5.
Done.

Por que gm1? Bien el sistema ya tiene un sistema en operacion con Raid-1 y estamos usando gm0 por eso el que sigue.

Modficamos nuestro /etc/fstab quedando asi:

# Device Mountpoint FStype Options Dump Pass#
/dev/mirror/gm0s1b none swap sw 0 0
/dev/mirror/gm0s1a / ufs rw 1 1
/dev/mirror/gm0s1g /backups ufs rw,noatime 2 2
/dev/mirror/gm0s1f /tmp ufs rw 2 2
/dev/mirror/gm0s1d /usr ufs rw,noatime 2 2
/dev/mirror/gm0s1e /var ufs rw,noatime 2 2
/dev/mirror/gm1s1d /bacula ufs rw,noatime 2 2
/dev/acd0 /cdrom cd9660 ro,noauto 0 0

El marcado es el nuevo, debemos crear el directorio especifico antes de seguir. Una sola particion para este arreglo.

Una vez modificado el archivo es hora de reiniciar el servidor para que arranque el nuevo arreglo de discos.

Ya que reinicio el sistema, y no hubo problema alguna, que yo nunca los he tenido, procedemos a agregar el 2do disco a el arreglo.

# gmirror insert gm1 /dev/ad7

Nos aparece esto en la consola:

GEOM_MIRROR: Device gm1: rebuilding provider ad7.

Ya que termina el proceso de espejeo nos arroja la consola:

GEOM_MIRROR: Device gm1: rebuilding provider ad7 finished.

Verificamos el estatus:

gmirror status
     Name    Status  Components
mirror/gm0  COMPLETE  ad4
                     ad6
mirror/gm1  COMPLETE  ad5
                     ad7

Todos los arreglos arriba, ahora con mas detalles:

gmirror list
Geom name: gm0
State: COMPLETE
Components: 2
Balance: round-robin
Slice: 4096
Flags: NONE
GenID: 0
SyncID: 1
ID: 707216250
Providers:
1. Name: mirror/gm0
  Mediasize: 320072932864 (298G)
  Sectorsize: 512
  Mode: r6w6e7
Consumers:
1. Name: ad4
  Mediasize: 320072933376 (298G)
  Sectorsize: 512
  Mode: r1w1e1
  State: ACTIVE
  Priority: 0
  Flags: NONE
  GenID: 0
  SyncID: 1
  ID: 1536139089
2. Name: ad6
  Mediasize: 320072933376 (298G)
  Sectorsize: 512
  Mode: r1w1e1
  State: ACTIVE
  Priority: 0
  Flags: NONE
  GenID: 0
  SyncID: 1
  ID: 485083827

Geom name: gm1
State: COMPLETE
Components: 2
Balance: round-robin
Slice: 4096
Flags: NONE
GenID: 0
SyncID: 1
ID: 4278214118
Providers:
1. Name: mirror/gm1
  Mediasize: 320072932864 (298G)
  Sectorsize: 512
  Mode: r1w1e3
Consumers:
1. Name: ad5
  Mediasize: 320072933376 (298G)
  Sectorsize: 512
  Mode: r1w1e1
  State: ACTIVE
  Priority: 0
  Flags: NONE
  GenID: 0
  SyncID: 1
  ID: 1107909587
2. Name: ad7
  Mediasize: 320072933376 (298G)
  Sectorsize: 512
  Mode: r1w1e1
  State: ACTIVE
  Priority: 0
  Flags: NONE
  GenID: 0
  SyncID: 1
  ID: 3972170277

Listo todo operando normalmente!!

Centos 5x: Benchamark Tools.

2010-08-27T15:41:00.000-07:00

Empezando a probar Xen 3.0 que viene por default con Centos 5.5, la 1ra maquina virtual tiene 5 GB de ram disco duro 30 GB.

Las maquinas virtuales las tengo dentro de la particion /opt del Dom-O en Raid-5.
el servidor tiene un Raid-1 para su operacion asi que vamos empezando a ver numeros de Raid-1 vs Raid-5 en el mismo servidor.

1er herramienta

unixbench: yum la localizo pero no di como usarla, asi que mejor la baje del sitio:

http://code.google.com/p/byte-unixbench/

1er corrida:

Checking distribution of files
./pgms exists
./src exists
./testdir exists
./tmp exists
./results exists
make[1]: Leaving directory `/usr/app/bench/unixbench-5.1.2'
sh: 3dinfo: command not found

Version 5.1.2 Based on the Byte Magazine Unix Benchmark

Multi-CPU version Version 5 revisions by Ian Smith,
Sunnyvale, CA, USA
December 22, 2007 johantheghost at yahoo period com

1 x Dhrystone 2 using register variables 1 2 3
1 x Double-Precision Whetstone 1 2 3 4 5 6 7 8 9 10
1 x Execl Throughput 1 2 34 5 6 7 8 9 10
1 x File Copy 1024 bufsize 2000 maxblocks 1 2 3
1 x File Copy 256 bufsize 500 maxblocks 1 2 3
1 x File Copy 4096 bufsize 8000 maxblocks 1 2 3
1 x Pipe Throughput 1 2 3 4 5 6 7 8 9
1 x Process Creation 1 2 3
1 x System Call Overhead 1 2 3 4 5 6 7 8 9
1 x Shell Scripts (1 concurrent) 1 2 3
1 x Shell Scripts (8 concurrent) 1 2 3
2 x Dhrystone 2 using register variables 1 2 3 4 5 6 7 8 9 10
2 x Double-Precision Whetstone 1 2 3 4 5 6 7 8 9 10
2 x Execl Throughput 1 2 3
2 x File Copy 1024 bufsize 2000 maxblocks 1 2 3
2 x File Copy 256 bufsize 500 maxblocks 1 2 3
2 x File Copy 4096 bufsize 8000 maxblocks 1 2 3
2 x Pipe Throughput 1 2 3 4 5 6 7 8 9 10
2 x Pipe-based Context Switching 1 2 3 4 5 6 7 8
2 x Process Creation 1 2 3
2 x System Call Overhead 1 2 3 4 5 6 7 8 9 10
2 x Shell Scripts (1 concurrent) 1 2 3
Hyper-Threading, x86-64, MMX, Physical Address Ext, SYSCALL/SYSRET
CPU 1: Intel(R) Xeon(R) CPU E5620 @ 2.40GHz (5987.0 bogomips)
Hyper-Threading, x86-64, MMX, Physical Address Ext, SYSCALL/SYSRET
16:22:15 up 1 day, 20 min, 1 user, load average: 0.00, 1.32, 2.32; runlevel 3

------------------------------------------------------------------------
Benchmark Run: Fri Aug 27 2010 16:22:15 - 16:50:38
2 CPUs in system; running 1 parallel copy of tests

Dhrystone 2 using register variables 14343571.7 lps (10.0 s, 7 samples)
Double-Precision Whetstone 2706.6 MWIPS (9.5 s, 7 samples)
Execl Throughput 1103.3 lps (29.9 s, 2 samples)
File Copy 1024 bufsize 2000 maxblocks 286790.7 KBps (30.0 s, 2 samples)
File Copy 256 bufsize 500 maxblocks 68804.2 KBps (30.0 s, 2 samples)
File Copy 4096 bufsize 8000 maxblocks 692436.7 KBps (30.0 s, 2 samples)
Pipe Throughput 390738.9 lps (10.0 s, 7 samples)
Pipe-based Context Switching 108240.3 lps (10.0 s, 7 samples)
Process Creation 3412.8 lps (30.0 s, 2 samples)
Shell Scripts (1 concurrent) 2697.0 lpm (60.0 s, 2 samples)
Shell Scripts (8 concurrent) 742.3 lpm (60.1 s, 2 samples)
System Call Overhead 486911.1 lps (10.0 s, 7 samples)

System Benchmarks Index Values BASELINE RESULT INDEX
Dhrystone 2 using register variables 116700.0 14343571.7 1229.1
Double-Precision Whetstone 55.0 2706.6 492.1
Execl Throughput 43.0 1103.3 256.6
File Copy 1024 bufsize 2000 maxblocks 3960.0 286790.7 724.2
File Copy 256 bufsize 500 maxblocks 1655.0 68804.2 415.7
File Copy 4096 bufsize 8000 maxblocks 5800.0 692436.7 1193.9
Pipe Throughput 12440.0 390738.9 314.1
Pipe-based Context Switching 4000.0 108240.3 270.6
Process Creation 126.0 3412.8 270.9
Shell Scripts (1 concurrent) 42.4 2697.0 636.1
Shell Scripts (8 concurrent) 6.0 742.3 1237.1
System Call Overhead 15000.0 486911.1 324.6
========
System Benchmarks Index Score 512.5

------------------------------------------------------------------------
Benchmark Run: Fri Aug 27 2010 16:50:38 - 17:19:11
2 CPUs in system; running 2 parallel copies of tests

Dhrystone 2 using register variables 28935337.8 lps (10.0 s, 7 samples)
Double-Precision Whetstone 5738.3 MWIPS (9.9 s, 7 samples)
Execl Throughput 2739.5 lps (29.5 s, 2 samples)
File Copy 1024 bufsize 2000 maxblocks 193524.2 KBps (30.0 s, 2 samples)
File Copy 256 bufsize 500 maxblocks 51916.1 KBps (30.0 s, 2 samples)
File Copy 4096 bufsize 8000 maxblocks 670978.9 KBps (30.1 s, 2 samples)
Pipe Throughput 888673.8 lps (10.0 s, 7 samples)
Pipe-based Context Switching 222862.6 lps (10.0 s, 7 samples)
Process Creation 4855.8 lps (30.0 s, 2 samples)
Shell Scripts (1 concurrent) 5452.4 lpm (60.0 s, 2 samples)
Shell Scripts (8 concurrent) 794.9 lpm (60.1 s, 2 samples)
System Call Overhead 946134.2 lps (10.0 s, 7 samples)

System Benchmarks Index Values BASELINE RESULT INDEX
Dhrystone 2 using register variables 116700.0 28935337.8 2479.5
Double-Precision Whetstone 55.0 5738.3 1043.3
Execl Throughput 43.0 2739.5 637.1
File Copy 1024 bufsize 2000 maxblocks 3960.0 193524.2 488.7
File Copy 256 bufsize 500 maxblocks 1655.0 51916.1 313.7
File Copy 4096 bufsize 8000 maxblocks 5800.0 670978.9 1156.9
Pipe Throughput 12440.0 888673.8 714.4
Pipe-based Context Switching 4000.0 222862.6 557.2
Process Creation 126.0 4855.8 385.4
Shell Scripts (1 concurrent) 42.4 5452.4 1286.0
Shell Scripts (8 concurrent) 6.0 794.9 1324.8
System Call Overhead 15000.0 946134.2 630.8
========
System Benchmarks Index Score 776.7

maatkit.

Nos pide:

error: Failed dependencies:
perl(DBD::mysql) >= 1.0 is needed by maatkit-6839-1.noarch igual a perl-DBD-mysql
perl(Term::ReadKey) >= 2.10 is needed by maatkit-6839-1.noarch igual a
perl-TermReadKey

Listo con esto ya podemos instalarlo.

sysbench

Este si lo podemos instalar desde yum.

Vamos sobre la prueba oltp, para esto necesitamos

FreeBSD 7/8: Error en Cinta.

2010-08-12T18:21:00.000-07:00

Tengo un problema con la cinta, me aparece este error cuand quiero trabajar con ella:

mbx-bacula# mt -f /dev/nsa0 rewind
mbx-bacula# mt -f /dev/nsa0 weof
mt: /dev/nsa0: weof: Input/output error

Informacion del error:

mbx-bacula# tail messages
Aug 12 18:02:54 mbx-bacula kernel: (sa0:sym0:0:3:0): Medium format corrupted
Aug 12 18:02:54 mbx-bacula kernel: (sa0:sym0:0:3:0): Retries Exhausted
Aug 12 18:09:10 mbx-bacula kernel: (sa0:sym0:0:3:0): WRITE FILEMARKS(6). CDB: 10 0 0 0 1 0
Aug 12 18:09:10 mbx-bacula kernel: (sa0:sym0:0:3:0): CAM Status: SCSI Status Error
Aug 12 18:09:10 mbx-bacula kernel: (sa0:sym0:0:3:0): SCSI Status: Check Condition
Aug 12 18:09:10 mbx-bacula kernel: (sa0:sym0:0:3:0): MEDIUM ERROR info:1 asc:c,0
Aug 12 18:09:10 mbx-bacula kernel: (sa0:sym0:0:3:0): Write error
Aug 12 18:09:10 mbx-bacula kernel: (sa0:sym0:0:3:0): Retries Exhausted
Aug 12 18:32:45 mbx-bacula kernel: sym0:3:control msgout: 80 6.
Aug 12 18:33:47 mbx-bacula kernel: sym0:3:control msgout: 80 6.

Que nos dice la cinta?
mt -f /dev/nsa0 errstat
Last I/O Residual: 0
Last I/O Command: 08 00 00 FC 00 00 00 00 00 00 00 00 00 00 00 00
Last I/O Sense:

F0 00 03 00 00 FC 00 10 00 00 00 00 14 00 00 00
50 90 00 00 00 00 00 00 00 00 00 00 00 00 00 00

Last Control Residual: 0
Last Control Command: 10 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00
Last Control Sense:

F0 00 03 00 00 00 01 10 00 00 00 00 0C 00 00 00
75 0C 00 00 00 00 00 00 00 00 00 00 00 00 00 00.

Vamos a ver qeue nos dice HP.

Centos 5.x Tips

2010-08-06T10:10:00.000-07:00

Enviroment:

Agregar una variable global a el sistema:

export nombre_var="valor asignado"

Listo!!!

FreeBSD 8: Apache Jail

2010-07-24T17:17:00.000-07:00

Ahora vamos a meter un servidor apache en una jail, asi dejamos nuestro src.conf:

WITHOUT_ACCT="yes"
WITHOUT_ACPI="yes"
WITHOUT_AMD="yes"
WITHOUT_APM="yes"
WITHOUT_ASSERT_DEBUG="yes"
WITHOUT_ATM="yes"
WITHOUT_AUDIT="yes"
WITHOUT_AUTHPF="yes"
WITHOUT_BIND="yes"
WITHOUT_BLUETOOTH="yes"
WITHOUT_BOOT="yes"
WITHOUT_CALENDAR="yes"
WITHOUT_CDDL="yes"
WITHOUT_CTM="yes"
WITHOUT_CVS="yes"
WITHOUT_DICT="yes"
WITHOUT_EXAMPLES="yes"
WITHOUT_FLOPPY="yes"
WITHOUT_FORTH="yes"
WITHOUT_FREEBSD_UPDATE="yes"
WITHOUT_GAMES="yes"
WITHOUT_GPIB="yes"
WITHOUT_GROFF="yes"
WITHOUT_HTML="yes"
WITHOUT_INET6="yes"
WITHOUT_INFO="yes"
WITHOUT_IPFILTER="yes"
WITHOUT_IPFW="yes"
WITHOUT_IPX="yes"
WITHOUT_JAIL="yes"
WITHOUT_KVM="yes"
WITHOUT_LEGACY_CONSOLE="yes"
WITHOUT_LPR="yes"
WITHOUT_MAIL="yes"
WITHOUT_MAN="yes"
WITHOUT_NCP="yes"
WITHOUT_NETGRAPH="yes"
WITHOUT_NLS="yes"
WITHOUT_NLS_CATALOGS="yes"
WITHOUT_NC_CACHING="yes"
WITHOUT_NTP="yes"
WITHOUT_PF="yes"
WITHOUT_PMC="yes"
WITHOUT_PPP="yes"
WITHOUT_PROFILE="yes"
WITHOUT_QUOTAS="yes"
WITHOUT_RCMDS="yes"
WITHOUT_RCS="yes"
WITHOUT_RESCUE="yes"
WITHOUT_ROUTED="yes"
WITHOUT_SHAREDOCS="yes"
WITHOUT_SSP="yes"
WITHOUT_SYSCONS="yes"
WITHOUT_SYSINSTALL="yes"
WITHOUT_USB="yes"
WITHOUT_WIRELESS="yes"
WITHOUT_WPA_SUPPLICANT_EAPOL="yes"

Algo que me gustaria marcar es que estamos dejando a esta jail NIS y KERBEROS por que vamos a controlar todo los usuarios via LDAP, de lo contrario para puro apache los dejaria dentro del archivo:

WITHOUT_NIS
WITHOUT_KERBEROS

Bien ya seguimos todos los pasos para configurar mi jail, vamos arrancandola, para ello vamos configurando rc.conf del host de jails, quedaria asi:

jail_enable="YES" # Set to NO to disable starting of any jails
jail_list="apache" # Space separated list of names of jails
jail_set_hostname_allow="NO" # Allow root user in a jail to change its hostname
jail_socket_unixiproute_only="YES" # Route only TCP/IP within a jail
jail_sysvipc_allow="NO" # Allow SystemV IPC use from within a jail

Ahora vamos a la seccion de la jail de nombre apache:

##############################################################
###################### apache ##############################
jail_apache_rootdir="/jails/apache" # Jail's root directory
jail_apache_hostname="apache. mi. dominio. mx" # Jail's hostname
jail_apache_interface="xl0" # Jail's interface variable to create IP ali
jail_apache_ip="192.168.40.6" # Jail's primary IPv4 and IPv6 address
jail_apache_exec_start="/bin/sh /etc/rc" # command to execute in jail for starting
jail_apache_exec_stop="/bin/sh /etc/rc.shutdown" # command to execute in jail for stopping
jail_apache_devfs_enable="YES" # mount devfs in the jail

Arrancamos las jail:

/etc/rc.d/jail/ start apache

Bien aqui ya tenemos nuestra jail en operacion si es que no tuvieron problemas. Ahora viene la parte de la administracion, tenemos que 1ro que nada configurar esto dentro de la jail:

rc.conf
resolv.conf
ssh
ports

Para ello la unica manera de conectarse a la jail es atraves del mismo host, para ello tenemos que saber que # de jail es, para ello ejecutamos el comando jls y nos da:

# jls
JID IP Address Hostname Path
15 192.168.40.6 apache-mi-dominio-com-mx /jails/apache

Vamos accesando:

# jexec 15 csh
csh: Cannot open /etc/termcap.
csh: using dumb terminal settings.
apache#

Como podran ver nos marca un error, revisamos ese archivo podremos ver que esta vacio, pero tenemos la ventaja que lo podemos jalar del host de las jails, para ello nos salimos de la jail para regresarnos y hacer la copia:

Algo que tenemos que notar es que /etc/termcap es un enlace a /usr/share/misc/termcap, asi que vamos haciendo lo siguiente dentro del host:

cp /usr/share/misc/termcap /jails/apache/usr/share/misc/

nos retornamos a el jail:

jexec 15 csh

y van a ver que ya no marca el error, correcto?

Ahora ya entramos a nuestra jail, asi es hora de seguir la operacion.

rc.conf

Este archivo no existe asi que tenemos que crearlo y queda asi el mio:

##############################################################
### Important initial Boot-time options ####################
##############################################################
root_rw_mount="YES" # Set to NO to inhibit remounting root read-write.
fsck_y_enable="YES" # Set to YES to do fsck -y if the initial preen fails.
fsck_y_flags="" # Additional flags for fsck -y
background_fsck="NO" # Attempt to run fsck in the background where possible.
##############################################################
### Network configuration sub-section ######################
##############################################################
### Basic network and firewall/security options: ###
log_in_vain="0" # >=1 to log connects to ports w/o listeners.
tcp_keepalive="YES" # Enable stale TCP connection timeout (or NO).
tcp_drop_synfin="YES" # Set to YES to drop TCP packets with SYN+FIN
# NOTE: this violates the TCP specification
icmp_drop_redirect="YES" # Set to YES to ignore ICMP REDIRECT packets
icmp_log_redirect="NO" # Set to YES to log ICMP REDIRECT packets
network_interfaces="xl0" # List of network interfaces (or "auto").
### Network daemon (miscellaneous) ###
syslogd_enable="YES" # Run syslog daemon (or NO).
syslogd_program="/usr/sbin/syslogd" # path to syslogd, if you want a different o
syslogd_flags="-ss" # Flags to syslogd (if enabled).

sshd_enable="YES" # Enable sshd
sshd_program="/usr/sbin/sshd" # path to sshd, if you want a different one.
sshd_flags="" # Additional flags for sshd.

### Network routing options: ###
defaultrouter="192.168.40.1" # Set to default gateway (or NO).

### IPv6 options: ###
ipv6_enable="NO" # Set to YES to set up for IPv6.

##############################################################
### System console options #################################
##############################################################
keyboard="" # keyboard device to use (default /dev/kbd0).
keyrate="fast" # keyboard rate to: slow, normal, fast (or NO).
cursor="blink" # cursor type {normal|blink|destructive} (or NO).
scrnmap="NO" # screen map in /usr/share/syscons/scrnmaps/* (or NO).
blanktime="NO" # blank time (in seconds) or "NO" to turn it off.
saver="NO" # screen saver: Uses /boot/kernel/${saver}_saver.ko
moused_nondefault_enable="NO" # Treat non-default mice as enabled unless
moused_enable="NO" # Run the mouse daemon.
mousechar_start="NO" # if 0xd0-0xd3 default range is occupied in your

##############################################################
### Mail Transfer Agent (MTA) options ######################
##############################################################
# Settings for /etc/rc.sendmail and /etc/rc.d/sendmail:
sendmail_enable="NONE" # Run the sendmail inbound daemon (YES/NO).

##############################################################
### Miscellaneous administrative options ###################
##############################################################
cron_enable="YES" # Run the periodic job daemon.
cron_program="/usr/sbin/cron" # Which cron executable to run (if enabled).
cron_dst="YES" # Handle DST transitions intelligently (YES/NO)
cron_flags="" # Which options to pass to the cron daemon.
clear_tmp_enable="YES" # Clear /tmp at startup.
kern_securelevel_enable="NO" # kernel security level (see security(7))
kern_securelevel="-1" # range: -1..3 ; `-1' is the most insecure
update_motd="NO" # update version info in /etc/motd (or NO)
dmesg_enable="NO" # Save dmesg(8) to /var/run/dmesg.boot
newsyslog_enable="YES" # Run newsyslog at startup.
newsyslog_flags="-CN" # Newsyslog flags to create marked files
mixer_enable="NO" # Run the sound mixer.

Ahora seguimos con resolv.conf.

resolv.conf

Como tenemos un dns operando los damos de alta y queda asi:

domain mi-dominio-com-mx
nameserver 192.168.40.2

ssh

Parte importante de la operacion, asi no dependeremos del host para administrar nuestra jail, vamos configurando ssh con llave.

Para empezar vamos configurando a sshd_config quedando asi:

# $OpenBSD: sshd_config,v 1.80 2008/07/02 02:24:18 djm Exp $
# $FreeBSD: src/crypto/openssh/sshd_config,v 1.49.2.1.2.1 2009/10/25 01:10:29 kensmith Exp $

# This is the sshd server system-wide configuration file. See
# sshd_config(5) for more information.

# This sshd was compiled with PATH=/usr/bin:/bin:/usr/sbin:/sbin

# The strategy used for options in the default sshd_config shipped with
# OpenSSH is to specify options with their default value where
# possible, but leave them commented. Uncommented options change a
# default value.

# Note that some of FreeBSD's defaults differ from OpenBSD's, and
# FreeBSD has a few additional options.

#VersionAddendum FreeBSD-20090522

Port 22
#Protocol 2
#AddressFamily any
#ListenAddress 0.0.0.0
ListenAddress 192.168.40.6

# Disable legacy (protocol version 1) support in the server for new
# installations. In future the default will change to require explicit
# activation of protocol 1
Protocol 2

# HostKey for protocol version 1
#HostKey /etc/ssh/ssh_host_key
# HostKeys for protocol version 2
#HostKey /etc/ssh/ssh_host_rsa_key
#HostKey /etc/ssh/ssh_host_dsa_key

# Lifetime and size of ephemeral version 1 server key
#KeyRegenerationInterval 1h
#ServerKeyBits 1024

# Logging
# obsoletes QuietMode and FascistLogging
#SyslogFacility AUTH
#LogLevel INFO
# Authentication:

#LoginGraceTime 2m
PermitRootLogin yes
#StrictModes yes
#MaxAuthTries 6
#MaxSessions 10

#RSAAuthentication yes
#PubkeyAuthentication yes
#AuthorizedKeysFile .ssh/authorized_keys

# For this to work you will also need host keys in /etc/ssh/ssh_known_hosts
#RhostsRSAAuthentication no
# similar for protocol version 2
#HostbasedAuthentication no
# Change to yes if you don't trust ~/.ssh/known_hosts for
# RhostsRSAAuthentication and HostbasedAuthentication
#IgnoreUserKnownHosts no
# Don't read the user's ~/.rhosts and ~/.shosts files
#IgnoreRhosts yes

# Change to yes to enable built-in password authentication.
PasswordAuthentication no
PermitEmptyPasswords no

# Change to no to disable PAM authentication
ChallengeResponseAuthentication no

# Kerberos options
#KerberosAuthentication no
#KerberosOrLocalPasswd yes
#KerberosTicketCleanup yes
#KerberosGetAFSToken no

# GSSAPI options
#GSSAPIAuthentication no
#GSSAPICleanupCredentials yes

# Set this to 'no' to disable PAM authentication, account processing,
# and session processing. If this is enabled, PAM authentication will
# be allowed through the ChallengeResponseAuthentication and
# PasswordAuthentication. Depending on your PAM configuration,
# PAM authentication via ChallengeResponseAuthentication may bypass
# the setting of "PermitRootLogin without-password".
# If you just want the PAM account and session checks to run without
# PAM authentication, then enable this but set PasswordAuthentication
# and ChallengeResponseAuthentication to 'no'.
UsePAM no

#AllowAgentForwarding yes
#AllowTcpForwarding yes
#GatewayPorts no
X11Forwarding no
#X11DisplayOffset 10
#X11UseLocalhost yes
#PrintMotd yes
#PrintLastLog yes
#TCPKeepAlive yes
#UseLogin no
#UsePrivilegeSeparation yes
#PermitUserEnvironment no
#Compression delayed
#ClientAliveInterval 0
#ClientAliveCountMax 3
#UseDNS yes
#PidFile /var/run/sshd.pid
#MaxStartups 10
#PermitTunnel no
#ChrootDirectory none

# no default banner path
#Banner none

# override default of no subsystems
Subsystem sftp /usr/libexec/sftp-server

# Example of overriding settings on a per-user basis
#Match User anoncvs
# X11Forwarding no
# AllowTcpForwarding no
# ForceCommand cvs server

AllowUsers root

Ahora antes de seguir vamos dandole password a root. Bien como ssh solo permite accesar via "key" o llave publica y yo ya tengo la mia, para esto tenemos que hacer lo siguiente, crear las llaves del jail por si llegaramos a usarlo, para ello vamos ejecutando el siguiente comando:

# ssh-keygen
Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
b8:54:2e:7c:2f:90:b0:54:0f:a5:5d:73:5b:58:4c:e8 root@apache.assiin.com.mx
The key's randomart image is:
+--[ RSA 2048]----+
| o.. o .*+ |
| . = . ooo. |
| o . + .. |
| . + = E |
| . B S |
| . = . |
| . . . |
| . |
| |
+-----------------+

Dar enter hasta que regresemos a el shell, nos vamos a el nuevo folder /root/.ssh/
y dentro creamos el archivo de nombre "authorized_keys" ahi dentro es donde vamos a grabar las llaves publicas que van a poder accesar a este jail.

Una vez hecho esto ya podemos arrancar nuestro ssh y probar de alguna de las llaves.

Bien ya logramos entrar a nuestra jail via ssh.

Ports

Ahora viene la parte donde tenemos que de alguna manera jalar de otro sistema los ports, ya que nuestra jail esta configurada para no hacer uso de sysinstall, lo bueno que los ports es un solo directorio que lo podemos comprimir de otro host o jail y jalarlo a este jail.

Es lo que vamos hacer, tengo otro jail, ya di de alta su llave para accesar via ssh. Comprimo el directorio ports y se lo mando a mi jail:

#cd /usr
#tar -czf ports.tar.gz ports/
#scp ports.tar.gz root@IP-DE-MI-JAIL:/usr

Dentro del jail descomprimo el archivo y tengo listo mis ports para ser usandos.

#cd /usr
#tar -xzf ports.tar.gz

Ahora si ya puedo empezar a instalar los ports que necesito, e 1ro es:

cvsup-without-gui

#cd /usr/ports/net/cvsup-wtihout-gui
#maks install clean

make: no system rules (sys.mk).

1er error, lo mismo que paso con termcap, debemos jalar los archivos que nos van a empezar marcar errores por no tenerlos disponibles. Vamos empezando por este "sys.mk". Buscando en otros jails encontramos este archivo en /usr/share/mk/ y dentro de mi jail esta vacio, asi que jalamos mejor todo ese folder, asi como le hicimos con los ports.

Nos vamos a un sistema donde tengamos este folder con todo su contenido y hacemos el mismo proceso.

#cd /usr/share/
#tar -czf mk.tar.gz
#scp mk.tar.gz root@IP-DE-MI-JAIL:/usr/share

Dentro de la jail:

#cd /usr/share
#tar -xzf mk.tar.gz

Listo ahora si podemos instalar el port, solo poner atencion por si falla algo, lo mas seguro que sea por algunos programitas que no esten, pero recordar que los podemos jalar de otros sistemas.

Aqui va otro:

===> Building for libtool-2.2.6b
/bin/sh /usr/ports/devel/libtool22/work/libtool-2.2.6b/libltdl/config/install-sh -d . libltdl/
cp ./libltdl/argz_.h libltdl/argz.h-t
mv libltdl/argz.h-t libltdl/argz.h
make all-recursive
test -f doc/.dirstamp || make doc/.dirstamp
restore=: && backupdir=".am$$" && am__cwd=`pwd` && CDPATH="${ZSH_VERSION+.}:" && cd . && rm -rf $backupdir && mkdir $backupdir && if (makeinfo --no-split --version) >/dev/null 2>&1; then for f in ./doc/libtool.info ./doc/libtool.info-[0-9] ./doc/libtool.info-[0-9][0-9] ./doc/libtool.i[0-9] ./doc/libtool.i[0-9][0-9]; do if test -f $f; then mv $f $backupdir; restore=mv; else :; fi; done; else :; fi && cd "$am__cwd"; if makeinfo --no-split -I doc -I ./doc -o ./doc/libtool.info ./doc/libtool.texi; then rc=0; CDPATH="${ZSH_VERSION+.}:" && cd .; else rc=$?; CDPATH="${ZSH_VERSION+.}:" && cd . && $restore $backupdir/* `echo "././doc/libtool.info" | sed 's|[^/]*$||'`; fi; rm -rf $backupdir; exit $rc
makeinfo: not found
*** Error code 127

Vamos a jalarlo de otro:

#scp /usr/bin/makeinfo root@192.168.40.6:/usr/bin/
makeinfo 100% 176KB 176.1KB/s 00:00

Regresamos a ver que mas nos falta.

Otro:

install-info --quiet /usr/local/info/libtool.info /usr/local/info/dir
install-info:No such file or directory
*** Error code 1

#scp /usr/bin/install-info root@192.168.40.6:/usr/bin/
install-info 100% 19KB 18.7KB/s 00:00

Aqui aparecio este otro:

R%/usr/local/lib%' -e 's%LIBEXECDIR%/usr/local/libexec%' -e 's%MODULEDIR%/usr/local/libexec/openldap%' -e 's%RELEASEDATE%2010/06/30%' ./$page | (cd .; soelim -) > $page.tmp; done
soelim: not found

# scp /usr/bin/soelim root@192.168.40.6:/usr/bin/
soelim 100% 20KB 19.5KB/s 00:00

Otro mas, estos van apareciendo conforme vamos instalando paquetes:

gmake[1]: Leaving directory `/usr/ports/security/pam_ldap/work/pam_ldap-185'
/usr/bin/fmt: not found
*** Error code 127

Lo copeamos de otro y seguimos.

Al parecer eran todas las pequenas utilerias que necesitabamos, nuestros ports se han instalado sin problemas.

Apache

Sseguimos con el programa principal, vamos a usar la version ./www/apache22, tiene muchos modulos por default ya configurados para trabajar, no hay problema conforme vayamos avazando vamos investigando cada uno de los modulos y podremos ir apagando uno a uno.

apache va a requerir de perl, python, apr. Despues vamos a meter php ya que vamos a tener una paginas dinamicas en el servidor.

Ademas de ellos vamos a alojar squirrelmail ya que tambien vamos a tener un servidor de correo pero este estara en otro jail.

Y todo via ldap, que el servidor ldap estara alojado en el servidor de correo asi vamos armando nuestro rompecabezas.

Bien solo como nota, si vamos a trabajar con LDAP, debemos recordar que cuando aparezca las opciones para apr seleccionar LDAP de lo contrario apache falla en la instalacion por este pequeno programa.

Centos 5.5 Xen Error -> xenconsole: Could not read tty from store: No such file or directory

2010-07-23T11:41:00.000-07:00

Aparecio este error cuando quieria accesar mis vm:

xenconsole: Could not read tty from store: No such file or directory

Leyendo resulta que el programa xenconsoled

Solo tenemos que ejecutar esto en la consola del servidorr:

/usr/sbin/xenconsoled

Listo, ahora ahi que ver como hacer para que ese amigo arranque solo ?

Por que no esta en la lista de chkconf.

FreeBSD 8: DNS Jail

2010-07-23T11:35:00.000-07:00

Vamos a crear una jail para un dns en FreeBSD 8 i386.

El proceso mas tardado es el builworld, para ello estamos usando esta configuracion:

src.conf

WITHOUT_ACCT="yes"
WITHOUT_ACPI="yes"
WITHOUT_AMD="yes"
WITHOUT_APM="yes"
WITHOUT_ASSERT_DEBUG="yes"
WITHOUT_ATM="yes"
WITHOUT_AUTHPF="yes"
WITHOUT_BLUETOOTH="yes"
WITHOUT_BOOT="yes"
WITHOUT_CALENDAR="yes"
WITHOUT_CDDL="yes"
WITHOUT_CVS="yes"
WITHOUT_DICT="yes"
WITHOUT_EXAMPLES="yes"
WITHOUT_FLOPPY="yes"
WITHOUT_FREEBSD_UPDATE="yes"
WITHOUT_GAMES="yes"
WITHOUT_GPIB="yes"
WITHOUT_GSSAPI="yes"
WITHOUT_HTML="yes"
WITHOUT_INET6="yes"
WITHOUT_IPFILTER="yes"
WITHOUT_IPFW="yes"
WITHOUT_IPX="yes"
WITHOUT_JAILS="yes"
WITHOUT_KERBEROS="yes"
WITHOUT_KVM="yes"
WITHOUT_LPR="yes"
WITHOUT_MAIL="yes"
WITHOUT_NCP="yes"
WITHOUT_NETGRAPH="yes"
WITHOUT_NIS="yes"
WITHOUT_NC_CACHING="yes"
WITHOUT_PF="yes"
WITHOUT_PMC="yes"
WITHOUT_PPP="yes"
WITHOUT_QUOTAS="yes"
WITHOUT_RCMDS="yes"
WITHOUT_RCS="yes"
WITHOUT_SHAREDOCS="yes"
WITHOUT_WIRELESS="yes"
WITHOUT_WPA_SUPPLICANT_EAPOL="yes"

Como podran observar la idea es tener lo necesario para un dns con bind. Mientras menos modulos tengamos mucho mejor asi nuestro servidor sera menos vulnerable, se imaginan que entren por un hoyo en el dns, luego por uno en el ncp, etc,etc.

No vamos a usar bind de los ports sino el que viene por default en FBSD 8 que es:

ns1# named -v
BIND 9.6.1-P1

El buildworld termino sin problemas, asi dejamos la configuracion en el host de los jails para este dns:

#####################################################
### Jail Configuration #######################################
#####################################################
jail_enable="YES" # Set to NO to disable starting of any jails
jail_list="dns" # Space separated list of names of jails
jail_set_hostname_allow="NO" # No quiero que el root de los jails cambie su hostname
jail_socket_unixiproute_only="YES" # Route only TCP/IP within a jail
jail_sysvipc_allow="NO" # No necesito SYSV

###########################################
#### jail dns #########
###########################################
jail_dns_rootdir="/jails/dns" # ubicacion fisica del jail
jail_dns_hostname="ns1 . midominio . com . mx" # dns hostname
jail_dns_interface="xl0" # Jail's interface variable to create IP aliases
jail_dns_ip="192.168.40.2" # Jail's primary IPv4 and IPv6 address
jail_dns_exec_start="/bin/sh /etc/rc" # command to execute in jail for starting
jail_dns_exec_stop="/bin/sh /etc/rc.shutdown" # command to execute in jail for stopping
jail_dns_devfs_enable="YES"

Ya solo checamos el handbook y vemos como vaciar nuestro buildworld a este jail, no lo pongo aqui por que el handbook es muy claro y nunca me ha fallado.

Ahora su arrancamos el jail:

/etc/rc.d/jail start dns

fw# jls
JID IP Address Hostname Path
6 192.168.40.2 ns1 . midominio . com . mx /jails/dns

Ahora sigue configurar el rc.conf de esta jail, para ellos debemos entrar a su shell:

jexec 6 /bin/csh
csh: Cannot open /etc/termcap
csh: using dumb terminal settings.
ns1#

Solo tenemos que copear el folder /usr/share/misc/termcap a el jail y listo.

named.conf

FreeBSD: Update sa-update detras de proxy

2010-07-04T23:47:00.000-07:00

Si tenemos nuestro spamassassin detras de un proxy con autentificacion, como debemos actualizar spamassassin?

setenv http_proxy "http://usuario:assword@IP-proxy:puerto-proxy" && sa-update -v

Bye!!!

Centos 5x: Samba 3.3.x+LDAP Windows 7

2010-06-16T14:46:00.000-07:00

Aqui de nuevo, ya para Agosto 2010 MS tiene planeado dejar de vender licencias de Windows XP, entonces tenemos que nosotros tambien actualizar nuestros PDC a una version compatible con Windows 7 porque van a empezar a llegar computadoras con este OS.

Que a mi punto de vista es mucho mejor que Windows Vista.

Bien Red Hat por no quedarse atras, decidio tener una version compatible con Windos 7 de Samba, la version 6 de Red Hat ya viene lista para ello, mientras tenemos solo 1 camino, migrar todo a samba 3.3.8 que viene por default o buscar una version mas reciente.

Para saber que dice el equipo de samba aqui tiene el link samba-windows7

Estamos usando la ultima version de Centos, ya que ellos dependen 100% de Red Hat, asi que estamos hablando de la 5.5 Release.

Todo esta hecho dentro de maquinas virtuales, todo corriendo bajo Ubuntu 9.10, para virtualizar tenemos VirtualBox.

Bien vamos suponiendo que ya tenemos nuestro Centos operando y actualizado. Algo que me gustaria aclarar es que ldap no tiene nada que ver con los problemas de samba y windows 7, asi que ldap sigue su operacion normal.

Pero vamos hacer todo desde 0 para no usar otros links y hacerlo muy tedioso.

Empiezo.

NOTA: Por el momento no vamos a usar DNS.

1; Centos actualizado con IP fija y hostname:

IP: 172.16.5.152
Hostname: pdc-srv.pinole.com

2; Modificar el archivo /etc/hosts:

[root@pdc-srv home]# cat /etc/hosts
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
172.16.5.152 pdc-srv.pinole.com pdc-srv

3; Instalar los siguientes repos.

Ver siguiente link repos

Una vez instalados correr:

yum update, actualizar y reinciar.

4; Instalar los siguientes paquetes:

samba3x.
samba3x-client
samba3x-common
samba3x-doc
samba3x-winbind
openldap-servers
openldap-clients

Estamos manejando la version 3.3.8 de samba.

5; Configurar ldap.

Nombre del dominio: pinole.com

a) creamos un folder llamado pinole en /var/lib/ldap/

mkdir /var/lib/ldap/pinole

b) Copeamos el archivo de nombre DB_CONFIG.example en el folder creado eliminando la extension.

cp /etc/openldap/DB_CONFIG.example /var/lib/ldap/pinole/DB_CONFIG

c) Cambiamos el permiso de ese folder hacia el usuario ldap:
chown ldap:ldap /var/lib/ldap/pinole

d) Sacamos el password para el usuario de la BD en ldap:
[root@pdc-srv home]# slappasswd
New password:
Re-enter new password:
{SSHA}garabatosdecaracteres

e) editamos el archivo del servidor de ldap, llamado slapd.conf y lo dejamos asi:
NOTA: Muchos parametros los voy a eliminar para hacer la informacion mas digerible.

include /etc/openldap/schema/core.schema
include /etc/openldap/schema/cosine.schema
include /etc/openldap/schema/inetorgperson.schema
include /etc/openldap/schema/nis.schema
include /etc/openldap/schema/samba.schema

pidfile /var/run/openldap/slapd.pid
argsfile /var/run/openldap/slapd.args

database bdb
suffix "dc=pinole,dc=com"
rootdn "cn=Manager,dc=pinole,dc=com"
rootpw {SSHA}garabatosdecaracteres

directory /var/lib/ldap/pinole
loglevel 256

# Indices to maintain for this database
index objectClass,uidNumber,gidNumber eq
index cn,sn,uid,displayName pres,sub,eq
index memberUid,mail,givenname eq,subinitial
index sambaSID,sambaPrimaryGroupSID,sambaDomainName eq

f) Como estamos habilitando el log de ldap tenemos que actualizar syslog para que se encargue de el:

touch /var/log/ldap.log

Agregar esta linea a /etc/syslog.conf
local4.* /var/log/ldap.log

Salvar y reiniciar a syslog.

service syslog restart

g) Iniciamos el servicio de ldap.

[root@pdc-srv home]# service ldap start
Checking configuration files for slapd: config file testing succeeded
[ OK ]
Starting slapd: [ OK ]

h) Probamos que el servicio este operando:

[root@pdc-srv home]# service ldap status
slapd (pid 29680) is running...

6; Hasta aqui tenemos ya a ldap operable, ahora sigue configurar samba. Para ello tenemos dejar el archivo general(/etc/samba/smb.conf) como sigue:

[global]
workgroup = PINOLE
server string = PDC Domain
netbios name = PDC-SRV
hosts allow = 172.16.5. 127.
interfaces = eth0
bind interfaces only = Yes
hosts deny = 0.0.0.0

# passwd backend
encrypt passwords = yes
passdb backend = ldapsam:ldap://172.16.5.152/
enable privileges = yes
pam password change= Yes
passwd program = /usr/bin/passwd %u
passwd chat = *New*UNIX*password* %nn *ReType*new*UNIX*password* %nn * passwd:*all*authentication*tokens*updated*successfully*
unix password sync = Yes

# Log options
log level = 1
log file = /var/log/samba/%m.log
max log size = 500
syslog = 1

# Name resolution
name resolve order = wins hosts bcast lmhost

# misc
timeserver = No
socket options = TCP_NODELAY SO_RCVBUF=8192 SO_SNDBUF=8192
use sendfile = yes

# Dos-Attribute
map hidden = No
map system = No
map archive = No
map read only = No
store dos attributes = Yes

# printers - configured to use CUPS and automatically load them
load printers = No
printcap name =
# printing =
cups options =
show add printer wizard = No
add user script = /usr/sbin/smbldap-useradd -m %u
delete user script = /usr/sbin/smbldap-userdel %u
add group script = /usr/sbin/smbldap-groupadd -p %g
delete group script = /usr/sbin/smbldap-groupdel %g
add user to group script = /usr/sbin/smbldap-groupmod -m %u %g
delete user from group script = /usr/sbin/smbldap-groupmod -x %u %g
set primary group script = /usr/sbin/smbldap-usermod -g %g %u
add machine script = /usr/sbin/smbldap-useradd -w %u

# LDAP-iConfiguration
#ldap delete dn = Yes
ldap ssl = off
ldap passwd sync = Yes
ldap suffix = dc=pinole,dc=com
ldap machine suffix = ou=Computers
ldap user suffix = ou=Users
ldap group suffix = ou=Groups
ldap idmap suffix = ou=Idmap
ldap admin dn = cn=Manager,dc=pinole,dc=com
idmap backend = ldap:ldap://172.16.5.152
idmap uid = 10000-20000
idmap gid = 10000-20000

# logon options
logon script =
logon path =
logon path =
logon home =
logon drive =

# setting up as domain controller
username map = /etc/samba/usermap
preferred master = Yes
wins support = Yes
domain logons = Yes
domain master = Yes
local master = Yes
os level = 64
map acl inherit = Yes
unix charset = UTF8
password level = 6

#Si tiene clientes windows98 debene habilitar estos parametros (solo para samba 3.3.x+, #samba 3.0.x los tiene por default habilitados.
#lanman auth = Yes
#client lanman auth = Yes

[netlogon]
comment = Network Logon Service
path = /home/samba/netlogon
Locking = no

[homes]
comment = Home Directories
valid users = %S
read only = No
browseable = No

[Public]
comment = Public Folder
path = /opt/public
available = Yes
browseable = Yes
public = Yes
read only = No
guest ok = Yes
writeable = yes
create mode = 0775
directory mode = 0775
admin users = root

[Share]
comment = Private Share
path = /opt/share
valid users = @it
write list = @PINOLE\it
force group = @PINOLE\it
read only = No
force create mode = 0770
directory mask = 0770

*Salvamos y salimos.

7; Debemos crear algunos foder ahi dados de alta:

mkdir /home/samba
mkdir /home/samba/netlogon

8; Crear el archivo usermap y dejarlo asi:

touch /etc/samba/usermap

root = Manager administrator admin
nobody = guest pcguest smbguest

9; Grabar el password de ldap en samba.

[root@pdc-srv home]# smbpasswd -W
Setting stored password for "cn=Manager,dc=pinole,dc=com" in secrets.tdb
New SMB password:
Retype new SMB password:

Este password es el que usamos cuando ejecutamos "slappaswd".

10; Compilar e instalar smbldap-tools, no podemos usar la version que nos propociona centos desde sus repos, por que esa aun depende de samba 3.0.x y les va a decir que eliminen la version que tienen instalada y si lo hacen van a volver de nuevo a el pasado.

Para ello necesitamos nosotros mismos hacer nuestra propia version. Asi:

a) yum install rpm-build
b) wget http://packages.sw.be/smbldap-tools/smbldap-tools-0.9.5-1.rf.src.rpm
c) rpm -ihv smbldap-tools-0.9.5-1.rf.src.rpm
d) Nos movemos a el folder /usr/src/redhat/SPECS
e) abrimos este archivo(smbldap-tools.spec ) y dejamos la siguiente linea asi:
Requires: perl >= 5.6, openldap, openldap-clients, samba3x
f) creamos el rpm:
rpmbuild -bb ./smbldap-tools.spec
g) nos movemos a el siguiente folder
cd /usr/src/redhat/RPMS/noarch
h) Instalamos el rpm
yum --nogpgcheck --enablerepo=rpmforge install smbldap-tools-0.9.5-1.rf.noarch.rpm

Esto nos va a instalar todo lo que necesita smbldap-tools.

11; Ahora necesitamos saber el SID del dominio, se saca asi:

[root@pdc-srv samba]# net getlocalsid
SID for domain PDC-SRV is: S-1-5-21-1790762827-2518552153-1965868529

Esta informacion debemos tenerla a la mano.

12; Configurar smbldap-tools.

a) abrir archivo /etc/smbldap-tools/smbldap.conf y dejarlo asi:

SID="S-1-5-21-1790762827-2518552153-1965868529"
sambaDomain="PINOLE"
slaveLDAP="127.0.0.1"
slavePort="389"
masterLDAP="127.0.0.1"
masterPort="389"
ldapTLS="0"
verify="require"
cafile="/etc/smbldap-tools/ca.pem"
clientcert="/etc/smbldap-tools/smbldap-tools.iallanis.info.pem"
clientkey="/etc/smbldap-tools/smbldap-tools.iallanis.info.key"
suffix="dc=pinole,dc=com"
usersdn="ou=Users,${suffix}"
computersdn="ou=Computers,${suffix}"
groupsdn="ou=Groups,${suffix}"
idmapdn="ou=Idmap,${suffix}"
sambaUnixIdPooldn="sambaDomainName=${sambaDomain},${suffix}"
scope="sub"
hash_encrypt="SSHA"
crypt_salt_format="%s"
userLoginShell="/sbin/nologin"
userHome="/home/%U"
userHomeDirectoryMode="700"
userGecos="System User"
defaultUserGid="513"
defaultComputerGid="515"
skeletonDir="/etc/skel"
defaultMaxPasswordAge="999"
userSmbHome="\\PDC-SRV\%U"
userProfile=""
userHomeDrive="W:"
userScript=""
mailDomain="pinole.com"
with_smbpasswd="0"
smbpasswd="/usr/bin/smbpasswd"
with_slappasswd="0"
slappasswd="/usr/sbin/slappasswd"

NOTA: No voy a manejar profiles en la red.

b) Sigue el archivo /etc/smbldap-tools/smbldap_bind.conf

slaveDN="cn=Manager,dc=pinole,dc=com"
slavePw="supassword"
masterDN="cn=Manager,dc=pinole,dc=com"
masterPw="supassword"

13; Crear los grupos y usuarios del dominio:

smbldap-populate -l 99

Al final nos va a pedir el password de ldap, se lo damos y listo.

14; Configuramos centos para que haga uso de ldap para su autentificacion, necesitamos editar 2 archivos, /etc/ldap.conf /etc/openldap/ldap.con, vamos empezando con el primero, que da asi:

host 127.0.0.1
base dc=pinole,dc=com
ldap_version 3
timelimit 120
bind_timelimit 120
bind_policy soft
idle_timelimit 3600
nss_initgroups_ignoreusers root,ldap,named,avahi,haldaemon,dbus,radvd,tomcat,radiusd,news,mailman,nscd,gdm
ssl no
tls_cacertdir /etc/openldap/cacerts
pam_password md5

Ahora /etc/openldap/ldap.conf

HOST 127.0.0.1
URI ldap://127.0.0.1/
BASE dc=pinole,dc=com
TLS_CACERTDIR /etc/openldap/cacerts

15; Configurar Centos para que haga uso de los usuarios de ldap, tenemos una utileria en la consola, se llama authconfig-tui, la ejecutamos y seleccionamos ldap en ambos lados, lo que hace este programa es leer los dos archivos del punto 14 y de saca la informacion de como contactar a ldap.

16; Ldap esta operando, ahora vamos a probar si la estructura de nuestro dominio esta correcta.

[root@pdc-srv samba]# net groupmap list
Domain Admins (S-1-5-21-1790762827-2518552153-1965868529-512) -> Domain Admins
Domain Users (S-1-5-21-1790762827-2518552153-1965868529-513) -> Domain Users
Domain Guests (S-1-5-21-1790762827-2518552153-1965868529-514) -> Domain Guests
Domain Computers (S-1-5-21-1790762827-2518552153-1965868529-515) -> Domain Computers
Administrators (S-1-5-32-544) -> Administrators
Account Operators (S-1-5-32-548) -> Account Operators
Print Operators (S-1-5-32-550) -> Print Operators
Backup Operators (S-1-5-32-551) -> Backup Operators
Replicators (S-1-5-32-552) -> Replicators

Ahora los usuarios

[root@pdc-srv samba]# getent passwd | grep Domain
root:x:0:0:Netbios Domain Administrator:/home/root:/bin/false

17; Ejecutando a samba, ya sigue la parte mas importante de todo esto, con esta version de samba, ya divieron el demonio smb y nmb asi que tenemos que iniciar a cada por su cuenta:

[root@pdc-srv samba]# service smb start
Starting SMB services: [ OK ]
[root@pdc-srv samba]# service nmb start
Starting NMB services: [ OK ]
[root@pdc-srv samba]# service winbind start
Starting Winbind services: [ OK ]

Winbind sigue siendo independiente.

18; Agrendo usuarios a el dominio:

[root@pdc-srv samba]# smbldap-useradd -a -m test6
[root@pdc-srv samba]# smbldap-passwd test6
Changing UNIX and samba passwords for test6
New password:
Retype new password:

Debemos tener un folder en /home de este usuario:

[root@pdc-srv samba]# ll /home/
total 32
drwx------ 2 notelaacabas Domain Users 4096 Jun 16 10:19 notelaacabas
drwxr-xr-x 3 root root 4096 Jun 16 09:48 samba
drwx------ 2 test1 Domain Users 4096 Jun 16 10:07 test1
drwx------ 2 test2 Domain Users 4096 Jun 16 10:07 test2
drwx------ 2 test3 Domain Users 4096 Jun 16 10:07 test3
drwx------ 2 test4 Domain Users 4096 Jun 16 10:08 test4
drwx------ 2 test5 Domain Users 4096 Jun 16 10:06 test5
drwx------ 2 test6 Domain Users 4096 Jun 16 13:05 test6

Yo ya tengo varios.

Vamos viendo la informacion de este usuario:

[root@pdc-srv samba]# pdbedit -Lv test6
Unix username: test6
NT username: test6
Account Flags: [U ]
User SID: S-1-5-21-1790762827-2518552153-1965868529-3024
Primary Group SID: S-1-5-21-1790762827-2518552153-1965868529-513
Full Name: test6
Home Directory: \\PDC-SRV\test6
HomeDir Drive: W:
Logon Script:
Profile Path:
Domain: PINOLE
Account desc:
Workstations:
Munged dial:
Logon time: 0
Logoff time: Mon, 18 Jan 2038 19:14:07 PST
Kickoff time: Mon, 18 Jan 2038 19:14:07 PST
Password last set: Wed, 16 Jun 2010 13:05:30 PDT
Password can change: Wed, 16 Jun 2010 13:05:30 PDT
Password must change: never
Last bad password : 0
Bad password count : 0
Logon hours : FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF

[root@pdc-srv samba]# smbldap-usershow test6
dn: uid=test6,ou=Users,dc=pinole,dc=com
objectClass: top,person,organizationalPerson,inetOrgPerson,posixAccount,shadowAccount,sambaSamAccount
cn: test6
sn: test6
givenName: test6
uid: test6
uidNumber: 1012
gidNumber: 513
homeDirectory: /home/test6
loginShell: /sbin/nologin
gecos: System User
sambaLogonTime: 0
sambaLogoffTime: 2147483647
sambaKickoffTime: 2147483647
sambaPwdCanChange: 0
displayName: test6
sambaSID: S-1-5-21-1790762827-2518552153-1965868529-3024
sambaPrimaryGroupSID: S-1-5-21-1790762827-2518552153-1965868529-513
sambaHomePath: \\PDC-SRV\test6
sambaHomeDrive: W:
sambaLMPassword: F5CF000C05721947AAD3B435B51404EE
sambaAcctFlags: [U]
sambaNTPassword: 059D9B5115D7554D006DD6E6B3403B6C
sambaPwdLastSet: 1276718730
sambaPwdMustChange: 1363032330
userPassword: {SSHA}xcHbH7IIFXLNrpL9S4kbFD+r+ol0ZTUv
shadowLastChange: 14776
shadowMax: 999

Hasta aqui todo va bien.

19; Revisando si samba ya tomo el control del dominio, para esto tenemos que leer el archivo log de nmb:

[root@pdc-srv samba]# tail log.nmbd

Samba server PDC-SRV is now a domain master browser for workgroup PINOLE on subnet 172.16.5.152

*****
[2010/06/16 13:02:33, 0] nmbd/nmbd_become_lmb.c:become_local_master_stage2(395)
*****

Samba name server PDC-SRV is now a local master browser for workgroup PINOLE on subnet 172.16.5.152

*****

Perfecto.

20; Probando los accesos de los usuarios a cada uno de sus directorios personales:
[root@pdc-srv samba]# smbclient \\\\pdc-srv\\test6 -U test6
Enter test6's password:
Domain=[PINOLE] OS=[Unix] Server=[Samba 3.3.8-0.51.el5]
smb: \> mkdir seis
smb: \> quit
[root@pdc-srv samba]#

Listo no marco error de acceso, para que vean si funciona, vamos tratando hacer lo mismo, pero usando otro usuario:
[root@pdc-srv samba]# smbclient \\\\pdc-srv\\test6 -U test1
Enter test1's password:
Domain=[PINOLE] OS=[Unix] Server=[Samba 3.3.8-0.51.el5]
tree connect failed: NT_STATUS_ACCESS_DENIED

Correcto acceso denegado.

Bien, hasta aqui samba esta listo para recibir a sus clientes, ustedes ya saben como agregar sus equipos con Windows XP a el dominio, es casi el mismo proceso en windows 7, nomas que deben llevar a cabo unos cambios en el register, el principio del blog les puse el link donde dice como hacer esto.

LDAP Slave Server

Ya tenemos un servidor PDC con samba y LDAP, todo funciona correctamente, nuestros clientes se estan conectando, todo mundo esta trabajando sin problemas. Pero resulta que la empresa crecio y ahora los logeos estan un poco lentos.

Samba+LDAP segun la documentacion dice que por cada 50 usuarios debemos tener un BDC para que ayude a los logeos asi el PDC no se sature y alente la red.

La ventaja de LDAP es que tiene la opcion de replica hacia otro LDAP en tiempo real, no es necesario apagar el servicio y hacer rsync o cp o tar para llevar la BD de un servidor a otro.

LDAP tiene muchas maneras de llevar a cabo esto, cual es la mas eficiente no se, solo he trabajado con una muy estable y no estamos cambiando a cada rato los settings del PDC asi que para mi es mas que suficiente.

Esto funciona a grandes razgos asi, el PDC tiene el servidor LDAP maestro, necesitamos un BDC con un servidor LDAP esclavo. Cuando se hace algun cambio en la BD del PDC, el LDAP maestro envia los cambios a el LDAP esclavo que se esta ejecutando en el BDC, asi de simple.

Con esto tendremos redundancia de servidores de logeo, si cae uno el otro hara la chamba, lo unico malo que si el PDC cae y alguien quisiera hacer un cambio en su cuenta va a estar dificil por que el PDC manda, nada es perfecto, nunca me ha tocado esto.

Hacer esto no es nada dificil, lo unico que tenemos que hacer es o siguiente:

1; Datos del BDC:

IP: 172.16.5.153
Hostname: bdc-srv.pinole.com

2; Aqui estamos usando ya PFSENSE, asi que doy de alta los datos de mis equipos en el DNS asi me olvido de editar el /etc/hosts.

3; Software a instalar. Vamos a seguir del PDC los pasos del #4 a el 5-C.

4; Configurando el LDAP esclavo:

Aqui vamos a agregar a el final del archivo slapd.conf esto:

updatedn "cn=Manager,dc=pinole,dc=com"
updateref ldap://pdc-srv.pinole.com:389/

5; Seguir los pasos #14 y #15 para que nuestro BDC accese los usuarios del PDC via LDAP, probar.

6; Copear la BD de LDAP maestro a el esclavo y enviarla a el LDAP esclavo, cargar el LDAP esclavo con el respaldo traido desde el maestro.

a)Maestro.
slapcat -l pinole.ldif
b) Enviar este archivo a el esclavo, aqui yo use ssh para esto con llave publica.
c) slapadd -l pinole.ldif
NOTA: aqui necesitamos cambiar los permisos del directorio /var/lib/ldap/pinole de nuevo:
chown -R ldap:ldap /var/lib/ldap/pinole

7; Seguir paso #5-f.

8; Iniciar el LDAP esclavo.

9; En el LDAP maestro necesitamos apagarlo y agregar lo siguiente a el final del archivo slapd.conf:

#Replicas of this database
replogfile /var/lib/ldap/pinole/replog
replica host=bdc-srv.pinole.com:389
binddn="cn=Manager,dc=pinole,dc=com"
credentials=ldap-password
bindmethod=simple

10; Crear el archivo replog y poner los permisos de ldap:

touch /var/lib/ldap/pinole/replog
chown -R ldap:ldap /var/lib/ldap/pinole/

11; Reiniciar el servicio de ldap:

service ldap restart

Aqui ya tenemos nuestros dos servicios arriba, necesitamos saber si funcionan. Para esto, tanto el PDC como el BDC deben tener dados de alta ambos en el archivo ldap.conf, asi si uno no responde sabran usar el otro.

Asi quedaria el /etc/ldap.conf en ambos, solo se le agrega un parametro solemente:

host 127.0.0.1 bdc-srv.pinole.com

Como podran ver solo agregamos el bdc.

El /etc/openldap/ldap.conf lo mismo:

HOST 127.0.0.1 bdc-srv.pinole.com
URI ldap://127.0.0.1/ ldap://bdc-srv.pinole.com/
BASE dc=pinole,dc=com
TLS_CACERTDIR /etc/openldap/cacerts

Si quieren probar esto apaguen el LDAP maestro y pidan la informacion del algun usuario del dominio, debe arrojarselas aunque el LDAP maestro este apagado.

Ahora de nuevo prendan el LDAP maestro, agreguen un usuario o cambien el password de uno usuario, la replica la hace rapido. Apaguen el LDAP maestro y traten de pedir info del usuario creado, van a ver que en cualquiera de los 2 servidores les mostrara la informacion, lo que significa que funciona.

BDC, ahora seguimos con el BDC, aqui es donde entra Samba. La configuracion es parecida a el PDC, solo unas cosillas cambian, aqui les muestro el smb.conf del BDC.

#Global parameters
[global]
workgroup = PINOLE
server string = BDC Domain
netbios name = BDC-SRV
hosts allow = 172.16.5. 127.
interfaces = eth0, lo
bind interfaces only = Yes
remote announce = 172.16.5.255
hosts deny = 0.0.0.0
smb ports = 139 445

# passwd backend
encrypt passwords = yes
passdb backend = ldapsam:"ldap://172.16.5.152/ ldap://172.16.5.153/"
enable privileges = yes

# Log options
log level = 1
log file = /var/log/samba/%m.log
max log size = 500
syslog = 1

# Name resolution
name resolve order = wins hosts bcast lmhost

# misc
timeserver = No
socket options = TCP_NODELAY SO_RCVBUF=8192 SO_SNDBUF=8192
use sendfile = yes

# Dos-Attribute
map hidden = No
map system = No
map archive = No
map read only = No
store dos attributes = Yes

# printers - configured to use CUPS and automatically load them
load printers = No
printcap name =
cups options =
show add printer wizard = No

# LDAP-Configuration
ldap ssl = off
ldap passwd sync = Yes
ldap suffix = dc=pinole,dc=com
ldap machine suffix = ou=Computers
ldap user suffix = ou=Users
ldap group suffix = ou=Groups
ldap idmap suffix = ou=Idmap
ldap admin dn = cn=Manager,dc=pinole,dc=com
idmap backend = ldap:ldap://172.16.5.152 ldap://172.16.5.153
idmap uid = 10000-20000
idmap gid = 10000-20000

# logon options
logon script =
logon path =
logon path =
logon home =
logon drive =

# setting up as domain controller
username map = /etc/samba/usermap
preferred master = Yes
wins support = No
wins server = 172.16.5.152
domain logons = Yes
domain master = No
local master = Yes
os level = 64
map acl inherit = Yes
unix charset = UTF8
password level = 6
map to guest = Bad User

Vamos a crear el archivo /etc/samba/usermap y agregar los datos al igual que el PDC.

touch /etc/samba/usermap
root = Manager administrator admin
nobody = guest pcguest smbguest

Guardar el passwd del ldap master:

[root@bdc-srv samba]# smbpasswd -W
Setting stored password for "cn=Manager,dc=pinole,dc=com" in secrets.tdb
New SMB password:
Retype new SMB password:

Guardar el SID del PDC.
[root@bdc-srv samba]# net rpc getsid PINOLE
Storing SID S-1-5-21-1790762827-1111111111-111111111 for Domain PINOLE in secrets.tdb

Unir a el dominio:

[root@bdc-srv samba]# net rpc join -U root
Enter root's password:
Joined domain PINOLE.

o

[root@bdc-srv samba]# net rpc join
Enter root's password:
Joined domain PINOLE.

Vean cual les funciona, la 1ra en otro dominio de prueba marco este error:

net rpc join -U root
Enter root's password:
[2010/06/21 22:50:14, 0] libsmb/clientgen.c:cli_receive_smb(165)
Receiving SMB: Server stopped responding
Could not connect to server SMBPDC
Connection failed: NT_STATUS_IO_TIMEOUT

Usando la 2da version funciono.

Verificamos en el PDC si la cuenta fue creada:
[root@pdc-srv pinole]# smbldap-groupmod -m test7 inv
adding user test7 to group inv
[root@pdc-srv pinole]# pdbedit -Lv bdc-srv$
Unix username: bdc-srv$
NT username: bdc-srv$
Account Flags: [S ]
User SID: S-1-5-21-1790762827-2518552153-1965868529-1003
Primary Group SID: S-1-5-21-1790762827-2518552153-1965868529-515
Full Name: Computer
Home Directory:
HomeDir Drive:
Logon Script:
Profile Path:
Domain: PINOLE
Account desc: Computer
Workstations:
Munged dial:
Logon time: 0
Logoff time: never
Kickoff time: never
Password last set: Mon, 21 Jun 2010 06:17:10 PDT
Password can change: Mon, 21 Jun 2010 06:17:10 PDT
Password must change: never
Last bad password : 0
Bad password count : 0
Logon hours : FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF

Ya solo hechamos a volar el samba y a probar.

smbclient -L \\bdc-srv -U root

Centos 5x: Instalar Samba 3.4

2010-05-29T08:28:00.000-07:00

Tomamos la version que gusten de la rama 3.4 de aqui.

http://ftp.sernet.com/pub/samba/old/centos/5/i386/3.4.7-42/

Lo bajan a su centos 5, ahi tienen para i386 y x64 bits.

wget http://rutadelrpm

Aqui necesitamos instalar asi los paquetes:

rpm -i nombredelpaquete

Este es el orden de instalacion:

1; libwbclient0-3.4.7-42.el5.i386.rpm
2; samba3-client-3.4.7-42.el5.i386.rpm
3; samba3-3.4.7-42.el5.i386.rpm
4; samba3-winbind-3.4.7-42.el5.i386.rpm
5; smbldap-tools *
6; samba3-doc-3.4.7-42.el5.i386.rpm

*Si desean instalar samba-docs deben instalar smbldap-tools, por que este paquete instala librerias perl que samba-doc requiere.

Listo!!!

FreeBSD 7/8: Apache 2x Update con LDAP

2010-05-22T18:13:00.000-07:00

Bueno ya tenemos que actualizar apache22. Pero sale esto en el UPDATING

AFFECTS: users of devel/apr0, devel/apr1, www/apache20, www/apache22
AUTHOR: pgollucci@FreeBSD.org

devel/apr has been renamed to devel/apr1

WITH_APR_FROM_PORTS=yes for www/apache22 has been dissolved and
may be removed from your configs. devel/apr1 is always used now.

Please manually delete apache-2.\* if installed _before_ updating using either
portmaster or portupgrade.

# pkg_delete -f apache-2.\*

If you use portmaster:

portmaster -o devel/apr1 devel/apr

If you use portupgrade:

portupgrade -f -o devel/apr1 devel/apr

Finally re-install apache if you deleted it earlier and update ports as usual.
(where XX is either 20 or 22)

portinstall www/apacheXX
Pero no dice nada hacerca de LDAP?

Cuando seguimos los pasos, y llegamos a la parte donde reinstalamos apache como sugieren en el UPDATING, no mencionan que apache va a tronar con un error que dice que uno de sus modulos debe ser compilado con soporte para LDAP, que resulta ser devel/apr1.

Por lo tanto debemos regresarnos y reinstalar devel/apr1 y agregar esta opcion.

[X] LDAP Enable LDAP support in apr-util

Una vez hecho esto, ahora si nos regresamos a www/apache22 y lo resinstalamos, ya no va a tronar, se ve instalar sin problemas, nomas recordar que antes de hacer esto respaldar el directorio actual de apache /usr/local/etc/apache22/ por que al momento de instarlo de nuevo va a sobre-escribir nuestra configuracion, asi cuando termine la instalacion solo regresamos los archivos de nosotros a su ubicacion original y ya solo reiniciamos apache y listo.

Animo!!!

FreeBSD 8.X: Spam Gateway

2010-04-30T15:41:00.001-07:00

Bueno, ya vieron como levantar un servidor de correo con Dovecot + Postfix. Ahora lo que sigue es proteger a nuestro servidor de spam, virus, etc.

Aqui vamos hacer algo sencillo, lo que le llaman un spam gateway, que su funcion principal es protegernos de los spammers y correos con bichos.

Internet->Postfix->amavisd->clamd->spamassassin->pasa || no pasa

La operacion con mas detalles es que todos los correos de entrada seran recibidos por este servidor, es el que se va a llevar la friega, por que tiene que estar desempaquetando, empaquetando, consultando el DNS y mas cuando hay archivos anexos.

La 1ra operacion o filtro lo hara Postfix, ya que el mismo tiene funciones o filtros que les aplica a cada correo, y es un proceso que se lleva a cabo entre smtp vs smtp, y aqui mucho correo de entrada queda descartado.

Enseguida vamos a ir por una aplicacion que hace algo tan sencillo y tambien bloquea otro monton de spam su nombre es postfix-policyd-weight, existen varias aplicaciones con la misma funcion, pero ya cada quien decide cual usar.

Luego sigue el checado de antivirus con clamavis, seguido de spamassassin ambas operaciones son administradas por amavisd, ya de regreso entran las listas BL y con esto vamos a tener un filtro casi al 100%, ya solo es cuestion de mantener a el dia el servidor y sobre todo spamassassin.

Bien, las aplicaciones que vamos a trabajar son las siguientes:

postfix
postfix-policyd-weight
spamassassin
clamavis
amavisd-new

Mas o menos asi vamos trabar conforme la lista.

Postfix

Vamos viendo la version que estamos trabajando y sobre todo FreeBSD:

OS: 8.2 I386.
Postfix: postfix-2.8.2,1

Otro detalle que me gustaria aclarar es que ambos servidores corren bajo Jails de FreeBSD, osea que estan virtualizados y ninguno posee la loopback interface y tienen un arreglo de disco Raid-1 con Satas.

La configuracion de mi src.conf es la siguiente tanto para el spam como el mail:

WITHOUT_ACCT="yes"
WITHOUT_ACPI="yes"
WITHOUT_AMD="yes"
WITHOUT_APM="yes"
WITHOUT_ASSERT_DEBUG="yes"
WITHOUT_ATM="yes"
WITHOUT_AUDIT="yes"
WITHOUT_AUTHPF="yes"
WITHOUT_BIND="YES"
WITHOUT_BLUETOOTH="yes"
WITHOUT_BOOT="yes"
WITHOUT_CALENDAR="yes"
WITHOUT_CDDL="yes"
WITHOUT_CTM="yes"
WITHOUT_CVS="yes"
WITHOUT_DICT="yes"
WITHOUT_EXAMPLES="yes"
WITHOUT_FLOPPY="YES"
WITHOUT_FORTH="yes"
WITHOUT_FREEBSD_UPDATE="yes"
WITHOUT_GAMES="yes"
WITHOUT_GDB="YES"
WITHOUT_GPIB="yes"
WITHOUT_HTML="yes"
WITHOUT_INET6="yes"
WITHOUT_IPFILTER="yes"
WITHOUT_IPFW="yes"
WITHOUT_IPX="yes"
WITHOUT_JAIL="yes"
WITHOUT_KVM="yes"
WITHOUT_LOCALES="yes"
WITHOUT_LOCATE="yes"
WITHOUT_LPR="yes"
WITHOUT_NCP="yes"
WITHOUT_NDIS="yes"
WITHOUT_NETGRAPH="yes"
WITHOUT_NLS="yes"
WITHOUT_NLS_CATALOGS="yes"
WITHOUT_NS_CACHING="yes"
WITHOUT_PF="yes"
WITHOUT_PMC="yes"
WITHOUT_PPP="yes"
WITHOUT_PROFILE="yes"
WITHOUT_QUOTAS="yes"
WITHOUT_RCMDS="yes"
WITHOUT_RCS="yes"
WITHOUT_RESCUE="yes"
WITHOUT_ROUTED="yes"
WITHOUT_SHAREDOCS="yes"
WITHOUT_SSP="yes"
WITHOUT_SYSINSTALL="yes"
WITHOUT_USB="yes"
WITHOUT_WIRELESS="yes"
WITHOUT_WPA_SUPPLICANT_EAPOL="yes"

Cuando se instala Postfix nos pregunta si deseamos colocar la configuración en /etc, yo no lo acepto en este servidor, si fuera el "mail server" si. Por lo tanto la instalacion se va a:

/usr/local/etc/postfix

Ahora algo que debemos saber es que configuracion nos da Postfix por default? Se supone que casi casi nos da una segura y no un "open-relay" que luego lo vamos a explicar.

Asi esta el archivo main.cf:

postconf -n

command_directory = /usr/local/sbin
config_directory = /usr/local/etc/postfix
daemon_directory = /usr/local/libexec/postfix
data_directory = /var/db/postfix
debug_peer_level = 2
html_directory =
mail_owner = postfix
mailq_path =
manpage_directory =
newaliases_path =
queue_directory = /var/spool/postfix
readme_directory =
sample_directory =
sendmail_path =
setgid_group =
unknown_local_recipient_reject_code = 550

Ahora si desean ver toda la configuracion completa:

postconf

Pero aqui no lo puedo poner porque esta extensa la salida, ustedes en su maquina pueden hacerlo.

Como tenemos 2 servidores:

mail-server 192.168.40.2 Correo Saliente
spam-server 192.168.40.3 Correo Entrante

Vamos a usar el dominio: example punto com para seguir la tradicion.

Mi DNS apunta a mi spam-server, ya di de alta el registro PTR de mi IP publico a el nombre de mi spam-server, ya que el es quien recibe todo el correo entrante y envia el correo si pasa todos los filtros a el mail-server, si no tiene el PTR muchos servidores de correo no envian ni reciben correo de servidores que no cumplen esta norma.

---------------------------------------------------------------------------------
NOTA:Aqui ya tengo mi servidor de correo operando sin problemas, solo voy a configurar el spam server.
---------------------------------------------------------------------------------

Vamos a empezar con la 1ra configuracion, habran el archivo main.cf de postfix su corazon:

1; Nombre del hostname:

myhostname = spam.example.com

2; Dominio que voy a proporcionar el servicio.

mydomain = example.com

3;Mi origen.

myorigin = $mydomain

5; Las interfaces que el servidor va a usar para recibir la comunicacion: Por lo regular es en todas las que tengamos.

inet_interfaces = all

6; Destinos:

mydestination =

¿Por que en blanco?, como queremos tanta seguridad como sea posible, vamos a deshabilitar el envio local, por ello no damos de alta nuestro dominio aqui, pero vamos a ver mas adelante como habilitar el envio local para recibir mensajes del root del spam-server.

Para habilitar el envio local del root y cuentas de administradores como:

postmaster
abuse

Deshabilitamos el parametro dejandolo en blanco:

local_recipient_maps =

Ahora si deseo que ciertos usuarios locales puedan recibir correos como los anteriores, vamos hacer uso del parametro este:

virtual_alias_maps = hash:/usr/local/etc/postfix/virtual_alias_maps

Como parametro le damos el archivo en formato binario que se lo indicamos usando la palabra "hash", ahora vamos a crear ese archivo y le agregamos la informacion asi:

postmaster postmaster@example.com
abuse abuse@example.com

Salvamos el archivo en la ruta indicada arriba y crea el formato que nos pide postfix con el comando postmap, asi:

postmap hash:/usr/local/etc/postfix/virtual_alias_maps

Si revisan su directorio van a ver los 2 archivos:

-rw-r--r-- 1 root wheel 141 Apr 14 12:24 virtual_alias_maps
-rw-r--r-- 1 root wheel 65536 Apr 14 12:24 virtual_alias_maps.db

El que tiene extension "db" es el creado con el comand anterior y es el que usa postfix, todos estos archivos son creados usando BDB para esta funcion son excelentes y es mas veloces su acceso que si hicieramos uso de una DB como mysql, por ello se opto por este formato.

Cuando alguien fuera del dominio busque enviar correos a cuentas locales podemos personalizar el mensaje con el parametro:

local_transport

Por default tiene un texto asi:

local_transport = error:local mail delivery not available

Pero pueden poner el texto que gusten como:

local_transport = error:No molestar envio local esta deshabilitado

Con esto el servidor podra enviar correos a las cuentas arriba dadas de alta de lo contrario ni eso podria ser posible.

Ya para rematar debemos eliminar el envio demonio que se encarga de los envios locales, abran el archivo de nombre master.cf y deshabiliten la linea

#local unix - n n - - local

Poniendo un "#" para convertirla a comentario.

7; Datos de nuestra red.

mynetworks = 192.168.40.2/32

Aqui colocamos el IP de nuestro mail-server interno, solo a el vamos a servir, ya que si colocamos nuestro rango de red, ejemplo 192.168.40.0/24 cualquier usuario interno podra usar este servidor como relay y hacer maldades, con este dato descartamos esta posibilidad.

8; Domino que podemos habilitar el relay.

relay_domains = example.com

9; Usuarios validos que pueden recibir correo externo.

relay_recipient_maps = hash:/usr/local/etc/postfix/relay_recipients

Este parametro es una pieza clave que deberan mantener al dia, ya que aqui le indicamos que usuarios del dominio pueden recibir correo, antes de que el spam-server envie el correo a el mail-server revisa este parametro y si la cuenta o "recipient" no esta aqui, rechaza el correo, aqui vamos a eliminar mucho spam, ya que los spammers tienen programas que generan cuentas de usuario aleatoriamente, ya con eso les paramos su kalabaza.

Por lo tanto, como ven de nuevo necesitamos crear ese archivo con los usuarios validos, en mi caso tengo solo 3 y el archivo tiene este formato:

usuario1@example.com OK
usuario2@example.com OK
usuario3@example.com OK

Creamos el archivo en formato BDB:

postmap hash:/usr/local/etc/postfix/relay_recipients

10; Alias

alias_maps = hash:/usr/local/etc/postfix/aliases

De nuevo necesitan crear el archivo con postmap, ya no se los voy a repetir, el archivo esta en blanco aun no hemos hecho uso de el.

11; Alias Databases

alias_database = hash:/usr/local/etc/postfix/aliases

Igual en blanco ya que no hemos hecho uso de el, pero si deben crear el archivo en formato BDB.

12; Banner

smtpd_banner = $myhostname ESMTP $mail_name

Cuando nuestro servidor de correo necesite comunicarse con otro smtp, el RFC pide que nos presentemos usando el HELO y nuestro nombre, este parametro hace eso.

13; Rutas.

sendmail_path = /usr/local/sbin/sendmail
newaliases_path = /usr/bin/newaliases
mailq_path = /usr/local/bin/mailq
setgid_group = maildrop
manpage_directory = /usr/local/man
sample_directory = /usr/local/etc/postfix
readme_directory = /usr/local/share/doc/postfix

14; Habiltando el envio de correo a el mail-server.

transport_maps = hash:/usr/local/etc/postfix/transport

Como pueden observar, necesitamos crear ese archivo con los datos de nuestro mail-server, como sigue:

example.com smtp:[mail.example.com]

Creamos el BDB.

Este ultimo paso es donde le indicamos a nuestro spam-server que envie todos los correos aceptados a este hostname, si no tienen un DNS operable pueden poner el IP si gustan, en mi caso mi DNS esta funcionando sin problemas.

15; Revisamos el sintaxis de postfix.

postix check

Si no hay problema, ya pueden iniciar su servicio y primero que nada buscar sitios publicos donde probar si nuestro servidor no es un "open-relay" que significa que nadie de fuera puede usarlo para enviar correos.

http://www.abuse.net/relay.html

Le dan su IP o nombre del spam-server tal cual lo tiene dado de alta en su DNS y esperen los resultados, van a ver muchas pruebas que le hacen y a el final obtendran un mensaje como este:

Relay test result
All tests performed, no relays accepted.

Pero hagan mas pruebas, existen varios sitios publicos que nos proporcionan este servicio publico.

Tambien revisen su log para que vean lo que postfix logea cuando quieren penetrarlo para openrelay:

May 6 00:09:29 spam postfix/smtpd[3333]: NOQUEUE: reject: RCPT from verify.abuse.net[64.57.183.77]: 554 5.7.1 : Relay access denied; from= to= proto=SMTP helo=
May 6 00:09:32 spam postfix/smtpd[3333]: NOQUEUE: reject: RCPT from verify.abuse.net[64.57.183.77]: 554 5.7.1 : Relay access denied; from= to= proto=SMTP helo=
May 6 00:09:35 spam postfix/smtpd[3333]: NOQUEUE: reject: RCPT from verify.abuse.net[64.57.183.77]: 554 5.7.1 : Relay access denied; from= to= proto=SMTP helo=
May 6 00:09:38 spam postfix/smtpd[3333]: NOQUEUE: reject: RCPT from verify.abuse.net[64.57.183.77]: 554 5.7.1 : Relay access denied; from= to= proto=SMTP helo=

Esto es solo una parte de los logs, familiaricense con ellos, son importantisimos.

Vamos observando como nos queda la configuracion despues de estos primeros cambios:

postconf -n
alias_database = hash:/usr/local/etc/postfix/aliases
alias_maps = hash:/usr/local/etc/postfix/aliases
command_directory = /usr/local/sbin
config_directory = /usr/local/etc/postfix
daemon_directory = /usr/local/libexec/postfix
data_directory = /var/db/postfix
debug_peer_level = 2
html_directory = /usr/local/share/doc/postfix
inet_interfaces = all
local_recipient_maps =
mail_owner = postfix
mailq_path = /usr/local/bin/mailq
manpage_directory = /usr/local/man
mydestination =
mydomain = example.com
myhostname = spam.example.com
mynetworks = 192.168.40.2/32
myorigin = $mydomain
newaliases_path = /usr/bin/newaliases
queue_directory = /var/spool/postfix
readme_directory = /usr/local/share/doc/postfix
relay_domains = example.com
relay_recipient_maps = hash:/usr/local/etc/postfix/relay_recipients
sample_directory = /usr/local/etc/postfix
sendmail_path = /usr/local/sbin/sendmail
setgid_group = maildrop
smtpd_banner = $myhostname ESMTP $mail_name
transport_maps = hash:/usr/local/etc/postfix/transport
unknown_local_recipient_reject_code = 550

Pueden compararla con la primera que mostramos y notaran la diferencia.

Restricciones

1; Helo.

Podemos por regla solicitar a el otro smtp que siempre que trate de entablar comunicacion con nosotros, se presente haciendo uso de su nombre, para ello usamos el parametro:

smtpd_helo_required = yes

Con esto le pedimos que nos mande su hostname, asi dicen los RFC.

Por default postfix no lo pide, pero nosotros si, muchos spammers no les gusta esto y mucho menos obedecer reglas, si asi nos gusta a nosotros ni modo asi va a hacer.

Ahora vean lo que pasa cuando otro smtpd se conecta y es irrespetuoso, vamos a usar un equipo externo para hacer las pruebas, para ver la info en los logs de postfix que en mi caso estan en:

/var/log/maillog

Necesito prender el log de postfix abriendo el archivo de nombre:

master.cf

Y busca la siguiente linea y le agrego el parametro -v, asi quedaria:

smtp inet n - n - - smtpd -v

En este caso es la 1ra.

Aqui si reinicio el servicio.

Ahora, me conecto del otro cliente e intento mandar un correo sin mandar el HELO:

telnet example.com 25
Trying XXX.YYY.ZZZ.WWW...
Connected to example.com (IP-Publica).
Escape character is '^]'.
220 spam.example.com ESMTP Postfix
mail from:
503 5.5.1 Error: send HELO/EHLO first

Esto aparece de lado del otros smtp, ahora vemos los logs de postfix, si va a logear mucho pero aqui estamos aprediendo y no hay como saber leer los logs de cada uno de nuestros servidores de los contrario no somos buenos administradores:

May 9 22:50:53 spam postfix/smtpd[68766]: > mail.example2.com[IP-Publica]: 220 spam.example.com ESMTP Postfix
May 9 22:51:16 spam postfix/smtpd[68766]: < mail.example2.com[IP-Publica]: mail from:
May 9 22:51:16 spam postfix/smtpd[68766]: > mail.example2.com[IP-Publica]: 503 5.5.1 Error: send HELO/EHLO first

Ahi esta nuestra primer restriccion trabajando, asi que funciona.

Panorama de la comunicacion de un correo y lugar donde aplica cada tipo de restriccion, ver siguiente figura:

Figura 1. Ubicacion de restricciones de un correo en postfix.

En base a la figura 1, vamos a seguir este tutorial.

warn_if_reject

Este parametro se creo con el fin de debugear las restricciones, se ponen 1ro que la restriccion y solo nos logea un mensaje como este:

connect from mail.example2.com[IP-publica]
May 9 23:27:29 spam postfix/smtpd[69200]: NOQUEUE: reject_warning:
RCPT from mail.example2.com[IP-publica]: 554 5.7.1
: Client host rejected: Access denied; from=
to= proto=ESMTP helo=

Este pequeño parametro es de gran utilidad, ya que nos avisa si la regla funciona y si la pocision es adecuada y sobre todo que no rechaza el correo es simple informacion en los logs.

warn_if_reject restriccion_deseada

2; Client Restrictions.

Restricciones del cliente, que opciones por default tiene postfix, vamos revisandola:

postconf -d smtpd_client_restrictions
smtpd_client_restrictions =

Ninguna, entonces vamos empezando a ver que nos sirve, aunque aqui se manejan muchas, no todas vamos usar ya que muchas no tiene aplicacion para mi aun.

check_client_access

smtpd_client_restrictions=
warn_if_reject check_client_access hash:/usr/local/etc/postfix/access_clients
permit

Creamos el archivo con un dominio que no deseo aceptar, ejemplo

hotmail.com REJECT

Ya saben es hash, ya saben que tienen que hacer.

reload a postfix, mandamos un correo desde una cuenta de hotmail y vemos log.

connect from snt0-omc3-s32.snt0.hotmail.com[65.55.90.171]
May 9 23:45:21 spam postfix/smtpd[69404]: NOQUEUE: reject:
RCPT from snt0-omc3-s32.snt0.hotmail.com[65.55.90.171]:
554 5.7.1 :
Client host rejected: Access denied;
from= to=
proto=ESMTP helo=
May 9 23:45:21 spam postfix/smtpd[69404]: disconnect
from snt0-omc3-s32.snt0.hotmail.com[65.55.90.171]

Dentro de hotmail recibiran un correo con el subject:

Delivery Status Notification (Failure)‏

Y con el body:

This is an automatically generated Delivery Status Notification.
Delivery to the following recipients failed.
usera-texample.com

Ahora si tiene una cuenta de correo que no sea hotmail, prueben:

connect from mail.otrodominio.com[ippublica]
May 9 23:53:27 spam postfix/smtpd[69410]: 1D55BC16786: client=mail.otrodominio.com[ippublica]
May 9 23:53:27 spam postfix/cleanup[69413]: 1D55BC16786:
message-id=<6101993aafcd9f28f8b610475feca52b.squirrela-twww.otrodominio.com>
May 9 23:53:27 spam postfix/qmgr[69390]: 1D55BC16786:
from=, size=946, nrcpt=1 (queue active)
May 9 23:53:27 spam postfix/smtpd[69410]: disconnect
from mail.otrodominio.com[ippublica]
May 9 23:53:27 spam postfix/smtp[69414]: 1D55BC16786:
to=, relay=mail.example.com[192.168.40.4]:25,
delay=0.09, delays=0.02/0.01/0.02/0.04, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as 2DA714E0015)
May 9 23:53:27 spam postfix/qmgr[69390]: 1D55BC16786: removed

Como podran ver rechazo un dominio que es basura desde el 1er filtro segun la figura 1, ahora porque si facebook esta prohibido en su empresa no bloquearlo para no aceptar ninguna invitacion por correo, ya vieron como hacerlo...

NOTA: De los logs voy a quitar "@" y lo voy a remplazar por la palabra a-t, muchos sabran por que.

Ahora veo como queda mi 1er restriccion:

postconf -h smtpd_client_restrictions
check_client_access hash:/usr/local/etc/postfix/access_clients permit

El parametro permit le indica a postfix que si el cliente pasa las reglas anteriores pueden seguir su camino con las demas restricciones si hay.

3; smtpd_recipient_restrictions.

Aqui es donde la mayor parte de las restricciones entran, ya que si revisan la figura 1 en cada nivel postfix tiene filtros, pero segun los expertos aqui es donde van la mayoria. Ahora que es lo hace postfix por default para que nuestro smtpd no sea un "open relay"?,

Vamos primero revisando viendo los parametros por default que nos da esta restriccion:

postconf -d smtpd_recipient_restrictions
smtpd_recipient_restrictions =
permit_mynetworks, reject_unauth_destination

Como podran ver solo existen 2, postfix divide sus restricciones en 2 capas:

nombre_de_restriccion =
----Restricciones que aplica tanto a clientes internos como externos.
permit_mynetworks
----

Restricciones que aplica solo a clientes externos.

permit

Por ello coloca esta restriccion:

reject_unauth_destination

Enseguida de:

permit_mynetworks

Estos dos parametros hacen que nuestro smtp no sea un openrelay y asi viene por default postfix.

El parametro reject_unauth_destination se encarga de eso, verificando que tanto el RCPT TO: su dominio o destinatarios sean de nuestro dominio, de lo contrario son rechazados.

Entonces vamos armando nuestro siguiente filtro y quedaria asi:

smtpd_recipient_restrictions =
permit_mynetworks
reject_unauth_destination
permit

Pongan lo anterior en el archivo main.cf.

4; Exigir que a otros smtp que sigan las reglas del RFC y cuando manden su nombre en el HELO/EHLO venga en forma FQDN.

mail.example.com

De lo contrario sera rechazado, nosotros ponemos las reglas, el parametro usado es:

reject_non_fqdn_hostname

Quedaria asi:

smtpd_recipient_restrictions =
permit_mynetworks
reject_unauth_destination
reject_non_fqdn_hostname
permit

Reload y probamos.

connect from mail.example2.com[pub-ip]
May 12 22:03:33 spam postfix/smtpd[8895]: NOQUEUE: reject_warning:
RCPT from mail.example2.com[pub-ip]:
504 5.5.2 : Helo command rejected: need fully-qualified hostname;
from= to= proto=SMTP helo=
May 12 22:03:33 spam postfix/smtpd[8895]: 4EC1BC16786:
client=mail.example2.com[pub-ip]

5; Ahora vamos a pedirles a otros smtp que usen nombres validos en el hostname usando este parametro:

reject_invalid_hostname

Es parecido a el #4 y util.

Reload y probamos.

6; Hasta aqui hemos atacado el smtp, pero ahora sigue el sender o el "from:", asi como le pedimos a los smtp externos que tengan nombres en forma FQDN, tambien se lo vamos a exigir a los remitentes usando este parametro:

reject_non_fqdn_sender

Y lo vamos a colocar arriba de permit_mynetworks, para que sea a todos, tanto los externos como internos, por si por alguna razon postfix falle no me vaya a causar problemas por error de dedo o de aplicacion, mejor se lo aplico a todos.

Quedaria asi:

smtpd_recipient_restrictions =
reject_non_fqdn_sender
permit_mynetworks
reject_unauth_destination
reject_non_fqdn_hostname
reject_invalid_hostname
permit

Reload y probamos.

connect from mail.example2.com[ip-pub]
May 12 22:31:50 spam postfix/smtpd[9269]: NOQUEUE:
RCPT from mail.example2.com[ip-pub]: 504 5.5.2 :
Sender address rejected: need fully-qualified
address; from= to=
proto=SMTP helo=
May 12 22:31:50 spam postfix/smtpd[9269]:
96E4DC16786: client=mail.example2.com[ip-pub]
May 12 22:31:56 spam postfix/smtpd[9269]:
lost connection after UNKNOWN from mail.example2.com[ip-pub]
May 12 22:31:56 spam postfix/smtpd[9269]:
disconnect from mail.example2.com[ip-pub]

7; Ahora vamos a validar la existencia de los dominios de los otros smtp`s. Con este parametro:

smtpd_recipient_restrictions =
reject_non_fqdn_sender
reject_unknown_sender_domain
permit_mynetworks
reject_unauth_destination
reject_non_fqdn_hostname
reject_invalid_hostname
permit

Reload y probamos.

connect from mail.exmaple2.com[pub-ip]
May 13 06:44:14 spam postfix/smtpd[15311]: NOQUEUE: reject:
RCPT from mail.exmaple2.com[pub-ip]: 450 4.1.8
: Sender address rejected:
Domain not found; from=
to=
proto=SMTP helo=
May 13 06:44:19 spam postfix/smtpd[15311]:
lost connection after RCPT from mail.exmaple2.com[pub-ip]
May 13 06:44:19 spam postfix/smtpd[15311]:
disconnect from mail.exmaple2.com[pub-ip]

Claro que aqui postfix necesita hacer unos queries a el DNS pero no importa vale la pena.

8; Ahora vamos a verficar que el dominio de los destinos existan, ya se que sabemos que no va a pasar, pero para que dejar que la comunicacion sigan procesandose si puede pararla antes mejor, asi me ahorro CPU/memoria/tiempo.

Quedaria asi:

smtpd_recipient_restrictions =
reject_non_fqdn_sender
reject_unknown_sender_domain
reject_unknown_recipient_domain
permit_mynetworks
reject_unauth_destination
reject_non_fqdn_hostname
reject_invalid_hostname
permit

Reload y revisamos logs, les aparecera algo asi:

user@dominio.malo.com>: Recipient address rejected: Domain not found

Hasta aqui hemos creado un grupo de restriciones, las cuales creanme van a bloquar parte de los spammers, pero este es solo la 1er barrera, vamos a seguirle.

10; Validando remitentes.

Ahora vamos a pedirle a postfix que antes de aceptar un correo para un usuario de nuestro dominio lo verifique, para ello tenemos 2 formas, usuarios locales y usuarios del dominio, anteriormente hablamos de los 1eros y configuramos a nuestro smtp para que no acepte nada a cuentas locales, asi que aqui me enfocare a los usuarios del dominio.

El parametro:

relay_recipient_maps = hash:/usr/local/etc/postfix/relay_recipients

Le estamos dando un archivo donde tenemos las cuentas que pueden realmente recibir correos, aqui esta un ejemplo:

user1@example.com OK
user2@example.com OK

Ya saben como deben crear el archivo que requiere postfix, reload y prueban.

connect from mail.example2.com[ip-pub]
May 14 15:35:01 spam postfix/smtpd[32991]: NOQUEUE: reject: RCPT from
mail.example2.com[ip-pub]: 550 5.1.1 :
Recipient address rejected: User unknown in relay
recipient table; from=
to= proto=SMTP helo=
May 14 15:35:08 spam postfix/smtpd[32991]:
lost connection after RCPT from mail.example2.com[ip-pub]
May 14 15:35:08 spam postfix/smtpd[32991]:
disconnect from mail.example2.com[ip-pub]

Se preguntaran, como podre sacar mi lista de usuarios? bueno aqui cada debe saber como tenerla a el dia.

11;Vamos a agregar otros parametros y al ver su nombre ustedes van a saber lo que hacen:

smtpd_recipient_restrictions =
reject_non_fqdn_recipient
reject_non_fqdn_sender
reject_unknown_sender_domain
reject_unknown_recipient_domain
permit_mynetworks
reject_unauth_destination
reject_non_fqdn_hostname
reject_invalid_hostname
permit

Reload y prueban.

12; Envio a multiples destinatarios.

Dice el RFC que uno nunca debe de bloquear el correo de remitentes en esta forma:

<>

Ya que este correo lo usan los mismos smtp para comunicarse, pero muchos spammers abusan y tratan de usarlo para aprovecharse de este atributo y ademas trataran de usarlo para enviar correos a multiples destinatarios, por ello existe este parametro:

reject_multi_recipient_bounce

Su funcion es esa y nuestra configuracion seria asi:

smtpd_recipient_restrictions =
reject_non_fqdn_recipient
reject_non_fqdn_sender
reject_unknown_sender_domain
reject_unknown_recipient_domain
permit_mynetworks
reject_unauth_destination
reject_multi_recipient_bounce
reject_non_fqdn_hostname
reject_invalid_hostname
permit

Reload y prueban.

connect from mail.example2.com[pub-ip]
May 15 22:01:11 spam postfix/smtpd[64455]: 3D706C16E22:
client=mail.example2.com[pub-ip]
May 15 22:01:23 spam postfix/smtpd[64455]:
3D706C16E22: reject: RCPT from mail.example2.com[pub-ip]:
550 5.5.3 : Recipient address rejected:
Multi-recipient bounce; from=<> to=
proto=SMTP helo=
May 15 22:01:28 spam postfix/smtpd[64455]:
lost connection after RCPT from mail.example2.com[pub-ip]
May 15 22:01:28 spam postfix/smtpd[64455]:
disconnect from mail.example2.com[pub-ip]

13; Helo Checks.

Muchos spammers trataran de pasarse de listos y quedran enviar en el HELO/EHLO el nombre de nuestro smtp, por lo tanto vamos deteniendo este detalle creando un archivo con los siguientes caracteres raros:

/^spam\.example\.com$/ REJECT You are not in the server room

# Somebody HELO'ing with our IP address?
/^W\.X\.Y\.Z$/ REJECT You are not my IP
/^\[W.X.Y\.Z\]$/ REJECT You are not my IP
/^[0-9.]+$/ REJECT U are not RFC2821 compliant

Donde W.X.Y.Z es el ip publico de mi spam server, no el interno.

Y dentro de postfix usamos el parametro:

check_helo_access

Asi:

smtpd_recipient_restrictions =
reject_non_fqdn_recipient
reject_non_fqdn_sender
reject_unknown_sender_domain
reject_unknown_recipient_domain
permit_mynetworks
reject_unauth_destination
reject_multi_recipient_bounce
check_helo_access pcre:/usr/local/etc/postfix/helo_checks
reject_non_fqdn_hostname
reject_invalid_hostname
permit

Reload.

Si se dan cuenta, postfix genera un archivo con la extension .pcre de helo_checks.

Ahora revisamos el log:

connect from mail.example2.com[pub-ip]
May 15 22:45:43 spam postfix/smtpd[59312]: NOQUEUE: reject:
RCPT from mail.example2.com[pub-ip]:
554 5.7.1 :
Helo command rejected: You are not in the server room;
from=
to=
proto=SMTP helo=

14; Listras negras de DNS.

Postfix nos permite a nosotros hacer uso de sitios externos para saber si el smtp externo que desea tener comunicacion con nuestro smtp no esta en alguna lista negra. Hay varios parametros y lista de este tipo existen varias, yo en lo particular estoy usando:

http://www.spamhaus.org/index.lasso

Me ha servido mucho y es mucho el spam que me bloquean y no he tenido problemas con ninguno de nuestros clientes en el sentido que este filtro los este bloqueando.

Bien, esta funcion es desgastante en tiempo pero vale la pena, y me refiero a esto porque nuestro smtp tendra que hacer algunos queries a el dns, asi que si ven lentitud vayan pensando en levantar un cache DNS.

Como quedaria my configuracion:

smtpd_recipient_restrictions =
reject_non_fqdn_recipient
reject_non_fqdn_sender
reject_unknown_sender_domain
reject_unknown_recipient_domain
permit_mynetworks
reject_unauth_destination
reject_multi_recipient_bounce
check_helo_access pcre:/usr/local/etc/postfix/helo_checks
reject_non_fqdn_hostname
reject_invalid_hostname
reject_rbl_client zen.spamhaus.org
permit

En mi caso quiero que sea la ultima que se lleve a cabo por lo mismo del tiempo precioso que necesita que son segundos, pero cuando tienes 20 conexiones x segundo ya pesa.

Reload y voy a mostrar un log de cuando este operacion entra en juego:

May 15 23:01:39 spam postfix/smtpd[2968]:
NOQUEUE: reject: RCPT from unknown[PUB-IP]:
554 5.7.1 Service unavailable; Client host
[PUB-IP] blocked using zen.spamhaus.org;
http://www.spamhaus.org/query/bl?ip=PUB-IP;
from= to=
proto=SMTP helo=<456.subnet24-432-789.speedy.telkom.net.id>

15; No permitir usar mi dominio a el remitente.

Ahora vamos a verificar que los smtp no traten de usar mi dominio en sus remitentes, para ello vamos a crear un archivo con estos datos:

example.com 554 No usar mi dominio en tu remitente

Y nuestro configuracion seria asi:

smtpd_recipient_restrictions =
reject_non_fqdn_recipient
reject_non_fqdn_sender
reject_unknown_sender_domain
reject_unknown_recipient_domain
permit_mynetworks
check_sender_access hash:/usr/local/etc/postfix/no_usar_mi_dominio
reject_unauth_destination
reject_multi_recipient_bounce
check_helo_access pcre:/usr/local/etc/postfix/helo_checks
reject_non_fqdn_hostname
reject_invalid_hostname
reject_rbl_client zen.spamhaus.org
permit

Por que ahi? Bien yo quiero que si alguien quiere usar mi dominio en su remitente, no deseo investigar mas ya que ese smtp ha tratado de fingir ser "yo" por lo tanto lo rechazo antes de seguir gastando mi precioso tiempo, CPU, memoria por ello le doy prioridad a esta regla.

Reload y vamos a ver que dice el log:

connect from mail.example2.com[pub-ip]
May 15 23:44:39 spam postfix/smtpd[64295]:
NOQUEUE: reject: RCPT from mail.example2.com[pub-ip]:
554 5.7.1 :
Sender address rejected: No usar mi dominio en tu remitente;
from=
to=
proto=SMTP helo=

16;

Filtros Externos

Ahora vamos hacer uso de programas externos y deseo darles una tecnica que a muchos les parece algo exagerada pero a mi punto de vista la veo muy util, la cual se basa en un funcion de los smtp, la cual funciona asi.

Cuando un smtp se comunica con otro, y este otro esta muy saturado, este ultimo le puede responder a el 1er smtp diciendole que esta muy cargado que espero un poco de tiempo. El rfc tiene contemplado esto.

Asi de simple, pero a que viene esto?

Muchos spaammers les pagan por enviar correos, mientras mas envien mas les pagan o llegan a su cuota, por ello muchos crean su programas para que no obedezcan los RFC de lo contrario serian ejecutables muy grandes y rapidamente detectados.

Y ademas, ellos reciben su paga por enviar y no por confirmar si llego o no, en las palabras anteriores esta la clave.

Para llevar a cabo esta tecnica vamos hacer uso de un programa llamado: Postgrey de este sitio.

http://postgrey.schweikert.ch/

Por ello postfix nos da este parametro:

check_policy_service

Aqui es donde le decimos que haga uso de algo externo.

Lo que hace postgrey es lo siguiente. Cuando un remitente externo(otro smtp) trata de enviarnos por primera vez correos a un destinatario de nuestro dominio, una vez pasado por todas las reglas y llegado a el check_policy_service, postgrey en su bd verifica que haya un par de parametros:

remitente destinatario

Si no hay ninguno, este le retorna el mensaje a el otro smtp que debe esperar, por default postgrey tienen una poliza de 5 minutos, asi que si el otro smtp trata de hacerlo antes postgrey ya lo tiene en su lista de espera y lo vuelve a rechazar hasta que haya pasado ese periodo de gracia.

Una vez que el otro smtp lo intenta en el tiempo especificado ya postgrey le permite el paso por que ya tiene un par de llaves en su bd.

Asi de simple, como les comente anteriormente los spammers no les interesa saber si si correo llego o no, muchos menos detenerse para volver enviar el correo, por ello esta tecnica tambien les va a bloquear un bloque de spam.

Su unico incoveniente es que la 1ra vez que su amigo les envie el correo van a tardar 5 minutos en entrar, pero todos los smtp que siguen las reglas van a respetar nuestras reglas y volver a enviar el correo en el tiempo especificado asi que no van a tener problemas.

Ustedes son los que saben como operar su servidor y que es lo mejor para su compañia asi que si un empleado sale lloron solo tienen que convencer a su jefe la importancia para su compañia de este pequeño truco.

Para ponerlo a trabajar ya solo voy a rc.conf y lo doy de alta:

postgrey_enable="yes"

La bd de datos que usa es BDB, postgrey no es el unico que existen hay muchos, pero para este funcion yo lo elegi a el.

Lo hecho a volar.

Mi configuracion quedaria asi:

smtpd_recipient_restrictions =
reject_non_fqdn_recipient
reject_non_fqdn_sender
reject_unknown_sender_domain
reject_unknown_recipient_domain
permit_mynetworks
check_sender_access hash:/usr/local/etc/postfix/no_usar_mi_dominio
reject_unauth_destination
check_helo_access pcre:/usr/local/etc/postfix/helo_checks
reject_multi_recipient_bounce
reject_non_fqdn_hostname
reject_invalid_hostname
check_policy_service inet:192.168.40.5:10023
reject_rbl_client zen.spamhaus.org
permit

Lo coloco antes del _rbl_client ya que prefiero que los queries externos sea lo ultimo que haga mi spam server.

Reload y van a ver logs como este:

connect from second3.fotuicatan.com[173.246.141.201]
May 16 07:07:39 spam postgrey[18480]: action=greylist, reason=new,
client_name=second3.fotuicatan.com,
client_address=173.246.141.201,
sender=dentalcarea-tfotuicatan.com,
recipient=usera-texample.com
May 16 07:07:40 spam postfix/smtpd[14371]:
NOQUEUE: reject: RCPT from second3.fotuicatan.com
[173.246.141.201]: 450 4.2.0 :
Recipient address rejected: Greylisted, see
http://postgrey.schweikert.ch/help/example.com.html;
from= to=
proto=ESMTP helo=

Clamavis

Ahora vamos a configurar el antivirus open source ClamAV, en este servidor estamos hablando de la version 0.97, y como todo usuario de FreeBSD siempre nos preguntamos y que opciones usamos cuando ejecutemos:

make install clean

Bien aqui pongo las que estoy usando:

Figura 2.

Bien una vez instalado vamos a la configuracion, la instalacion coloca 2 archivos por default en la ruta default: /usr/local/etc/, esto son:

-r--r--r-- 1 root wheel 13986 Mar 23 02:06 clamd.conf.default
-r--r--r-- 1 root wheel 7507 Mar 23 02:06 freshclam.conf.default

Solo compeanos cada a otro archivo sin la extension .default.

Freshclam

Clamav instala 2 servicios:

freshclam clamd.

El 1ro es el encargado de actualizar las firmas del antivirus, asi que este servidor cada cierto tiempo se estara conectado para bajar las firmas mas nuevas.

Su configuracion es la siguiente:

DatabaseDirectory /var/db/clamav
UpdateLogFile /var/log/clamav/freshclam.log
LogFileMaxSize 2M
LogTime yes
LogVerbose yes
LogSyslog yes
PidFile /var/run/clamav/freshclam.pid
DatabaseOwner clamav
AllowSupplementaryGroups yes
DatabaseMirror db.us.clamav.net
DatabaseMirror database.clamav.net
MaxAttempts 5
NotifyClamd /usr/local/etc/clamd.conf

Crear el archivo log si no existe, los demas parametros y comentarios los deje tal cual estan.

El directorio donde se guardan los logs debe tener el siguiente permiso:

drwxr-xr-x 2 clamav clamav 1024 May 17 00:00 clamav

Ahora lo damos de alta en el rc.conf

clamav_freshclam_enable="YES"

Aqui ya lo tenemos listo para proibar.

Clamav

Este programa es el que se encarga de llevar la tarea sucia y revisar nuestros archivos de cosas malas.

Vamos mostrando la configuracion que estoy usando:

LogFile /var/log/clamav/clamd.log
LogFileMaxSize 2M
LogTime yes
LogSyslog yes
LogVerbose yes
ExtendedDetectionInfo yes
PidFile /var/run/clamav/clamd.pid
DatabaseDirectory /var/db/clamav
LocalSocket /var/run/clamav/clamd.sock
FixStaleSocket yes
TCPAddr 192.168.40.5
StreamMaxLength 10M
MaxDirectoryRecursion 20
User clamav
AllowSupplementaryGroups yes
ScanMail yes

Todos los demas parametros los estoy dejando con sus valores por default, aqui solo muestro los que yo uso y eliminando comentarios, ademas tengo habilitado el verbose ya cuando termine de configurar todo lo voy a poner lo mas bajo posible.

FreeBSD crea el usuario y grupo de clamav, ya solo falta agregar el servicio a rc.conf:

clamav_clamd_enable="YES"

Ahora si vamos poniendo ambos en operacion, el1ro es el freshclam y lo ejecutamos a mano, este servicio usa el puerto 80 para bajar sus archivos, asi que su firewall debe permitirle salir por el puerto 80.

freshclam -v

freshclam -v
Current working dir is /var/db/clamav
Max retries == 5
ClamAV update process started at Tue May 17 22:51:02 2011
Using IPv6 aware code
Querying current.cvd.clamav.net
TTL: 422
Software version from DNS: 0.97
main.cvd version from DNS: 53
main.cvd is up to date (version: 53, sigs: 846214, f-level: 53, builder: sven)
daily.cvd version from DNS: 13086
daily.cld is up to date (version: 13086, sigs: 118614, f-level: 60, builder: guitar)
bytecode.cvd version from DNS: 143
bytecode.cld is up to date (version: 143, sigs: 40, f-level: 60, builder: edwin)

Ahora sigue clamd:

/usr/local/etc/rc.d/clamav-clamd start

Starting clamav_clamd.

Vemos el log:

Tue May 17 22:28:26 2011 -> +++ Started at Tue May 17 22:28:26 2011
Tue May 17 22:28:26 2011 -> clamd daemon 0.97 (OS: freebsd8.2, ARCH: i386, CPU: i386)
Tue May 17 22:28:26 2011 -> Running as user clamav (UID 106, GID 106)
Tue May 17 22:28:26 2011 -> Log file size limited to 2097152 bytes.
Tue May 17 22:28:26 2011 -> Reading databases from /var/db/clamav
Tue May 17 22:28:26 2011 -> Not loading PUA signatures.
Tue May 17 22:28:32 2011 -> Loaded 963507 signatures.
Tue May 17 22:28:34 2011 -> LOCAL: Unix socket file /var/run/clamav/clamd.sock
Tue May 17 22:28:34 2011 -> LOCAL: Setting connection queue length to 200
Tue May 17 22:28:34 2011 -> Limits: Global size limit set to 104857600 bytes.
Tue May 17 22:28:34 2011 -> Limits: File size limit set to 26214400 bytes.
Tue May 17 22:28:34 2011 -> Limits: Recursion level limit set to 16.
Tue May 17 22:28:34 2011 -> Limits: Files limit set to 10000.
Tue May 17 22:28:34 2011 -> Limits: Core-dump limit is 4294967295.
Tue May 17 22:28:34 2011 -> Archive support enabled.
Tue May 17 22:28:34 2011 -> Algorithmic detection enabled.
Tue May 17 22:28:34 2011 -> Portable Executable support enabled.
Tue May 17 22:28:34 2011 -> ELF support enabled.
Tue May 17 22:28:34 2011 -> Mail files support enabled.
Tue May 17 22:28:34 2011 -> OLE2 support enabled.
Tue May 17 22:28:34 2011 -> PDF support enabled.
Tue May 17 22:28:34 2011 -> HTML support enabled.
Tue May 17 22:28:34 2011 -> Self checking every 600 seconds.
Tue May 17 22:28:34 2011 -> Listening daemon: PID: 90556
Tue May 17 22:28:34 2011 -> MaxQueue set to: 100
Tue May 17 22:28:34 2011 -> Set stacksize to 1114112

Verificamos:

/usr/local/etc/rc.d/clamav-clamd status
clamav_clamd is running as pid 90556.

Vemos si esta el servicio arriba:

ps -ax | grep clam
90596 ?? IsJ 0:00.00 /usr/local/sbin/clamd

Probamos localmente:

clamscan /usr/local/etc/
/usr/local/etc/screenrc: OK
/usr/local/etc/pkgtools.status-pkg.sh: OK
/usr/local/etc/pkgtools.conf.sample: OK
/usr/local/etc/pkgtools.conf: OK
/usr/local/etc/rarfiles.lst: OK
/usr/local/etc/amavisd.conf-dist: OK
/usr/local/etc/amavisd.conf-sample: OK
/usr/local/etc/amavisd.conf-default: OK
/usr/local/etc/amavisd-custom.conf-dist: OK
/usr/local/etc/amavisd.conf: OK
/usr/local/etc/amavisd-custom.conf: OK
/usr/local/etc/clamd.conf.default: OK
/usr/local/etc/freshclam.conf.default: OK
/usr/local/etc/clamd.conf: OK
/usr/local/etc/freshclam.conf: OK
/usr/local/etc/policyd-weight.conf.sample: OK
/usr/local/etc/my.cnf: OK
/usr/local/etc/nss_ldap.conf.sample: OK
/usr/local/etc/nss_ldap.conf: OK
/usr/local/etc/ldap.conf.dist: OK
/usr/local/etc/policyd-weight.conf: OK
/usr/local/etc/ldap.conf: Symbolic link
/usr/local/etc/portaudit.conf.sample: OK

----------- SCAN SUMMARY -----------
Known viruses: 963507
Engine version: 0.97
Scanned directories: 1
Scanned files: 22
Infected files: 0
Data scanned: 0.59 MB
Data read: 0.33 MB (ratio 1.79:1)
Time: 8.726 sec (0 m 8 s)

Ahora si ejecutamos el demonio de freshclam:

/usr/local/etc/rc.d/clamav-freshclam restart
Starting clamav_freshclam.

Revisamos ambos servicios:

ps -ax | grep clam
90828 ?? IsJ 0:02.74 /usr/local/bin/freshclam --daemon -p /var/run/clamav/freshclam.pid
90850 ?? IsJ 0:00.00 /usr/local/sbin/clamd

Ahora los sockets:

sockstat -4
USER COMMAND PID FD PROTO LOCAL ADDRESS FOREIGN ADDRESS
clamav clamd 90850 3 tcp4 192.168.40.5:21989 192.168.40.4:389
clamav freshclam 90828 3 tcp4 192.168.40.5:31452 192.168.40.4:389

Como mi red depende de LDAP, aqui veo que ambos estan teniendo comunicacion eon mi servidor LDAP.

En la configuracion de freshclam viene una parte donde dice que una vez que actualice firmas debe informar a clamd sobre esto, sus logs van a mostrar algo asi:

Tue May 17 22:43:04 2011 -> Current working dir is /var/db/clamav
Tue May 17 22:43:04 2011 -> Max retries == 5
Tue May 17 22:43:04 2011 -> ClamAV update process started at Tue May 17 22:43:04 2011
Tue May 17 22:43:04 2011 -> Using IPv6 aware code
Tue May 17 22:43:04 2011 -> Querying current.cvd.clamav.net
Tue May 17 22:43:04 2011 -> TTL: 900
Tue May 17 22:43:04 2011 -> Software version from DNS: 0.97
Tue May 17 22:43:04 2011 -> main.cvd version from DNS: 53
Tue May 17 22:43:04 2011 -> main.cvd is up to date (version: 53, sigs: 846214, f-level: 53, builder: sven)
Tue May 17 22:43:04 2011 -> daily.cvd version from DNS: 13086
Tue May 17 22:43:04 2011 -> Retrieving http://db.us.clamav.net/daily-13086.cdiff
Tue May 17 22:43:04 2011 -> connect_error: getsockopt(SO_ERROR): fd=6 error=61: Connection refused
Tue May 17 22:43:04 2011 -> Can't connect to port 80 of host db.us.clamav.net (IP: 194.47.250.218)
Tue May 17 22:43:04 2011 -> Trying to download http://db.us.clamav.net/daily-13086.cdiff (IP: 168.143.19.95)
Tue May 17 22:43:04 2011 -> Downloading daily-13086.cdiff [100%]
Tue May 17 22:43:04 2011 -> cdiff_apply: Parsed 21 lines and executed 21 commands
Tue May 17 22:43:05 2011 -> Loading signatures from daily.cld
Tue May 17 22:43:05 2011 -> Properly loaded 118614 signatures from new daily.cld
Tue May 17 22:43:05 2011 -> daily.cld updated (version: 13086, sigs: 118614, f-level: 60, builder: guitar)
Tue May 17 22:43:05 2011 -> bytecode.cvd version from DNS: 143
Tue May 17 22:43:05 2011 -> bytecode.cld is up to date (version: 143, sigs: 40, f-level: 60, builder: edwin)
Tue May 17 22:43:08 2011 -> Database updated (964868 signatures) from db.us.clamav.net (IP: 168.143.19.95)
Tue May 17 22:43:08 2011 -> Clamd successfully notified about the update.

Y la configuracion tambien muestra cada cuanto se va a estar actualizando.

Parece que clamav esta listo para ser usado por amavisd.

SpamAssasin

Viene una pieza angular de este servidor, SA abreviado, es una aplicacion opensource que tiene mucho reconocimiento a nivel mundial, hasta empresas de renombre hacen uso de el.

Amavisd le llama a sa cuando empieza a recibir mensajes de Postfix, sa es un software de autoaprendizaje asi que conforme recibe mensajes va memorizando la comunicacion de cada usuario.

Su configuracion tiene varios achivos en:

/usr/local/etc/mail/spamassassin/

El principal es local.cf