HiperGalaxia

Hasta la fecha se han realizado los siguientes avances con respecto a la implementación del proyecto.

• Se incluyó un apartado acerca del envío de trabajos al cluster Condor cuando no se cuenta con un sistema de archivos compartido.
• Se documentó un problema que sucede cuando se envían scripts con el universo Vanilla sin el correspondiente shebang.
• Se documentó el error de GSS authentication failure que sucede cuando el hostname del servidor no coincide con el certificado de máquina.
• Se documentó el error que impide la ejecución del servidor GAHP y que a su vez evita el envío de trabajos al nodo Grid.
• Se complementó el procedimiento de instalación del cliente Grid y se realizó en (Nodo9@UAM).
• Se realizó la documentación del error que sucede cuando un usuario no autorizado en el gridmap-file intenta enviar trabajos al nodo Grid.
• Se realizaron múltiples pruebas de instalación del nodo Grid con sistemas operativos de 32 y 64 bits para verificar el envío de trabajos con las herramientas de Globus desde el CE y el Cliente, mientras que el envío de trabajos con CondorG sólo puede ser realizado desde el Cliente.  Se envió correo a Grid Colombia para confirmar este hallazago.
• Se realizó la instalación de Octave 3.2.4 a partir de fuentes (en UR) tanto en el nodo principal como en los nodos trabajadores.  Así mismo se documentó el problema de instalación en cluster encontrado.
• Se documentó el envío de trabajos al cluster Condor con Octave mediante el universo Vanilla.

Durante el mes de enero y los primeros días del mes de febrero se realizaron los siguientes avances en el proyecto los cuales fueron documentados en su sitio wiki.

• Con respecto a los certificados se documentaron los procedimientos para solicitar, obtener, instalar y registrar los certificados de los usuarios; y solicitar e instalar los certificados de las máquinas.
• Con respecto al CE (Compute Element) se realizó su instalación y configuración general, la cual incluye además la configuración del uso del gridmap-file y las pruebas locales para verificar su funcionamiento.
• Se formalizó la documentación del hardware de los servidores involucrados en los nodos Grid del proyecto.
• Se agregó un nuevo nodo (nodo9) al nodo de la Universidad Autónoma de Manizales en el cual se realizó la configuración para anexarlo al cluster.
• Se realizaron mejoras a la configuración del nodo8 que tenía problemas de autenticación con el cluster y por esto no estaba siendo tenido en cuenta por Condor.

Asistentes reunión Grid Colombia, Enero 2011.

Durante los días 20 y 21 de enero de 2011 se realizó una reunión técnica con los integrantes de Grid Colombia en las instalaciones de la Universidad Javeriana de Bogotá para tratar los siguientes temas directamente relacionados con el proyecto.

• Montaje de clusters basados en Condor sobre CentOS.
• Breve descripción acerca del uso y administración de los clusters Condor.
• Solicitud y registro de los certificados de usuario.
• Instalación y configuración del Computer Element (CE).
• Instalación y configuración del OSG Client.
• Instalación y configuración del Grid User Management System (GUMS).
• Verificación y envío de tareas a la grid.

Después de convenidos los criterios y conceptos necesarios para la conexión de la grid de las Universidades con Grid Colombia, se espera continuar durante la presente semana con el proceso de implementación de los nodos grid.

La semana pasada asistimos a un curso de capacitación en la Universidad Autónoma de Manizales dictado por la empresa española MaatG enfocado al uso y desarrollo de su plataforma grid, haciendo un principal énfasis en su módulo de e-learning que es utilizado ampliamente por el proyecto de Colciencias que venimos desarrollando.

Se aprovechó también para realizar la instalación del OSG Client en el servidor principal del cluster de la Autónoma e iniciar la instalación del Computer Element (CE) de su próximamente nodo Grid.  De este último se realizó la instalación de los certificados de máquina, los servicios adicionales requeridos y el gestor de paquetes de OSG.  Al respecto estamos listos para continuar con la instalación del CE previa verificación del funcionamiento del cliente cuando se obtengan certificados de usuario para realizar las pruebas por parte de Grid Colombia.

Adicionalmente se realizó la instalación y configuración inicial del software de bioinformática InterProScan en el cluster que es requerido por los compañeros de Cenicafé.

Durante tres días de la última semana del mes de junio estuve dictando un curso práctico acerca de la instalación, configuración y uso de un cluster utilizando Condor y software libre como parte de la difusión de los conocimientos que he adquirido durante el desarrollo del proyecto GridUAM.

Al curso asistieron 18 participantes quienes representaban a las principales instituciones educativas y de investigación del eje cafetero que están interesadas en la computación de alto desempeño.

Los temas tratados durante el curso fueron los siguientes.

1. Introducción al proyecto y conceptual.
2. Instalación del cluster.
   1. Instalación del sistema operativo Scientific Linux 5.5.
   2. Preparación básica del nodo cabeza y de los nodos trabajadores.
   3. Configuración del servicio de SSH.
   4. Configuración del servicio de NFS.
   5. Configuración de las cuentas de usuario.
3. Instalación de Condor en el nodo cabeza y en los nodos trabajadores.
4. Pruebas y uso básico del cluster.
5. Universos del cluster.
   1. Vanilla.
   2. Standard.
   3. Java.
6. Seguridad del cluster con firewall y host.allow/deny.

Se realizó también un práctica adicional que consistió en el cambio del hostname de los nodos, analizándolo desde la perspectiva de su implicación en la configuración del cluster.  La práctica final que consistía en la instalación individual de nodos en máquinas virtuales basadas en VirtualBox no pudo completarse satisfactoriamente debido a problemas con el hardware con que disponíamos en las salas de cómputo.

Participantes del curso de clusters y grids en julio de 2010 en la Universidad Autónoma de Manizales

Durante los tres días siguientes al curso de clusters contamos con la presencia del ingeniero Cesar Orlando Diaz quien en representación del proyecto Grid Colombia, complementó la jornada al dictarnos un curso práctico acerca de la conformación de la grid basada en los clusters que habíamos preparado previamente.

En este segundo curso se trataron los siguientes temas.

1. Introducción conceptual.
2. Instalación del cliente de la grid.
3. Tipos de certificados requeridos.
4. Instalación y configuración del computer element (CE).
5. Instalación y configuración del grid user management system (GUMS).

Participantes del curso de clusters y grids en julio de 2010 en la Universidad Autónoma de Manizales

En lo personal quiero agradecer a los participantes del curso por la asistencia al evento y felicitarlos por contar con la visión necesaria para aprovechar estas nuevas tecnologías, ya presentes en nuestra región: redes académicas de alta velocidad, computación de alto desempeño y mallas computacionales, a su quehacer diario, encontrando mejores formas de hacer las cosas, innovando y mejorando el progreso de nuestra región.

Los contenidos del curso y en general, del proyecto GridUAM pueden ser consultados en su Wiki, el cual está en constante complemento y actualización.  De igual manera recomiendo que sea consultado el Wiki de GridColombia para conocer mas información acerca de este proyecto.

Scientific Linux es una distribucion de Linux creada por Fermilab (Fermi National Accelerator Laboratory) y el CERN (Conseil Européen pour la Recherche Nucléaire) y varios laboratorios y universidades alrededor del mundo, con el fin de centralizar los esfuerzos para la creacion de una distribucion de Linux a ser utilizada dentro de los laboratorios como sistema operativo que soporte las diferentes aplicaciones a utilizar dentro de el desarrollo de experimentos.

La distribucion base del Scientific Linux es una distribucion basada en el Enterprise Linux, compilada desde fuentes. Siendo el principal objetivo mantener la compatibilidad con el Enterprise Linux, adicionando algunas aplicaciones como el Alpine (Visualizacion de noticias y correo) y el OpenAFS (implementacion opensource del Sistema de Archivos Andrew). Adicionalmente la distribucion permite adicionar nuevos componentes sin comprometer la base del sistema atraves del uso de la magia de los scripts y el manejador de paquetes Anaconda, lo que permite a los diferentes centros de investigacion crear su propia distribucion de una manera rapida y facil.

Actualmente Scientific Linux es la distribucion soporta por gLite (middleware utilizado para el montaje de grids) motivo por el cual lo estaremos instalando en un futuro cercano.

Enlaces :

• Scientific Linux
  https://www.scientificlinux.org
• gLite
  http://glite.web.cern.ch/glite

Para comenzar los cacharreos con aplicaciones de Grid, comenzaremos instalando Sun Grid Engine (SGE) de Sun Microsystems, este software permite el manejo de cargas de trabajo basado en politicas alrededor de una infrastructura de nodos que sirven como unidades de procesamiento externas para la ejecucion de trabajos dentro de la grid. A continuacion se describen los pasos para instalar el software necesario en maquinas basadas en Solaris 10, utilizando la distribucion basada en paquetes :

Descargar los paquetes :

• Ir al pagina de descarga del SGE
  http://www.sun.com/software/sge/get_it.jsp
• Seleccionar el boton debajo de "Sun Grid Engine 6.2 U1 Download"
  El cual permite evaluar el software por 30 dias
• Seleccionar la plataforma Solaris y el lenguage English
  (Se debe tener una cuenta en Sun Microsystems para descargar el software, tambien puede crear una)
• Seleccionar el archivo, para la descarga :
  Sun Grid Engine 6.2, Solaris x86 (required), pkgadd format
  (descargar directamente o utilizar el Sun Download Manager el cual requiere Java )
• Debemos quedar con un archivo llamado :
  sge62u1_solaris-i586_pkg.zip

Instalar los paquetes :

• Ejecutar la maquina virtual de Solaris 10 en VirtualBox
  (buscar en Posts anteriores)
• Entrar como el usuario root
• Obtener la dirección ip de la maquina para conectarnos via SSH
  ifconfig -a
  (Esto imprime la información de las interfaces de red,
  si existe un problema verifique la configuración de la red en VirtualBox)

Abrir una consola en la Maquina Virtual
(esto lo hacemos para poder acceder de forma remota a la maquina virtual o para no utilizar la consola desde VirtualBox debido a problemas de codigos de teclas):

• Si estamos en Linux
  ssh root@<ipMaquina>
• Si estamos en Windows podemos utilizar Putty y abrir una sesion SSH con la ip
• Ejecutamos el shell bash para mayor comodidad
  bash

Subir distribucion de SGE a la Maquina Virtual :

• Si estamos en Linux ejecutamos :
  scp sge62u1_solaris-i586_pkg.zip root@<ipMaquina>:/tmp
• Si estamos en Windows podemos utilizar el WinSCP para subir el archivo

Instalar los paquetes del SGE :

• Desde la consola que abrimos, nos pasamos para tmp
  cd /tmp
• Descomprimimos el archivo :
  unzip sge62u1_solaris-i586_pkg.zip
• Cambiamos el directorio al de SGE
  cd sge6_2u1
• Descomprimimos los paquetes :
  unzip sge-6_2u1-common.zip
  unzip sge-6_2u1-bin-solaris-i586.zip
• Crear los directorios de instalacion por defecto :
  mkdir /gridware
  mkdir /gridware/sge
• Instalamos los paquetes :
  pkgadd -d . SUNWsgeec SUNWsgeei

Con esto ya tenemos instalado el software necesario para instalar los diferentes tipos de hosts en la infraestructura de SGE, lo cual haremos en otro post.

Enlaces :

• Sun Grid Engine
  http://www.sun.com/software/sge
• WinSCP
  http://www.winscp.net