Tuesday, October 21, 2008

Más memoria, es la guerra!

En la situación actual del HPC, donde los cluster de pequeñas máquinas se imponen de forma rotunda, resulta una necesidad casi asfixiante disponer de la suficiente memoria por nodo de cálculo.

En los pasillos de los grandes centros de cálculo y las universidades el clamor por más memoria se está haciendo oír tan fuerte como el de más Gigaflops.

Muchos administradores de centros de HPC empiezan a estar preocupados por las repetidas quejas de usuarios que ven morir largos proceso por la escasez de memoria en los nodos.

Un buen ejemplo de esta situación son los geofísicos, que se ven obligados a interpretar grandes cantidades de datos en tiempo real, en la acuciante búsqueda de nuevos recursos naturales.

Además de mucha memoria los usuarios de grandes trabajos demandan a sus administradores de sistemas que fallos en el hardware no den al traste con semanas de iteraciones. Es decir se busca, aunque a veces no se dice, un alto grado de disponibilidad. Y es aquí donde sistemas más robustos, usados en los entornos críticos de procesos de negocio, y con capacidad para albergar cientos o miles de Gigabytes de memoria se convierten en los SUPERNODOS de Clusters de Cálculo.

Estos Súper clusters de máquinas de memoria compartida, no se caracterizan por el número de sus nodos sino por las capacidades de cada uno de ellos. Lo que les permite realizar retos vedados para el resto de los Clusters. En esta familia de soluciones de HPC el procesador Itanium es el que sin lugar a dudas domina la manada.

Otro factor que se alía con este tipo de máquinas es la adición de más núcleos de proceso por pastilla de silicio, está tendencia a la que es imposible oponerse o tan siquiera rechistar está cambiado el modelo de programación puro por paso de mensajes, (MPI), por un modelo de programación híbrido basados en hebras de programación dentro de cada nodo (OpenMP), y paso de mensajes ente los nodos. Y es precisamente esta manera de programar la que también se adapta a los potentes nodos Itanium cargados de memoria.

Además y por descontado las aplicaciones programadas en OpenMP deseosas de acceder al mayor número de procesadores compartiendo la mayor cantidad de memoria, serán siempre unas grandes beneficiarias de estos sistemas.

Una mayor facilidad en la gestión inherente a esta especie ayuda a su crecimiento demográfico, y hoy en día es norma, en los grandes centros de proceso de datos científico y técnicos, ver juntos a Clusters muy densos y efectivos en coste de adquisición, y a Clusters de máquinas de memoria compartida habilitadores de nuevos y mayores retos con un interesante coste de adquisición.

La necesidad de Clusters dotados de mucha memoria compartida es una importante necesidad y gran aspiración de la ciencia en España. Esta inquietud se ve refleja en conversaciones con nuestros químicos, geólogos, astrónomos, ingenieros,…. Y es una excelente noticia saber que muy importantes centros de investigación y desarrollo de nuestro país ya cuentan o contarán en breve con esta tecnología capaz de derribar barreras en nombre de nuestra ciencia.

Por Iñaki Eiguren


La nueva generación de Centros de Supercomputación

Una vez iniciado el siglo XXI, los centros de cálculo orientados al cálculo científico presentan unas características muy diferentes no tanto en su diseño y configuración, como en su estrategia, es decir, en su modelo de negocio y orientación hacia el mundo de la investigación científica.

Los países occidentales orientan sus políticas a potenciar la investigación y la innovación para generar un alto valor generador de empleo de calidad. La humanidad requiere importantes avances en el conocimiento científico que permitan encontrar soluciones en climatología, recursos hidráulicos, energías alternativas, medicina, biología y seguridad; sin olvidar los requerimientos de las empresas en el desarrollo de la ingeniería civil, la electrónica, la mecánica y las comunicaciones.

Esencialmente, los problemas de los investigadores actuales que requieren el servicio de una informática de cálculo, radican en conseguir facilidad de acceso, capacidad de gran almacenamiento de datos, alta velocidad de ejecución de trabajos, interactividad para modificar los parámetros, visualización de modelos muy complejos, disponibilidad asegurada del servicio, herramientas software estándares y abiertas, soporte humano para el desarrollo de rutinas y aplicaciones específicas, colaboración y compartición de conocimientos a escala global y financiación sostenida. Es decir, una larga lista de deseos por otra parte indispensables, para que puedan dedicarse a abordar grandes retos sin preocuparse de la infraestructura de cálculo.

La iniciativa pública para implantar Centros de Supercomputación se orienta principalmente a desarrollar una nueva generación de profesionales y empresas en el ámbito local, que ejerzan actividades alrededor de la Ciencia y la Tecnología con miras a conseguir una sociedad de mayor nivel intelectual y por tanto con un futuro más esperanzador. Los usuarios son por tanto, las empresas necesitadas de soporte informático de cálculo y las Universidades y Centros de Investigación públicos.

Los ciclos de retorno de la inversión en los proyectos de tecnología en la empresa, permiten una facturación por servicios informáticos que sostengan los gastos del Centro de Supercomputación en gran medida. Sin embargo, los proyectos en Ciencias puras solo son viables con una financiación proveniente de la administración pública, ya que supondrán avances importantes para la sociedad a muy largo plazo.

Los nuevos Centros de Supercomputación están pensados para admitir muchos usuarios de diversa índole, con formas simples de acceso y sin conocimientos informáticos avanzados. Por tanto, la infraestructura debe ser modular, flexible, basada en estándares, siempre disponible, con canales de comunicación de alta velocidad, en ambientes seguros tolerantes a fallos y a desastres, con capacidad de crecimiento de forma sencilla, diseñados para optimizar el consumo energético y con una gran biblioteca de herramientas software sobre los distintos sistemas operativos actuales.

Además deben contar con una estructura de administradores informáticos, especialistas en lenguajes de programación y en redes que ayuden a los investigadores y les descarguen de tener que aprender informática para poder dedicarse a su faceta profesional.

Por otro lado, se debe de disponer de un comité de arbitraje que asigne prioridades a los distintos proyectos y que promueva la relación internacional en redes GRID y en la colaboración en proyectos de ámbito global. Dicho comité debe poseer criterio para actuar con rigor y eficacia en función de las necesidades y objetivos de la comunidad.

La ubicación física de los nuevos Centros de Cálculo dentro de los campus universitarios supone aprovechar la experiencia y sabiduría de los mayores expertos en todas las ramas de la Ciencia en la formación de este comité. También permite generar sinergias con la comunidad académica para localizar a los mejores especialistas y ofrecer una gran oportunidad profesional. La Universidad puede además aportar servicios generales en administración, recursos humanos, seguridad, mantenimiento y logística que reducen los costes generales del Centro de Cálculo, así los últimos grandes Centros instalados en Europa han sido implantados en las Universidades de Karlruhe, Linkoping, Tromso, Santiago de Compostela, Barcelona, etc.…

Alguna amarga experiencia ha habido en España, que nos ha enseñado como un Centro de Supercomputación de prestigio en la década de los 90, caía en el ostracismo por estar físicamente apartado del ámbito universitario, perdiéndose casi toda la inversión en infraestructura y el liderazgo en las políticas de investigación de la región.

Los Nuevos Centros de Supercomputación son entidades vivas con una renovación tecnológica completa en plazos de cuatro a cinco años. Las necesidades siempre crecientes de los investigadores y la evolución del hardware hacia elementos más productivos con menor consumo y menor mantenimiento, obligan a una actualización que mantenga los requerimientos exigidos de los usuarios y que permitan abordar proyectos a largo plazo. Existen estimaciones de crecimientos exponenciales en la capacidad de proceso y almacenamiento que auguran grandes posibilidades de abordar desafíos investigadores hasta ahora solo en los sueños de los científicos.

La nanotecnología, la proteómica, la astrofísica, la simulación y muchas otras áreas podrán dar grandes pasos adelante. So podrán realizar predicciones climatológicas a largo plazo y con alta precisión y fiabilidad, se podrá conocer el comportamiento de los volcanes y predecir movimientos telúricos, se podrán desarrollar medicamentos que modifiquen la estructura genética del enfermo, se podrá fabricar productos con nuevos materiales más resistentes, ligeros y flexibles, se podrá conocer el origen del Universo y de la Vida. Todo ello permitirá generar riqueza intelectual y económica a la vez que supondrá un gran beneficio a la raza humana.
Por Isidro Cano

No comments: