Meta-Planificador Predictivo para Entornos Multicluster no Dedicados

Abstract

A principios de los años 90 muchas de las características y capacidades proporcionadas únicamente por sofisticados y costosos Supercomputadores se lograron alcanzar mediante el uso adecuado de conjuntos de ordenadores de sobremesa agrupados en sistemas denominados Cluster.<br/>En la actualidad, el continuo aumento de las capacidades de cómputo y la disminución del coste de adquisición de los ordenadores de sobremesa ha provocado un uso extendido de los Clusters en centros de investigación, instituciones, organizaciones, etc. No obstante, el crecimiento constante de los requerimientos de las aplicaciones científicas hace necesaria la búsqueda de sistemas aún más potentes y/o con mayor número de recursos.<br/>En la última década, la posibilidad de unir los recursos (Clusters) de una misma organización para obtener mayor capacidad de cómputo ha despertado un gran interés. Esto ha propiciado la aparición de nuevos sistemas Multicluster que incorporan sofisticadas técnicas de planificación de trabajos y gestión de recursos orientadas a aprovechar al máximo los recursos de cómputo distribuidos en varios Clusters.<br/>Aunque el bajo coste de los recursos de cómputo facilita el crecimiento del número de clusters y recursos por Cluster, este crecimiento tiene sus limites. En primer lugar debemos considerar los problemas de espacio que no siempre son fáciles de conseguir y en segundo lugar el elevado coste del consumo energético producido por las unidades de cómputo y por los sistema de refrigeración que se necesitan para mantener a una temperatura adecuada estos sistemas.<br/>Bajo este panorama, un modo de proporcionar mayor número de recursos sin aumentar los costes es incorporar al Multicluster recursos de cómputo ociosos de los usuarios de una organización para la ejecución de aplicaciones paralelas, como por ejemplo los ordenadores del laboratorio de una universidad.<br/>La tarea de meta-planificación en un entorno Multicluster es un tarea compleja y una línea de trabajo en pleno auge en la actualidad. En primer lugar, la cantidad de recursos que se deben gestionar es muy grande y los recursos pueden ser heterogéneos. En segundo lugar, deseamos considerar la planificación en un sistema no dedicado donde los recursos se comparten con otros usuarios, aumentando la dificultad de la meta-planificación. El objetivo de la meta-planificación en el presente trabajo es obtener el máximo rendimiento de las aplicaciones paralelas sin perjudicar al usuario local.<br/>En el presente trabajo proponemos nuevas técnicas de estimación del tiempo de turnaround de las aplicaciones paralelas. Estas estimaciones son utilizadas por el sistema de meta-planificación para seleccionar el Cluster más adecuado para su ejecución. Estas técnicas consideran la heterogeneidad y la ocupación de los recursos tanto de cómputo como de comunicación.<br/>Los entornos Multicluster presentan una división natural del conjunto de recursos en distintos Clusters. Con el fin de aprovechar los recursos libres de distintos Cluters proponemos una técnica de asignación de recursos entre Clusters basada en un modelo de programación entera binaria (Mixed Integer Programming). El modelo realiza la asignación de una aplicación paralela a recursos de distintos Clusters con dos objetivos fundamentales, la obtención del mejor rendimiento de la aplicación paralela y la no saturación de los canales de comunicación.<br/>Finalmente, proponemos una nueva estrategia de meta-planificación que establece cuando utilizar la asignación predictiva de Clusters y cuando aplicar la compartición de recursos entre distintos Clusters. Esta nueva estrategia permite la obtención de un mayor rendimiento de las aplicaciones paralelas y un mayor aprovechamiento de los recursos Multicluster.

In the early'90s many of the features and capabilities provided solely by sophisticated and expensive supercomputers are able to achieve through the use of commodity computers grouped into systems called Clusters.<br/>At present, the continuing increase in computing capabilities and the reduced cost of commodity computers has provoked widespread use of Clusters in research centers, universities and organizations. However, the steady growth of the scientific applications requirements makes necessary the use of more powerful systems with greater resources.<br/>In the last decade, the possibility to obtain more computing capacities combining resources (clusters) of the same organization has generated a great interest. This has given rise to new systems, called Multicluster, which incorporate sophisticated scheduling and resource management techniques, in order to maximize the distributed resource utilization.<br/>Although the low cost of computing resources facilitates the growth of the number of clusters and its resources, this growth is not sustainable. First, we must consider the space problems that are not always easily available and secondly the high cost of the consumed energy by computational units and cooling systems needed to maintain such systems in an appropriate temperature.<br/>A sustainable way of providing more resources without increasing costs, is to incorporate the idle computing resources of an organization for the execution of parallel applications, as for example the workstations in the laboratory of a university, the Clusters of different departments, etc.<br/>The meta-scheduling task in non-dedicated Multicluster environments is an ongoing area of research. The large amount of resources, their heterogeneity and the sharing of resources between different users, greatly increases the complexity of the meta-scheduling task. The aim of the meta-scheduling in the present work is to maximize the performance of parallel applications without damaging the local user.<br/>In this paper we propose new prediction techniques to estimate the turnaround time of parallel applications. These estimates are used by the meta-scheduling system to select the most appropriate cluster for execution. The proposed prediction techniques consider the heterogeneity and the availability of both computing and communication resources.<br/>Resources in Multicluster environments are naturally partitioned in different Clusters. In order to exploit the free resources of different Clusters, we propose a new technique for allocating resources between Clusters based on a mixed-Integer programming model. The main aim of the proposed model is to obtain the best performance of the parallel applications with no saturation of the communications links.<br/>Finally, we propose a new meta-scheduling strategy that uses prediction techniques to select the most appropriate cluster and decides when resources must be shared between clusters.