Logo de SourceHut

Hace poco, los desarrolladores de la popular plataforma de desarrollo colaborativo «SourceHut» dieron a conocer un informe detallado sobre un incidente que resultó en una interrupción del servicio durante 7 días debido a un ataque DDoS prolongado, para el cual la infraestructura del proyecto no estaba preparada.

En su informe, detallan que durante la etapa inicial del ataque, los desarrolladores se vieron sorprendidos y no tuvieron tiempo suficiente para reaccionar y contrarrestar el problema en sus servidores, lo que llevó al bloqueo total del tráfico hacia los servidores de SourceHut por parte del proveedor ascendente.

Para quienes desconocen de la plataforma SourceHut, deben saber que esta se distingue por una interfaz única que se aparta de la apariencia de GitHub y GitLab, pero que se caracteriza por su simplicidad, velocidad y funcionamiento sin necesidad de JavaScript. SourceHut ofrece una amplia gama de funciones, incluyendo el trabajo con repositorios públicos y privados de Git y Mercurial, un sistema de control de acceso flexible, funcionalidad de wiki, generación de informes de errores, integración continua integrada, capacidades de chat, entre otras mas.

Sobre el ataque a SourceHut

Los desarrolladores mencionan que para garantizar la continuidad de SourceHut, se emplearon servidores distribuidos en tres centros de datos. El primero fue utilizado para la configuración de producción, el segundo para respaldo, y el tercero para realizar experimentos sobre la migración de la infraestructura a una implementación de servicio más escalable y resistente a fallos (dado que la versión de próxima generación de SourceHut estaba en desarrollo).

Aunque los servicios básicos se restauraron al tercer día, (algunos servicios permanecieron no disponibles del 10 al 17 de enero), se requirieron aproximadamente 9 horas para resolver el problema de acceso a los servidores en el centro de datos principal después del bloqueo inicial.

Sin embargo, los desarrolladores enfrentaron otra dificultad cuando, a la mañana siguiente, el ataque se intensificó y comenzó a afectar toda la subred, lo que llevó al proveedor a redirigir nuevamente el tráfico hacia la interfaz nula. Ante esta situación, los desarrolladores se vieron obligados a iniciar urgentemente la implementación de la infraestructura de SourceHut en otro centro de datos utilizando copias de seguridad. Solo después de 2 días lograron obtener una subred temporal para acceder a los servidores principales y continuar con la recuperación del servicio.

Para protegerse contra los ataques DDoS a nivel de red, se tomó la decisión de implementar un servidor intermedio en la red del proveedor de nube OVH, el cual proporcionaría protección contra este tipo de ataques. Todas las solicitudes se dirigirían inicialmente a este servidor y luego se reenviarían a la infraestructura de trabajo.

Sin embargo, durante la migración, surgieron dificultades inevitables, como errores en la restauración utilizando la utilidad rsync, problemas de configuración de red y dificultades con la redirección del tráfico, que debieron resolverse antes de que la protección DDoS en OVH estuviera completamente operativa. Durante este tiempo, los servidores en funcionamiento estaban expuestos al tráfico de ataques DDoS, lo que llevó al sistema de protección DDoS a identificar erróneamente los servidores como el origen del ataque.

A pesar de intentar contactar a Cloudflare y otros servicios de protección DDoS, el costo de la protección resultó prohibitivo. Sin embargo, los empleados de Cloudflare posteriormente ofrecieron protección gratuita como patrocinio para el proyecto SourceHut, aunque este ofrecimiento fue rechazado por los desarrolladores, que en ese momento ya habían avanzado considerablemente en la solución del problema por sí mismos.

Inicialmente, estaba previsto llevar a cabo la migración de la infraestructura de SourceHut de manera gradual durante un período de al menos un año, trasladando el proyecto a servidores en otro centro de datos. Sin embargo, debido a las circunstancias actuales, la migración tuvo que realizarse de manera urgente en un plazo de 7 días. Afortunadamente, todos los servicios de SourceHut fueron transferidos con éxito a otro centro de datos y la plataforma ha sido completamente restaurada.

Finalmente si estás interesado en poder conocer más al respecto, puedes consultar los detalles en el siguiente enlace.