gocolly/colly
Colly ofrece una interfaz de colector para escribir crawlers y spiders en Go, con callbacks para elementos HTML, peticiones y respuestas. Gestiona retrasos entre peticiones, concurrencia por dominio, cookies, sesiones, caché, robots.txt y codificaciones no UTF-8, y admite scraping síncrono, asíncrono y paralelo. Las extensiones añaden funciones como crawling distribuido, y en un solo núcleo maneja más de mil peticiones por segundo.
Actividad de mantenimiento