gocolly/colly
Colly fournit une interface de collecteur pour écrire des crawlers et des spiders en Go, avec des callbacks pour les éléments HTML, les requêtes et les réponses. Il gère les délais entre requêtes, la concurrence par domaine, les cookies, les sessions, le cache, robots.txt et les encodages non UTF-8, et prend en charge le scraping synchrone, asynchrone et parallèle. Des extensions ajoutent le crawling distribué, et il traite plus de mille requêtes par seconde sur un seul cœur.
Activité de maintenance