gocolly/colly
Colly bietet eine Collector-Schnittstelle zum Schreiben von Crawlern und Spidern in Go, mit Callbacks für HTML-Elemente, Requests und Responses. Es verwaltet Request-Verzögerungen, Parallelität pro Domain, Cookies, Sessions, Caching, robots.txt und Nicht-UTF-8-Kodierungen und unterstützt synchrones, asynchrones und paralleles Scraping. Erweiterungen ergänzen verteiltes Crawling, und auf einem Kern werden über tausend Anfragen pro Sekunde verarbeitet.
Wartungsaktivität