Scrapy () ist ein „Free and Open Source“-Webcrawling- und Scraping-Framework, das in der Programmiersprache Python geschrieben wurde. Ursprünglich wurde Scrapy für Webscraping designt, jedoch kann es als Allzweck-Webcrawler oder auch zur Extraktion von Daten mittels API genutzt werden. Gegenwärtig wird es von der Firma Zyte Limited (früher Scrapinghub Ltd.) betreut.
Die Architektur baut auf sogenannten Spiders auf. Dies sind in sich geschlossene Crawler, denen eine Reihe von Anweisungen gegeben werden. Nach dem Prinzip anderer „Don’t repeat yourself“-Frameworks, wie beispielsweise Django, vereinfacht das Framework den Aufbau und die Skalierung von großen Crawling-Projekten, indem es Entwicklern erlaubt, den Code wiederzuverwenden. Scrapy bietet auch eine Shell, die Entwickler nutzen können, um ihre Annahmen auf das Verhalten einer Website zu testen.
Einige Unternehmen und Produkte, die Scrapy nutzen, sind:
LystScrapy | Companies using Scrapy Parse.ly Sayone Technologies Sciences Po MedialabHyphe v0.0.0: the first release of our new webcrawler is out! Data.gov.uk
Geschichte Scrapy entstand in dem in London ansässigen E-Commerce-Unternehmen Mydeco, wo es von Angestellten von Mydeco und Insophia (ein Unternehmen für Web-Beratung, ansässig in Montevideo, Uruguay) entwickelt und betrieben wurde. Die erste Veröffentlichung fand im August 2008 unter der BSD-Lizenz statt; die Version 1.0 erschien im Juni 2015. Im Jahre 2011 wurde Scrapinghub der offizielle Betreuer des Projekts.Interview Scraping Hub.
Weblinks Offizielle Website (englisch)
Einzelnachweise
Kategorie:Python-Bibliothek