Majestic ist ein Community-basierendes, dezentrales Webcrawler-Projekt, das von Mitgliedern der Majestic-Community unterstützt wird.

Geschichte Das ursprüngliche Majestic-12-Projekt entstand 2004 und wurde von Alex Chudnovsky gegründet.

Funktion Majestic ist eine Form einer Web-Suchmaschine, die sich auf einen verteilten Webcrawler (oder Bot) namens MJ12BOT bezieht. Majestic kartiert in erster Linie die Verbindungen/Links zwischen zwei Websites. Dieses Netzwerk wird oft als Web-Graph bezeichnet. Datenkomprimierungsroutinen werden verwendet, um Daten für eine skalierbare Analyse und Abfrage über eine API oder eine webbasierte Schnittstelle zu speichern. Die Daten werden durch ein Netzwerk von unabhängigen Computern und ISPs abgeleitet, die das Internet von dezentralen Standorten, sogenannten „Nodes“ (Knoten), absuchen. Diese werden von einem zentralen Controller gesteuert, der eine große Anzahl von URLs an jeden Knoten für das unabhängige Crawling sendet. Die Knoten-Bots sammeln Informationen über alle Links zu den URLs in der jeweiligen Liste. Die Informationen sind in zwei verschiedenen Datensätzen organisiert: Der historische Index und der aktualisierte Index. Der historische Index bezieht sich auf die Crawling-Ergebnisse der letzten fünf Jahre, während der aktualisierte Index auf den Ergebnissen der letzten 90 Tage beruht. Sowohl absolute als auch relative Daten über die Links werden verwendet, um Annahmen über die Fähigkeit und den Einfluss einer URL im Internet zu treffen, indem sie den Citation Flow und Trust Flow berechnen. Die Daten der Majestic Suchmaschine sind über APIs im JSON- und XML-Format oder über ein Web-Interface erreichbar.

Statistiken und allgemeine Informationen Absolute Crawl-Statistiken aus dem Jahr 2004 werden täglich grafisch dargestellt. Im Jahr 2014 wurde der Topical Trust Flow eingeführt, um den relativen Einfluss einer beliebigen URL in einer bestimmten Thematik zu messen. Im Jahr 2016 gewann Majestic den Queen’s Award in der Kategorie „Innovation“.

Weblinks Offizielle Website

Einzelnachweise

Kategorie:Websuchmaschine