Queue – alle Zeilen in crawl_queue, nicht nur offene URLs.
Offen sind ausschließlich Einträge mit Status pending.
Gesamt – Pages + Queue. Eine Summe zweier Bestände, keine Aussage über offene Arbeit.
Anteil – Anteil an allen gespeicherten Pages bzw. allen Queue-Einträgen.
Verhältnis – Pages pro Queue-Eintrag. Bei Queue = 0 ist das Verhältnis
nicht definiert und wird als „–“ angezeigt (keine Division durch null).
Domains mit vielen Pages / Queue – Schwellenwerte werden oben auf der Seite
angezeigt und sind über Umgebungsvariablen konfigurierbar.
Messung / Snapshot – die Aggregate werden standardmäßig alle 6 Stunden neu
berechnet (JONASSEARCH_DOMAIN_STATS_REFRESH_SECONDS) und dabei als Messung gespeichert.
Verlauf – je Messung wird eine Zeile pro Domain in
domain_stats_history abgelegt. Aufbewahrung: 30 Tage
(JONASSEARCH_DOMAIN_STATS_HISTORY_DAYS).
Veränderung im Zeitraum – Vergleich der neuesten Messung mit der Messung,
die mindestens 6 h / 24 h / 7 d zurückliegt. Δ Pages sind neu gespeicherte Seiten,
Δ Queue neu entdeckte Einträge. Domains ohne Änderung werden nicht gelistet.
Ungültige oder fehlende URLs zählen in die Gesamtsummen, aber nicht in Domain-Ranglisten.
Subdomains werden getrennt gezählt (www.example.com ≠ shop.example.com).
Eine Zusammenfassung auf registrierbare Hauptdomains gibt es nicht, weil dafür eine
Public-Suffix-Liste nötig wäre. Die TLD ist das letzte Label.
Top-URL-Verzeichnisse werden aus den neuesten 50.000 Seiten einer Domain gebildet
(bei kleineren Domains vollständig) und entsprechend gekennzeichnet.
crawl_queue hat keine Fehlermeldungs-/Fehlerkategorie-Spalte. Die Detailansicht
zeigt deshalb nur Status, HTTP-Status und Versuche.
Domain-Statistik wird geladen …
Queue-Status
Verteilung aller Queue-Einträge nach Status. „Pending“ sind noch nicht
bearbeitete URLs.
Status
Einträge
Anteil
HTTP-Status der gespeicherten Seiten
Klassen statt einzelner Codes, damit die Aggregation günstig bleibt.
Klasse
Seiten
Anteil
Verteilung nach Top-Level-Domain
Letztes Domain-Label (z. B. .de, .com).
Mehrteilige Public Suffixes wie .co.uk werden nicht zusammengefasst.
TLD
Domains
Pages
Queue
Pages-Anteil
Auffällige Domains
Veränderung im Zeitraum
Vergleich zweier Messungen aus dem Verlauf – welche Domains wurden
in den letzten 6 h / 24 h / 7 d besonders stark gecrawlt? Grundlage sind die Snapshots,
keine Live-Scans der Rohdaten.
Verlauf wird geladen …
Keine Domain hat sich in diesem Zeitraum verändert.
Pages jetzt
Queue jetzt
Pages-Wachstum
Seite –
Domain-Rangliste
Serverseitig gefiltert, sortiert und paginiert. Standard: die meisten
gespeicherten Pages. Ein Klick auf eine Domain öffnet die Detailansicht.
Spaltenfilter
Pages
–
Queue
–
Gesamt
–
Pages pro Queue-Eintrag
–
Pages-Anteil (%)
–
Queue-Anteil (%)
–
TLD
Alle Felder sind optional und werden serverseitig ausgewertet.
Min/Max sind inklusiv; bei „Pages pro Queue-Eintrag“ zählen Domains
ohne Queue-Einträge nicht als Treffer.
Rangliste wird geladen …
Keine Domains für diese Filter.
Pages-Anteil
Queue-Anteil
Verhältnis
Seite –
Domain-Detail
–
Detailansicht wird geladen …
Queue-Status dieser Domain
Status
Einträge
HTTP-Status dieser Domain
Status
Seiten
Häufigste URL-Verzeichnisse
Verzeichnis
Seiten
Fehlgeschlagene Crawl-Versuche
Nur Status und Versuchsanzahl sind im Schema vorhanden;
eine Fehlermeldungs-/Fehlerkategorie-Spalte existiert nicht.
URL
Versuche
Letzter Versuch
Zuletzt gespeicherte Seiten
URL
Titel
HTTP
Gecrawlt
Entdeckt
Seite –
Zuletzt entdeckte Queue-URLs
URL
Status
Versuche
Entdeckt
Letzter Versuch
Seite –
Verlauf der Messungen
Je Zeile eine Messung. „Δ“ bezieht sich auf die jeweils
vorherige Messung in dieser Tabelle.