Wege zur Erschließung des Deep Web

[ursprünglich veröffentlicht am 23.11.2009 von Prof. Dr. Wolfgang Schumann]

Deep Web – was ist denn das? – so werden sich viele sicherlich fragen. Und was geht das mich an? Beim Deep Web handelt es sich um den Teil des Internet, den die üblichen Suchmaschinen wie Google, Yahoo! oder Bing aus technischen Gründen nicht durchsuchen können. Und da dieses Deep Web 500 mal – viele nennen noch sehr viel größere Zahlen – so umfangreich ist wie das “normale” oder “Surface Web” und dort viele hochkarätige, insbesondere auch für Forschung und Lehre bedeutsame Quellen verborgen liegen, geht Sie das, wenn Sie in diesen Bereichen tätig sind, sehr viel an.

Deswegen sollten Sie auch den nicht allzu langen, aber sehr aufschlußreichen Beitrag des AltSearchEngines-Blog ansehen, der diesem Thema gewidmet ist. Er erklärt in verständlicher Form anhand eines Beispiels, was das Deep Web ist und stellt zwei ganz unterschiedliche Ansätze vor, mit denen versucht wird, das Deep Web zu erschließen. Damit sind Sie in fünf Minuten in groben Zügen über eines der zentralen Themen im Bereich Internetrecherche aktuell informiert.

Und wenn Sie einmal den Unterschied zwischen Surface und Deep Web selbst erleben wollen, machen Sie doch folgenden Test. Geben Sie zuerst bei Google (Surface Web) und dann bei WorldWideScience.org (Deep Web Suchmaschine) den Suchbegriff “politische bildung” ein und sehen Sie sich die Ergebnisse im Vergleich an. Dann wissen Sie wirklich, wie wichtig das Deep Web ist.

Relaunch von ScienceResearch.com

[ursprünglich veröffentlicht am 17.06.2009 von Prof. Dr. Wolfgang Schumann]

Dass bei der Suche nach wissenschaftlichen Quellen Spezialsuchmaschinen gefragt sind, ist Ihnen als Leserin oder Leser des agora-wissen-Blogs sicherlich vertraut. Wenn diese Spezialsuchmaschinen darüber hinaus noch in der Lage sind, das so genannte Deep oder Invisible Web zu erschließen, das vom Umfang her weitaus größer ist als der Teil des Internet, den Google & Co. kennen, dann sollte man aufhorchen. Wenn es sich dann auch noch um eine so genannte Federated Search Engine handelt, die es ermöglicht, von einer Stelle aus gleichzeitig zahlreiche wichtige Datenbanken im Deep Web zu recherchieren, dann ist ein Blogposting zwingend.

Den Anlaß zu diesem Posting gab ein umfassender Relaunch von ScienceResearch.com, einer Suchmaschine, die 2005 als Instrument zur Recherche nach Inhalten in wissenschaftlichen Zeitschriften an den Start gegangen war, mit der Deep Web Technologies, das Unternehmen, das hinter diesem und zahlreichen anderen Projekten zur Recherche des Deep Web, wie beispielsweise biznar (Business Search), mednar (Medizinrecherche) oder Scitopia (Wissenschaftssuche mit Schwerpunkt auf naturwissenschaftlichen Disziplinen) steckt, nun aber viel vorhat. Ziel ist es, das weltweit umfassendste Suchportal für wissenschaftliche Recherchen zu werden. Und weiter:

“Additionally, the portal seeks to make "long tail science," the very specialized science that may appear to be of limited interest, available to a larger audience through which applications may be found. Hopefully, the portal is designed to serve as a catalyst for scientific discoveries and innovative solutions. "Our goal is to make more science research available to more individuals than any other portal," says Abe Lederman, founder, president, and CTO of Deep Web Technologies.” (Paula J. Hayne, Blogposting, Jun 15, 2009)

Schon jetzt erlaubt es ScienceResearch, gleichzeitig und in Echtzeit, also nicht auf der Grundlage eines Indexes, mehr als 400(!) wissenschaftliche Datenbanken mit hochkarätigen Inhalten zu recherchieren, wobei Sie sich durch die Auswahl einer der 15 Kategorien von vornherein auf Ihr Interessensgebiet konzentrieren können.

Aber nicht nur diese Option der Vorauswahl, sondern insbesondere auch die zahlreichen Möglichkeiten zur Verfeinerung der Recherche, die im Fenster mit den Suchresultaten angeboten werden, erlauben es schnell und sehr zielgenau die gewünschten Ergebnisse zu finden. Hier sind nicht zuletzt die Cluster zu erwähnen, die auf der linken Seite eingeblendet werden. Darüber hinaus habe ich aber auch die Optionen zur unterschiedlichen Reihung der Resultate (Ranking, Datum, Titel, Autor) sowie zur Beschränkung der Anzeige auf ganz bestimmte Datenbanken als außerordentlich hilfreich empfunden.

Das alles - und dazu gehört selbstverständlich auch und gerade die exzellente Qualität der Suchresultate - macht ScienceResearch für jede Wissenschaftlerin und jeden Wissenschaftler zu einem absolut unverzichtbaren Instrument.

Deep Web Suchmaschinen in den Browser integrieren

[ursprünglich veröffentlicht am 06.06.2009 von Prof. Dr. Wolfgang Schumann]

Der weitaus überwiegende Teil der für Forschung und Lehre relevanten Quellen liegt im so genannten Deep oder Invisible Web verborgen, das durch Suchmaschinen wie Google, Yahoo! oder Ask aus technischen Gründen nicht erfasst werden kann (ausführliche Erläuterungen dazu finden Sie in einem außerordentlich informativen Beitrag bei Answers.com).

Das muss als ein umso gravierenderer Tatbestand angesehen werden, als nach den in diesem Artikel referierten Schätzungen das von Google & Co. erfasste Surface Web gerade mal 7.500, das Invisible Web 91.000 Terabyte an Daten umfasst!

Sie können also, wenn Sie sich bei Ihren Recherchen auf die üblichen Suchmaschinen verlassen, absolut sicher sein, exzellente Quellen zu Ihrem Fach- und Interessensgebiet zu verpassen. Was aber tun?

Nun, integrieren Sie doch einfach gleich einige der herausragenden Deep Web Suchmaschinen direkt in Ihren Browser, dann kommen Sie erst gar nicht mehr in Versuchung, sich allein auf Google zu verlassen. Und das geht so. Surfen Sie zur Website von DeepWeb Technologies, einem der Pioniere in Sachen Deep Web Suche, und fügen Sie die dort angebotenen Suchmaschinen, die alle jeweils gleichzeitig zahlreiche Deep Web Datenbanken durchsuchen, per Mausklick dem Suchfeld Ihres Browsers (funktioniert derzeit mit dem Internet Explorer und Firefox) hinzu, so, wie Ihnen das der Screenshot zeigt.

Dann können Sie ab sofort Ihre Suchbegriffe in das Suchfeld rechts oben im Browserfenster eingeben und dort eine dieser Suchmaschinen für Ihre Recherche auswählen (siehe Screenshot), und ich versichere Ihnen, Sie werden nicht nur über die Qualität der Resultate, sondern auch die vielfältigen Möglichkeiten, die Ergebnisse zu verfeinern, zu speichern, sich zukünftig automatisch über neu hinzugekommene Quellen informieren zu lassen, verblüfft sein – und sich nie mehr vorstellen können, wie Sie bislang allein mit Google zurechtgekommen sind.

Viel Spaß und Erfolg bei Ihren Recherchen im Deep Web!