zunächst einmal möchte ich mich dafür entschuldigen, so lange nichts in diesem Blog geschrieben zu haben. Der Grund dafür war, dass ich mich etwas zurückgezogen hatte, um mich intensiver meinem Studium zu widmen.

Alles in allem blicke ich auf zwei Erfolgreiche Semester zurück. Neben einer sehr gut bestandenen Vertiefungsfachprüfung im Fach “Betriebssysteme”, und zwei bestandenen Praktika habe ich etwas gemacht, was ich schon lange tun wollte: Ich war Tutor im Fach “Systemarchitektur” und habe meinen Studenten die Grundlage von Betriebssystemen beigebracht.

Insgeamt habe ich mich in der letzten Zeit viel mit den Themen Betriebssysteme, Echtzeit und Parallelentwicklung (Multicore, SMP und Cluster Computing) beschäftigt.

Dies sollen auch die prägenden Themen in der nächsten Zeit werden. Daneben möchte ich ab und an über mein anderes großes Hobby, das Thema Kochen, berichten.

Ich hoffe, dass ich in Zukunft öfter dazu kommen werde, neue Artikel zu verfassen!

Im wesentlichen geht es in der Studienarbeit darum, wie erkannt werden kann, ob eine Webseite per HTTPS abrufbar ist. Aufgrund von Name-Based-Virtual-Hosting reicht es hierzu nicht aus, sich auf Port 443 zu verbinden, und zu hoffen, dass ein gültiges Zertifikat zurückkommt. In der Studienarbeit wurde daher ein Algorithmus entworfen, der auf Grundlage von Mustererkennungsverfahren die über HTTP abgerufene Webseite mit der über HTTPS abgerufenen vergleicht. Schwierig war hierbei vor allem, dass mittlerweile viele Webseiten dynamisch generiert werden, d.h. man kommt mit einem einfachen String-Vergleich nicht sonderlich weit. Hier kommt mein Algorithmus ins Spiel, der geschrieben wurde, um genau mit solchen Fällen umzugehen.

Studienarbeit: HTTPS Autodiscovery – Proaktive Erkennung von Sicherheitsverfahren.

Der Code hierfür ist architekturspezifisch und findet sich für IA-32 z.B. unter /usr/src/linux/arch/i386/kernel/process.c :

unsigned long arch_align_stack(unsigned long sp)
{
    if (!(current->personality & ADDR_NO_RANDOMIZE) && randomize_va_space)
        sp -= get_random_int() % 8192;
    return sp & ~0xf;
}

Dies alleine bietet noch keinen ausreichenden Schutz gegen Exploits. Die Gründe dafür kann man in meiner Seminarausarbeitung nachlesen. Allerdings ist das schon recht lästig, insbesondere, wenn man nicht weiß, dass es so ein Feature gibt und man ewig nach dem Grund sucht, wieso der schöne Exploit, den man gerade geschrieben hat, dauenrd abstürzt.

Abschalten kann man das Feature übrigens mit dem Befehl:

sysctl kernel.randomize_va_space=0

Lustiges Detail am Rande: Aufgrund von Befürchtungen der Fakultät hat dieses Seminar eine Zeit lang jedes Wochen seinen Namen gewechselt. Aus “Hacking und Hackerabwehr” wurde “Hacker und Hackerabwehr”… Im moment heisst sie “Netzsicherheit und Hackerabwehr”.

Diese “Social Networking” Portale finde ich auf viele verschiedene Arten faszinierend. Aber erstmal der Reihe nach. Am Mittwoch suchte ich aus Spaß nach ein paar Leuten, die ich im Tanzkurs kennengelenrt habe, und zwar mit genau den Suchparametern, die man in einer ganz normalen Konversation unter Studenten innerhalb von 2 Minuten in Erfahrung bringt: Vorname, Studienfach, Hochschule,. Was als Spaß begann, brachte schnell beunruhigende Tatsachen ans Licht: Die Trefferquote dieses Versuches lag bei nicht weniger als 100%.

Auf den ersten Blick ist das natürlich eine feine Sache: Man lernt jemanden kennen, möchte mit diesem in Kontakt treten, schaut schnell in’s Studiverzeichnis und drei Klicks später hat man alle notwendigen Informationen, um mit dieser Person in Kontakt zu treten.

Schaut man sich die Geschichte allerdings etwas genauer an, so wird einem schnell klar, welche Probleme dies mit sich bringt: Sobald man die oben genannten Parameter einer Person X in Erfahrung bringt, kann man mit Hilfe von StudiVZ die Liste der in Frage kommenden Personen so weit einschränken, dass das eindeutige Identifizieren dieser Person X im größten Teil der Fälle innerhalb weniger Minuten möglich ist.

Oder um das nochmal verständlicher auszudrücken: Durch die unschuldigen Fragen: “Wie heisst du? Was studierst du? Wo studierst du?” ist man heute schon in der Lage, fast jeden deutschen Studenten im StudiVZ wiederzufinden.

Machen wir uns nun einmal die Implikationen dieser Aussage auf unsere heutige Gesellschaft klar: Sobald ich ein StudiVZ Profil besitze, gebe ich bei jedem durchschnittlichen Gespräch, das ich mit irgendjemandem führe, genügend Informationen preis, um meine Identität komplett offenzulegen.

Die Frage, die sich nun natürlich stellt, ist, ob ein ungezwungener Umgang mit anderen Menschen so überhaupt noch möglich ist. Wird der eigene Vorname, das Studienfach oder der Studienort zur vertraulichen Information? Bisher war es eigentlich nicht ungewöhnlich, jemandem, den man gerade neu kennengelernt hat, zumindest seinen Vornamen mitzuteilen. Wird sich dies in Zukunft vielleicht ändern?

Bevor wir diese Frage beantworten, sollten wir uns jedoch zuerst überlegen, was Menschen dazu bewegt, ihre privaten Daten in exibizionistischer Art und Weise auf Webportalen der ganzen Welt zur Verfügung zu stellen. Der erste Schritt hierzu ist die Anmeldung bei dem besagten Portal. Meiner Meinung nach ist der Hauptgrund für die Anmeldung eins Users nicht der Verlangen, seine persönlichen Daten preiszugeben, sondern vielmehr der Wunsch, Informationen über andere Personen in Erfahrung zu bringen. So könnte man sich beispielsweise dafür interessieren, welcher Beschäftigung die ehemaligen Klassenkameraden heutzutage nachgehen.

Um die gewünsche Information zu erhalten, muss der neue User allerdings erst etwas tun, nämlich ein eigenes Profil anlegen. Hierzu ist die Eingabe einer Mindestmenge an Information erforderlich.

Nun hat man den User nun durch das Wecken des Bedürfnisses nach Information bereits dazu gebracht, ein Profil im Social Network anzulegen. Dadurch wächst beim neuen User auch gleich das nächste Bedürfnis, nämlich das Verlangen nach einer positiven Selbstdarstellung: Ein leeres Profil sieht nicht gut aus, und das Löschen des Profils ist natürlich auch keine Option, da man hiermit ja auch den eigenen Zugang zu dem Dienst löschen würde.

Der Erfolg des Social Networks steht und fällt mit dem Anzahl der darin enthaltenen User. Natürlich würde sich niemand bei einem Dienst anmelden, der kaum User besitzt. Wie das Bootstraping des Social Networks genau aussieht ist natürlich Geschäftsgeheimnis des Betreibers. Geld auf die ganze Geschichte zu werfen, hilft allerdings. So kann man z.B. materielle Anreize für neue User schaffen, sich anzumelden. Wenn man sich nun die Tatsache vor Augen führt, dass die finanzielle Macht hinter StudiVZ niemand geringeres als die Samwer Brüder, denen die Welt auch schon Jamba! zu verdanken hat, ist, so ist dieses Szenario sogar recht wahrscheinlich. Wenn man nun noch weiß, dass StudiVZ Anfang 2007 für fast 100 Mio Euro von Holtzbrinck Networks gekauft wurde, wird schnell klar, welchen Wert eine Datensammlung dieser Größe besitzt.

Fakt ist, dass die Trennung zwischen der “realen” Welt, und der virtuellen Welt des Internets lange nicht mehr zeitgemäß ist. Zwischen diesen beiden Welten hat längst eine Verschmelzung stattgefunden. Ereignisse des realen Lebens werden im Internet in Text-, Bild- und Tonform dokumentiert und Aktionen im Internet haben Einflus auf das reale Leben. So melden wir uns z.B. im Internet zu Klausuren an, überweisen Geld via Onlinebanking, kommunizieren mit Leuten per und E-Mail oder stellen eben auch private Informationen über uns im Internet zur Verfügung.

Nun aber zurück zu meiner eigentlichen Frage, ob denn ein ungezwungener, offener Umgang mit Leuten im realen Leben so noch möglich ist. Sicher ist, dass sich unsere Gesellschaft durch die oben beschriebene Verschmelzung starken Veränderungen unterliegt. Die Welt ist kleiner geworden, Informationen über andere Personen sind leichter den je, zu bekommen. Wie genau diese Veränderungen aussehen werden, bin ich nicht in der Lage, vorherzusagen. Sicher ist jedoch, dass die besagten Veränderungen nichtmehr rückgängig gemacht werden können, und dass wir einen völlig neuen Umgang mit unseren Informationen werden erlernen müssen.

Ich möchte damit nicht sagen, dass man sich vollkommen fern von Social Networking Diensten halten sollte – dies würde wahrscheinlich sehr schnell dazu führen, dass man in eine Art digitale Aussenseiterrolle gedrängt wird. Warnen möchte ich jedoch davor, zu viele, zu private Informationen von sich selbst preiszugeben. Oder Informationen, die einen später diskreditieren könnten – denn eins ist sicher: Das Netz vergisst nichts.

zunächst einmal möchte ich mich entschuldigen, dass ich so lange schon nichts mehr geschrieben habe. Viel ist passiert in der letzten Zeit, genüg was es eigentlich wert wäre, seperat gebloggt zu werden – ob ich dazu die Muße habe weiss ich allerdings noch nicht.

Das interessanteste wahr wohl mein zweiwöchiger Tripp nach Colorado. Für mich war das ja der erste Aufenthalt in den USA und ich muss sagen, es hat mich sehr beeindruckt. Ich muss ja zugeben, dass ich anfangs sehr skeptisch und unsicher war, weil ich nicht wusste was mich erwartet. Und auch zugeben muss ich, dass ich, was dieses Land angeht, sehr viele Vorurteile hatte. Für mich war es auf jeden Fall eine sehr wichtige Erfahrung, und eine Menge neuer Eindrücke, die erst einmal verarbeitet werden mussten.

Der eigentliche Anlass für die Reise war ja eher beruflicher Natur, Artus hatte mich zum diesjährigen PASS Community Summit eingeladen, der größten Veranstaltung rund um das Thema Microsoft SQLServer. Die Veranstaltung war sehr stark auf das Thema Business Intelligence konzentriert, was ja auch gerade mein Studienschwerpunkt ist. So konnte man durchaus das ein oder andere interessante mitnehmen. Das Beste an der durchaus sehr guten Veranstaltung waren allerdings die vielen interessanten Leute, die wir kennengelernt haben.

Nach den USA gab es noch zwei Wochen privaten Urlaub mit Freunden in Mallorca, der auch sehr schön und vor allem sehr erholsam war. Für mich war das der erste richtige Urlaub seit über drei Jahren, und vor allem die Gelegenheit, mal wieder auf den Boden zurück zu kommen. Gerade das letze Jahr war viel anstrengender als ich dachte, und wie gestresst ich wirklich war, merkte ich eigentlich erst, als ich mal eine Zeit ganz ohne Stress geniessen konnte.

Frisch erholt zurück hatte ich nun endlich die Energie, mich mal um ein paar Dinge zu kümmern, die ich schon eine ganze Weile vor hatte, für die sich allerdings nie die Zeit gefunden hat. So habe ich einige Bastelprojekte wieder aufgenommen – unter anderem habe ich eins von fd0s Etherrapes zusammenbebaut und endlich mit dem lang geplanten Laser Beamer angefangen, den ich schon seit 5 Jahren bauen wollte. Ausserdem habe ich beschlossen, dieses Jahr etwas mehr an der Uni zu tun (geplant sind 1 Vertiefungsfach, 3 Wahlpflichtfächer, 1 Seminar und 1 Studienarbeit – mal sehen, wieviel davon am Schluss noch übrig ist. , wieder einen Tanzkurs angefangen und schon viel für meine Kunden gearbeitet.

Ich glaub, ich sollte öfter Urlaub machen, das tut nämlich gut.

Der Vortrag war sehr interessant, einige bemerkenswerte Dinge möchte ich hier in Auszügen wiedergeben.

Am Anfang motivierte Herr Hofman den Vortrag mit der Aussage, dass Suchmaschinen immer wichtiger werden. Er zeigte eine Statistik, laut der die Nutzung von Suchmaschinen mit steigender Interneterfahrung zunimmt. Er meinte, dass das Ziel von Google sei, ein System für die Maße zu erzeugen, d.h. dass sie ihre Systeme möglichst intuitiv gestalten möchten.

Dannach zeigte er uns Google Trends – ein sehr schönes Tool: Man gibt einen Suchbegriff ein und bekommt einen Graphen, der einem anzeigt, in welcher Häufigkeit nach diesem Begriff gesucht wird. Ausserdem zeigte er ein Bild von einem Monitor im Google HQ, auf dem gerade die aktuellen Suchanfragen vorbeirauchsten (Lustigerweise suchte da wohl gerade einer nach rotten.c..).

Danach zeigte er uns dieses Bild:

und meinte: “Das is, was die New York Times meint, wie unser Rechenzentrum aussehen könnte. Offiziell würden wir das natürlich nie bestätigen”. Dann meinte er, dass sie so ein Rechenzentrum mittlerweile in wenigen Wochen bauen können.

Er erzählte, dass Google mittlerweile weit über 100 000 Server besitzt, und somit der größte Cluster der Welt darstellen dürfte. Das sei auch dringen notwendig, weil jeder Google Dienst durch Wachstum in die drei Dimensionen “More Data, More Queries, Better Results” ständig immer mehr Bedarf an Rechenleistung hat.

Aber nicht nur der Bedarf an Rechenleistung sondern auch der Bedarf an Speicherplatz steige kontinuierlich. Dazu muss man wissen, dass Google eine Kopie *aller* Dateien im Index auf Festplatte vorliegen hat. Dies erfordert natürlich ein spezielles Speicherkonzept. Google hat dafür das GFS, das Google Filesystem erschaffen. Hierbei handelt es sich um eine Art Raid über mehrere Server. Daten werden in 64 MB Chunks auf- und auf sogenannte Chunkserver verteilt. Eine Reihe zentraler GFS-Masterserver wissen jederzeit, welche Datei auf welchem Server liegt und ermöglichen den Clients so den Zugriff. Durch mehrfaches Vorhalten der Chunks auf mehreren Servern wird zum einen Redundanz bei Ausfall eins Chunkservers und zum anderen eine höhere IO Performance erreicht – oft benötigte Dateien werden auf mehr Rechnern vorgehalten, wie weniger benötigte. Insgesamt hat Google über 50 dieser GFS Cluster mit jeweils über 1000 Nodes, 1 PB an Daten und 10 GB/sec(!) IO Durchsatz.

Ein weitere interessanter Punkt war das sogenannte Map Reduce. Hierbei handelt es sich um ein Verfahren, um Batch-Operationen wie z.B. das Berechnen von Reverse-Anchor-Maps (Also eine Liste mit allen Seiten, die auf eine andere Seite verlinkt) sehr effektiv durchzuführen. Im wesentlichen sucht man sich zuerst die Daten zusammen (Map Phase), die man für eine Operation benötigt, sortiert diese und führt dann die eigentliche Operation aus (Reduce Phase).
Auf jeden Fall hat man bei Google nun ein spezielles Map-Reduce Framework geschrieben, welches sich mit C++, Java ode r Python ansteuern lässt. In diesem Framework muss man nur eine Klasse für den Reducer und eine für den Mapper implementieren. Über alle anderen Aspekte des Clusterings muss man sich keine Gedanken machen, das geht von alleine. Somit ist es für die Google Mitarbeiter sehr einfach möglich, neue Algorithmen und Verteilte Operationen zu testen, was wohl zu einem sehr effektiven Entwicklungsprozess führt.

Der Abschnitt über Crawling lieferte im wesentliche nicht viel neues, interessant fand ich jedoch, dass mehr als 50% aller Sites Duplikate sind, die man vor dem Crawlen erkennen und aus dem Index entfernen muss. Ausserdem gibt es wohl eine Priority Queue, d.h. Seiten mit hohem Page Rank werden öfter gecrawlt als Seiten mit einem niedrigeren.

Weitestgehends bestätigt haben sich unsere Annahmen bzgl. Google Sitemaps. Herr Hofmann meinte, dass dies zu einem deutlich besseren Crawling der Seite führt, da keine Discovery Crawls mehr notwendig sind.

Dann kam er auf das eigentliche Suchsystem zu sprechen. Er meinte, im wesentlichen gäbe es hier zwei Probleme, nämlich Perfomance und Relevanz. Zum Thema Performance meinte er, dass Google bemüht sei, alle Anfragen in weniger als 200ms zu beantworten, und das alles was länger als 1 Sekunde dauert von Usern als langsam empfunden wird.

Das Relevanzproblem sei eine ähnlich große Herausforderung. Oft würden User nur sehr unklare Anfragen an Google stellen und trotzdem ein passendes Ergebnis erwarten. Dazu nannte er uns ein paar Zahlen: Eine Durchschnittliche Suchanfrage hat 2,35 Wörter, 85% der User schauen sich nur die erste Seite an und 79% der User modifizieren Ihren Query nie.

Wie wohl jedem bekannt ist, benutzt Google den sogenannten Page Rank, um die Wichtigkeit einer Seite zu beurteilen. Dazu werden mehr als 100 Faktoren in Betracht gezogen, wie z.B. Link Text, Font Size und Nähe der Suchworte im Text.

Interessant fand ich hier, dass Google auch den Text eingehender Links sowohl mit dem Text abgehender Links als auch mit dem Content der Seite vergleicht. Bei dem Algorithmus im sich handelt es sich um wesentlichen um eine Markov Kette, die Details sind allerdings wohl eins der am besten gehüteten Geheimnisse von Google. Herr Hofmann meinte dazu nur “Die Prinzipielle Funktionsweise wird zwar in der Literatur beschrieben, beachten Sie allerdings bitte, dass diese nun schon wieder 9 Jahre alt ist. Seitdem hat sich viel getan”. Das berechnen des Page Ranks hat früher wohl über 2 Wochen gedauert, scheint heute aber deutlich schneller zu gehen.

Oben erwähnte ich bereits, dass User oft sehr unklare Anfragen stellen. Als weiteres Problem kommt noch dazu, dass diese Anfragen oft auch noch Tippfehler enthalten. Herr Hofmann meinte dazu “People can’t spell”. Google bietet hier eine Auto Korrektur. Diese Auto Korrektur funktioniert allerdings grundlegend anders wie die Wörterbuch basierte Korrektur, die z.B. von Textverarbeitungssoftware verwendet wird. Die Auto Korrektur von Google basiert auf einer Wahrscheinlichkeitsverteilung von Wörtern im Google Index. Jedem Wort, das Google gecrawlt hat, wird ein Wahrscheinlichkeitswert zugeordnet, und bei der Eingabe wird die Eingabe mit dieser Wahrscheinlichkeit verglichen. Die Google Korrektur funktioniert somit unabhängig von Sprache, Fachbegriffen und Eigennamen und ohne jeglichen Eingriff von Redakteuren.

Einen ähnlichen Ansatz wird momentan übrigens für das automatische Übersetzen von Texten erforscht. Hierzu analysiert Google alle Seiten im Index (Zitat: “Wir haben das ganze Web vorrätig”) und lernt damit einen automatischen Übersetzer an. Vermutlich arbeitet dieser genau wie der Korrektor über einen probabilistischen Ansatz. (Zitat: “Machine Learning is very difficult, but lots of data really helps”). Auf jeden Fall scheinen sie damit schon sehr gute Ergebnisse zu erzielen (Er sagte irgendetwas von 53,5 BLEU% bei Übersetzungen von Arabisch nach Englisch), man kann also gespannt sein.

Ein weiterer Schwerpunkt liegt bei Google auf der Search Quality. Google setzt hier verschiedene Methoden ein, um diese zu verbessern. Zum einen betreiben Sie mehrere Usability Labs, bei denen User mit Eye-Trackern beim anschauen einer Seite beobachtet werden, zum anderen haben sie einen ganzen Staff von Leuten, die nichts anderes tun, als Suchergebnisse zu bewerten, um neue Suchalgorithmen zu testen.

Herr Hofmann redete dannach noch kurz über Länderspezifische Suche (z.B. möchte ein Franzose, der nach Corte d’ore sucht wahrscheinlich das gleichnamige Départmente, ein Deutscher wohl einer die Schokoladensorte finden) sowie über einige Gadgets wie z.B. Google Timeline oder Google Question Answering.

Zu Schluß hat Herr Hofmann uns dann aber doch “The Real Secret of Google” verraten: Die Mitarbeiter sind einfach super motiviert, die Arbeitsatmosphäre ist gut und in der Firma herrscht eine starke bottom-up Kultur. Er meinte, jeder habe die Möglichkeit, seine Ideen einzubringen und umzusetzen. Es gibt sehr viele Freizeitmöglichkeiten wie z.B. Billiardtisch und Kicker, die man während der Arbeitszeit nutzen kann und überall hängen White-Boards, an denen man spontane Einfälle skizzieren kann. Er meinte “Wir sind alle besessen, von dem, was wir tun.” Darüber hinaus sei jeder Mitarbeiter angehalten, nach spätestens 2 Jahren die Abteilung zu wechseln, damit keine Langeweile entsteht.

Dannach war Fragerunde. Nach den üblichen Fragen (“Wie verdient Google Geld?” Antwort: “Werbung”) hab ich ihn dann gefragt, was mir schon die ganze Zeit auf der Seele brannte: Was hat es mit dem Google Trusted Index auf sich? Herr Hofmann meinte, das wird überbewertet. Für Themen wie Websuche würde das kaum eine Rolle spielen. Trusted Sites wären z.B. wichtig, wenn man ein Bild für die Suchergebnisse einblenden will, um zu vermeiden, dass man da ausversehen auf der Suchseite ein Pornobild anzeigt.

Eine weitere Interessante Frage war die, nach den 20% Projekten (Jeder Google Mitarbeiter kann über 20% seiner Zeit frei verfügen). Daraus sei z.B. Google News und ein Shuttle Service entstannden (Google Transit). Er selbst würde in seiner 20% Zeit Vorlesungen an der ETH Zürich halten.

Lachen mussten wir alle, als jemand fragte, wie Google denn verhindere, dass jemand seiner Oma erzählen, wie der Google Suchalgorithmus funktioniere. Daraufhin meinte Herr Hofmanns, das wäre nicht so schlimm, denn Omas wären im allgemeinen recht Rauschbehaftete Kanäle.

Nach dem Vortrag gab es noch ein leckeres Büffet und wir diskutierten noch fast 2 Stunden mit Herrn Hofmann über Google, Gott und die Welt.