| Line 57: | Line 57: | ||
===Anhang: Crawling Magic=== | ===Anhang: Crawling Magic=== | ||
Für | Für Interessierte hier einmal wie ich StudiVZ crawle. | ||
Facebook funktioniert ziemlich analog, davon findet man auch genug wenn man mal danach googelt. Bei Facebook crawle ich übrigens die Mobile-Version, weil ich kein Javascript unterstützen kann. Es gibt zwar eine Art "noscript-Flag" als GET-Request, nur das funktioniert nicht mehr allzu gut. | Facebook funktioniert ziemlich analog, davon findet man auch genug wenn man mal danach googelt. Bei Facebook crawle ich übrigens die Mobile-Version, weil ich kein Javascript unterstützen kann. Es gibt zwar eine Art "noscript-Flag" als GET-Request, nur das funktioniert nicht mehr allzu gut. | ||
Außerdem ist die Mobile Seite wesentlich schneller abzufragen. | Außerdem ist die Mobile Seite wesentlich schneller abzufragen. | ||