| Line 58: | Line 58: | ||
===Anhang: Crawling Magic=== | ===Anhang: Crawling Magic=== | ||
Für Interessierte hier einmal wie ich StudiVZ crawle. | Für Interessierte hier einmal wie ich StudiVZ crawle. | ||
Facebook funktioniert ziemlich analog, davon findet man auch genug wenn man mal danach googelt. Bei Facebook crawle ich übrigens die Mobile-Version, weil ich kein Javascript unterstützen kann. Es gibt zwar eine Art "noscript-Flag" als GET-Request, nur | Facebook funktioniert ziemlich analog, davon findet man auch genug wenn man mal danach googelt. Bei Facebook crawle ich übrigens die Mobile-Version, weil ich kein Javascript unterstützen kann. Es gibt zwar eine Art "noscript-Flag" als GET-Request, nur der funktioniert nicht mehr allzu gut. | ||
Außerdem ist die | Außerdem ist die mobile Seite wesentlich schneller abzufragen. | ||