Naše vyhledávání má jedinečný přehled o českém internetu, neboť jeho velký vzorek máme uložený v indexu. Chtěli bychom se s vámi postupně podělit o různá zajímavá čísla.
Dnes jsou to jednoduché statistiky nad vzorkem českých homepage (HP), což jsou vstupní dokumenty na doméně druhé nebo třetí úrovně, kde jsme detekovali češtinu. Celkem to bylo asi 700 000 URL.
Pokud jde o operační systém, nejsou servery příliš sdílné. Asi z dobrého důvodu. Takže 72,76 % mu nedělá reklamu. Zbytek vypadá takto:
| Debian | 10,92 % |
| Ubuntu | 5,52 % |
| Unix | 4,55 % |
| CentOS | 3,84 % |
| FreeBSD | 0,83 % |
| Fedora | 0,38 % |
| Win32 | 0,34 % |
| Linux/SUSE | 0,19 % |
S informací o HTTP server
u je to lepší, pouze 5,6 % serverů o něm nevrací informaci.
| Apache | 71,64 % |
| Nginx | 12,02 % |
| IIS | 8,07 % |
| GSE | 0,84 % |
| Lighttpd | 0,73 % |
| OpenResty | 0,30 % |
Většina webů je v UTF-8. Po něm následuje windows-1250, pravděpodobně z historických důvodů. V ASCII jsou většinou framesety, chybové stránky apod.
| UTF-8 | 78,36 % |
| Cp1250 | 13,52 % |
| ASCII | 6,29 % |
| Latin2 | 1,67 % |
Vždycky mě zajímalo, kdo dnes ještě používá elementy <marquee> nebo <bgsound>. Stále jsou mezi námi, ale vesměs se jedná o neudržované weby.
| <i> nebo <b> | 19,75 % |
| <font> | 8,43 % |
| <frameset> | 1,35 % |
| <marquee> | 0,53 % |
| <bgsound> | 0,06 % |
| <blink> | 0,05 % |
| <basefont> | 0,02 % |
| <applet> | 0,02 % |
RSS je podporováno většinou CMS, proto zřejmě vede. Open Graph používaný Facebookem se na HP zatím moc neujal, nebo není potřeba ovlivňovat podobu sdílených odkazů.
| RSS | 22,52 % |
| Microdata | 3,74 % |
| LD+JSON | 1,94 % |
| Microformats | 0,73 % |
| OpenGraph | 0,50 % |
| 0,01 % |
Převaha .cz domény se dala čekat, následují generické domény a okolní státy. Do první desítky se dostala i „kontaktní“ doména .tel.
| cz | 79,84 % |
| com | 9,37 % |
| eu | 4,62 % |
| net | 1,62 % |
| sk | 1,21 % |
| info | 0,98 % |
| org | 0,77 % |
| biz | 0,20 % |
| de | 0,14 % |
| tel | 0,12 % |
Jedná se jen o velikost zdrojáku, bez externích skriptů, obrázků apod.
| <=10 kB | 38,95 % |
| 10-20 kB | 28,05 % |
| 20-50 kB | 23,87 % |
| 50-100 kB | 6,46 % |
| 100-200 kB | 2,04 % |
| 200-500 kB | 0,51 % |
| >500 kB | 0,11 % |
Pokud jde o Javascript, dominuje jQuery (47,97 %). HTTPS používá 1,23 % HP. IDN domén je 0,07 %.
Výběr stránek, které SeznamBot crawluje a indexuje, má podobu skórování všech stránek, které SeznamBot zná a jejich následného řazení podle hodnot skóre. V uplynulých týdnech jsme provedli úpravy tohoto skórování, které se projeví následujícími změnami při výběru dokumentů ke crawlování a indexaci. Lepší predikce kvality stránky podle URL – URL stránky je pro robota jeden ze …
V posledních letech se množí technologie pro zpracování velkých dat, které přináší zajímavé možnosti využití. Ke zpracování velké dávky dat (batch) se přidaly i možnosti zpracování v reálném čase, kdy data vznikají (stream). Robot vyhledávače zpracovává miliardy uložených webových stránek a zároveň denně stahuje obsah stovek milionů URL z internetu. Vždy hledáme ty nejvhodnější technologie …
Po vylepšeních v rychlosti Freshbota jsme se podívali i na rychlost v tzv. „velkém robotovi“. Ten na rozdíl od Freshbota prochází násobně větší objemy stránek. Robot nyní reaguje dříve na obsah stránky a nová stránka se dostane do indexu dvakrát rychleji. Doposud stránka procházela složitějším zpracováním. Kvůli závislostem trvalo i několik dní od stažení URL než z …
