Definice webových spiderů a webových prohledávačů

Spiders jsou programy (nebo automatizované skripty), které "procházejí" přes web, hledají data. Pavouci cestují přes webové stránky webových stránek a mohou vytahovat data z webových stránek, jako jsou e-mailové adresy. Páry se také používají k tomu, aby informace vyhledávané na internetových stránkách vyhledávaly.

Pavouci, které jsou také označovány jako "webové prohledávače", vyhledávají na webu a ne všechny jsou přátelské v jejich záměru.

Stránky Spammers Spider pro shromažďování informací

Google, Yahoo!

a jiné vyhledávače nejsou jediné, kdo mají zájem o procházení webových stránek - to jsou podvodníci a spamátoři.

Spamery a další automatizované nástroje používají spammeři k nalezení e-mailových adres (na internetu se tato praxe často označuje jako "sklizeň") na webových stránkách a pak je používá k vytvoření spamových seznamů.

Páry jsou také nástrojem, který vyhledávače zjistili více informací o vašem webu, ale nezaškrtnuto, webové stránky bez pokynů (nebo "oprávnění") o tom, jak procházet vaše stránky, rizika informační bezpečnosti. Pavouci cestují podle následujících odkazů a jsou velmi obeznámeni s vyhledáváním odkazů na databáze, programové soubory a další informace, na které byste možná chtěli, aby neměli přístup.

Webmasteři mohou zobrazovat protokoly, aby zjistili, jaké pavouci a další roboty navštívili své stránky. Tyto informace pomáhají správcům webu vědět, kdo indexuje jejich stránky a jak často.

Tyto informace jsou užitečné, protože umožňují správcům webu vyladit jejich SEO a aktualizovat robot. txt, aby zabránili určitým robotům v budoucím procházení webu.

Tipy na ochranu vašeho webu před nechtěnými prohledávači robotů

Existuje poměrně jednoduchý způsob, jak z vašich webových stránek nechat nechtěné crawlery. Dokonce i když nejste znepokojeni škodlivými pavouci procházením vašeho webu (zamlžování e-mailové adresy vás nebude chránit před většinou prohledávačů), měli byste stále poskytovat vyhledávačům důležité instrukce.

Všechny webové stránky by měly mít soubor umístěný v kořenovém adresáři nazývaném roboty. txt soubor. Tento soubor umožňuje instruovat webové prolézací moduly, u kterých chcete hledat na indexové stránky (pokud není uvedeno jinak v metadatách konkrétní stránky, které mají být neindexovány), pokud se jedná o vyhledávač.

Stejně jako můžete prozradit hledané prohledávače, kam chcete procházet, můžete jim také říct, kam nesmějí jít a dokonce zablokovat specifické prohledávače z vašich webových stránek.

Je důležité mít na paměti, že dobře sestavené roboty. txt soubor bude mít pro vyhledávače obrovskou hodnotu a může být i klíčovým prvkem při zlepšování výkonu vašeho webu, ale některé prolézací roboty stále budou ignorovat vaše pokyny. Z tohoto důvodu je důležité, aby byl celý software, pluginy a aplikace stále aktuální.

Související články a informace

Vzhledem k výskytu shromažďování informací používaných k hanebným (nevyžádaným) účelům byla v roce 2003 schválena legislativa, která učinila určité praktiky nezákonné. Tyto zákony na ochranu spotřebitelů spadají pod zákon CAN-SPAM z roku 2003.

Je důležité věnovat pozornost zákonu CAN-SPAM, pokud se vaše firma zabývá hromadnou poštou nebo sběrem informací.

Více se dozvíte o právních předpisech týkajících se spamu ao tom, jak se vypořádat se spammery, a co vy jako vlastníka firmy nemusíte dělat, když si přečtete následující články:

• CAN-SPAM Act 2003
• CAN- Pravidla SPAM zákona pro neziskové organizace
• 5 Pravidla CAN-SPAM Potřebujete porozumět majitelům malých firem