Seuraava artikkeli auttaa sinua: Kuinka ja miksi estää robotteja indeksoimasta sivustoasi
Suurimmaksi osaksi robotit ja hämähäkit ovat suhteellisen vaarattomia.
Haluat esimerkiksi Google-botin indeksoivan verkkosivustosi.
Botit ja hämähäkit voivat kuitenkin joskus olla ongelma ja aiheuttaa ei-toivottua liikennettä.
Tällainen ei-toivottu liikenne voi johtaa:
- Hämärtää, mistä liikenne tulee.
- Hämmentäviä ja vaikeasti ymmärrettäviä raportteja.
- Virheellinen määrittäminen Google Analyticsissa.
- Lisääntyneet kaistanleveyden kustannukset, joista maksat.
- Muut haitat.
On hyviä ja huonoja botteja.
Hyvät robotit toimivat taustalla ja hyökkäävät harvoin toisen käyttäjän tai verkkosivuston kimppuun.
Huonot botit rikkovat verkkosivuston suojan tai niitä käytetään laajana, laajamittaisena bottiverkkona DDOS-hyökkäyksiä vastaan suurta organisaatiota vastaan (jota yksi kone ei voi poistaa).
Tässä on mitä sinun tulee tietää roboteista ja kuinka estää huonoja indeksoimasta sivustoasi.
Mikä on Bot?
Botin tarkasteleminen voi auttaa tunnistamaan, miksi meidän on estettävä se ja estettävä sitä indeksoimasta sivustoamme.
Botti, lyhenne sanoista “robot”, on ohjelmistosovellus, joka on suunniteltu toistamaan tietty tehtävä toistuvasti.
Monille SEO-ammattilaisille robottien käyttö liittyy SEO-kampanjan skaalaamiseen.
“Skaalaus” tarkoittaa, että automatisoit niin paljon työtä kuin mahdollista saadaksesi parempia tuloksia nopeammin.
Yleisiä väärinkäsityksiä boteista
Olet ehkä törmännyt siihen väärinkäsitykseen, että kaikki robotit ovat pahoja ja ne on kiellettävä yksiselitteisesti sivustoltasi.
Mutta tämä ei voisi olla kauempana totuudesta.
Google on robotti.
Jos estät Googlen, voitko arvata, mitä hakukonesijoituksillesi tapahtuu?
Jotkut robotit voivat olla haitallisia, suunniteltu luomaan väärennettyä sisältöä tai esiintyä laillisina verkkosivustoina varastaakseen tietojasi.
Botit eivät kuitenkaan aina ole haitallisia skriptejä, joita ajavat huonot näyttelijät.
Jotkut voivat olla hyviä työkaluja, jotka helpottavat SEO-ammattilaisten työtä, kuten automatisoivat yleisiä toistuvia tehtäviä tai keräävät hyödyllisiä tietoja hakukoneista.
Joitakin yleisiä SEO-ammattilaisten käyttämiä robotteja ovat Semrush ja Ahrefs.
Nämä robotit keräävät hyödyllistä tietoa hakukoneista, auttavat SEO-ammattilaisia automatisoimaan ja suorittamaan tehtäviä ja voivat helpottaa SEO-tehtäviäsi.
Miksi sinun pitäisi estää botteja indeksoimasta sivustoasi?
Vaikka on monia hyviä botteja, on myös huonoja botteja.
Huonot robotit voivat auttaa varastamaan yksityisiä tietojasi tai tuhota muuten toimivan verkkosivuston.
Haluamme estää kaikki huonot robotit, jotka voimme paljastaa.
Ei ole helppoa löytää jokaista robottia, joka saattaa indeksoida sivustoasi, mutta pienellä kaivamisella voit löytää haitallisia, joita et halua enää vierailla sivustollasi.
Joten miksi sinun pitäisi estää botteja indeksoimasta verkkosivustoasi?
Joitakin yleisiä syitä, miksi saatat haluta estää botteja indeksoimasta sivustoasi, voivat olla:
Suojaa arvokkaat tietosi
Ehkä olet huomannut, että laajennus houkuttelee useita haitallisia botteja, jotka haluavat varastaa arvokkaita kuluttajatietojasi.
Tai huomasit, että robotti käytti hyväkseen tietoturva-aukkoja lisätäkseen huonoja linkkejä kaikkialle sivustoosi.
Tai joku yrittää jatkuvasti lähettää roskapostia yhteydenottolomakkeellesi robotilla.
Tässä sinun on ryhdyttävä tiettyihin toimiin suojataksesi arvokkaat tietosi botin vaarantumiselta.
Kaistanleveyden ylitykset
Jos saat runsaasti bottiliikennettä, on mahdollista, että myös kaistanleveys kasvaa pilviin, mikä johtaa odottamattomiin ylitteisiin ja maksuihin, joita et halua ottaa.
Haluat ehdottomasti estää loukkaavia robotteja indeksoimasta sivustoasi näissä tapauksissa.
Et halua tilannetta, jossa maksat tuhansia dollareita kaistanleveydestä, josta et ansaitse laskutusta.
Mikä on kaistanleveys?
Kaistanleveys tarkoittaa tiedonsiirtoa palvelimeltasi asiakaspuolelle (verkkoselaimelle).
Käytät kaistanleveyttä aina, kun tietoja lähetetään yhteysyrityksen kautta.
Kun robotit käyttävät sivustoasi ja tuhlaat kaistanleveyttä, kuukausittaisen kaistanleveyden ylittämisestä voi aiheutua ylimääräisiä maksuja.
Sinun olisi pitänyt saada ainakin joitain yksityiskohtaisia tietoja isännöitsijältäsi, kun kirjauduit sisään hosting-pakettiisi.
Huonon käytöksen rajoittaminen
Jos haitallinen robotti alkoi jotenkin kohdistaa sivustoosi, olisi asianmukaista ryhtyä toimiin tämän hallitsemiseksi.
Haluat esimerkiksi varmistaa, että tämä robotti ei pääse käsiksi yhteydenottolomakkeihisi. Haluat varmistaa, että robotti ei pääse sivustollesi.
Tee tämä ennen kuin botti voi vaarantaa tärkeimmät tiedostosi.
Varmistamalla, että sivustosi on kunnolla lukittu ja suojattu, on mahdollista estää nämä robotit, jotta ne eivät aiheuta liikaa vahinkoa.
Kuinka estää robotteja sivustoltasi tehokkaasti
Voit käyttää kahta tapaa estääksesi robotteja sivustoltasi tehokkaasti.
Ensimmäinen on robots.txt-tiedoston kautta.
Tämä on tiedosto, joka sijaitsee verkkopalvelimesi juuressa. Yleensä sinulla ei ehkä ole sellaista oletuksena, ja sinun on luotava sellainen.
Tässä on muutamia erittäin hyödyllisiä robots.txt-koodeja, joilla voit estää useimmat robotit ja robotit pääsemästä sivustollesi:
Estä Googlebot palvelimeltasi
Jos haluat jostain syystä estää Googlebotia indeksoimasta palvelintasi, käytät seuraavaa koodia:
User-agent: Googlebot
Estä: /
Haluat käyttää tätä koodia vain estääksesi sivustoasi indeksoinnin ollenkaan.
Älä käytä tätä mielijohteesta!
Anna jokin tietty syy varmistaaksesi, ettet halua robottien indeksoivan sivustoasi ollenkaan.
Yleinen ongelma on esimerkiksi se, että haluat pitää esityssivustosi poissa hakemistosta.
Et halua Googlen indeksoivan esityssivustoa ja oikeaa sivustoasi, koska kaksinkertaistat sisältösi ja luot sen seurauksena päällekkäisiä sisältöongelmia.
Kaikkien robottien estäminen palvelimeltasi
Jos haluat estää kaikkia robotteja indeksoimasta sivustoasi, käytä seuraavaa koodia:
Käyttäjä agentti: *
Estä: /
Tämä on koodi, joka estää kaikki robotit. Muistatko esityssivustomme esimerkin ylhäältä?
Ehkä haluat sulkea esityssivuston pois kaikista boteista ennen kuin otat sivustosi käyttöön niissä kaikissa.
Tai ehkä haluat pitää sivustosi yksityisenä jonkin aikaa ennen kuin julkaiset sen.
Joka tapauksessa tämä pitää sivustosi piilossa uteliailta katseilta.
Estää botteja indeksoimasta tiettyä kansiota
Jos jostain syystä haluat estää botteja indeksoimasta tiettyä kansiota, jonka haluat määrittää, voit myös tehdä sen.
Seuraava on koodi, jota käytät:
Käyttäjä agentti: *
Disallow: /kansion-nimi/
On monia syitä, miksi joku haluaa sulkea botit pois kansiosta. Ehkä haluat varmistaa, että tiettyä sivustosi sisältöä ei ole indeksoitu.
Tai ehkä kyseinen kansio aiheuttaa tietyntyyppisiä päällekkäisiä sisältöongelmia, ja haluat sulkea sen indeksoinnin kokonaan pois.
Joka tapauksessa tämä auttaa sinua tekemään sen.
Yleisiä Robots.txt-tiedoston virheitä
SEO-ammattilaiset tekevät useita virheitä robots.txt-tiedoston kanssa. Yleisimmät virheet ovat:
- Käytä sekä disallow- että noindex-tiedostossa robots.txt-tiedostossa.
- Kenoviivan / käyttö (kaikki kansiot alaspäin juurista), kun todella tarkoitat tiettyä URL-osoitetta.
- Ei sisällä oikeaa polkua.
- Ei testata robots.txt-tiedostoasi.
- Et tiedä estettävän käyttäjäagentin oikeaa nimeä.
Sekä Disallowin käyttö sivulla Robots.txt-tiedostossa että Noindexissä
Googlen John Mueller on todennut, että sinun ei pitäisi käyttää sekä disallow-tiedostoa robots.txt:ssä että noindex-asetusta itse sivulla.
Jos teet molemmat, Google ei voi indeksoida sivua nähdäkseen noindexin, joten se saattaa silti indeksoida sivun joka tapauksessa.
Tästä syystä sinun tulee käyttää vain toista, ei molempia.
Kenoviivan käyttäminen, kun todella tarkoitat tiettyä URL-osoitetta
Eteenpäin oleva vinoviiva Disallowin jälkeen tarkoittaa “tästä juurikansiosta alaspäin, kokonaan ja kokonaan ikuisesti”.
Jokainen sivustosi sivu estetään pysyvästi, kunnes muutat sitä.
Yksi yleisimmistä verkkosivustojen tarkastuksissa havaitsemistani ongelmista on se, että joku lisäsi vahingossa vinoviivan “Disallow:”-kohtaan ja esti Googlea indeksoimasta koko sivustoaan.
Ei sisällä Oikeaa polkua
Me ymmärrämme. Joskus robots.txt-tiedoston koodaus voi olla vaikeaa työtä.
Et muistanut tarkkaa oikeaa polkua alun perin, joten kävit tiedoston läpi ja siivetitte sitä.
Ongelmana on, että kaikki nämä samanlaiset polut johtavat 404:ään, koska ne ovat yhden merkin päässä.
Tästä syystä on tärkeää aina tarkistaa polut, joita käytät tietyissä URL-osoitteissa.
Et halua ottaa riskiä lisätä robots.txt-tiedostoon URL-osoitetta, joka ei toimi robots.txt-tiedostossa.
Käyttäjäagentin oikeaa nimeä ei tiedetä
Jos haluat estää tietyn käyttäjäagentin, mutta et tiedä kyseisen käyttäjäagentin nimeä, se on ongelma.
Sen sijaan, että käytät nimeä, jonka luulet muistavasi, tee tutkimusta ja selvitä tarvitsemasi käyttäjäagentin tarkka nimi.
Jos yrität estää tiettyjä botteja, siitä nimestä tulee erittäin tärkeä ponnisteluissasi.
Miksi muuten estäisit robotit ja hämähäkit?
On myös muita syitä, miksi SEO-ammattilaiset haluavat estää botteja indeksoimasta sivustoaan.
Ehkä he ovat syvällä harmaan hatun (tai mustahattu) PBN:issä ja haluavat piilottaa yksityisen blogiverkostonsa uteliailta katseilta (etenkin kilpailijoilta).
He voivat tehdä tämän käyttämällä robots.txt-tiedostoa estämään yleisiä robotteja, joita SEO-ammattilaiset käyttävät arvioidakseen kilpailuaan.
Esimerkiksi Semrush ja Ahrefs.
Jos halusit estää Ahrefsin, tämä koodi on tehtävä:
Käyttäjäagentti: AhrefsBot
Estä: /
Tämä estää AhrefsBotia indeksoimasta koko sivustoasi.
Jos haluat estää Semrushin, tämä on koodi.
Siellä on myös muita ohjeita tässä.
Lisättäviä koodirivejä on paljon, joten ole varovainen, kun lisäät näitä:
Voit estää SemrushBotia indeksoimasta sivustoasi erilaisten SEO- ja teknisten ongelmien vuoksi:
Käyttäjäagentti: SiteAuditBot
Estä: /
Voit estää SemrushBotia indeksoimasta sivustoasi käänteisen linkin tarkastustyökalua varten:
Käyttäjäagentti: SemrushBot-BA
Estä: /
Voit estää SemrushBotia indeksoimasta sivustoasi On Page SEO Checker -työkalua ja vastaavia työkaluja varten:
Käyttäjäagentti: SemrushBot-SI
Estä: /
Voit estää SemrushBotia tarkistamasta sivustosi URL-osoitteita SWA-työkalun varalta seuraavasti:
Käyttäjäagentti: SemrushBot-SWA
Estä: /
Voit estää SemrushBotia indeksoimasta sivustoasi Content Analyzer – ja Post Tracking -työkaluja varten seuraavasti:
Käyttäjäagentti: SemrushBot-CT
Estä: /
Voit estää SemrushBotia indeksoimasta sivustoasi tuotemerkin seurantaa varten seuraavasti:
Käyttäjäagentti: SemrushBot-BM
Estä: /
Voit estää SplitSignalBotia indeksoimasta sivustoasi SplitSignal-työkalua varten seuraavasti:
User-agent: SplitSignalBot
Estä: /
Voit estää SemrushBot-COUBia indeksoimasta sivustoasi Content Outline Builder -työkalua varten seuraavasti:
Käyttäjäagentti: SemrushBot-COUB
Estä: /
HTACCESS-tiedostosi käyttäminen robottien estämiseen
Jos olet APACHE-verkkopalvelimella, voit käyttää sivustosi htaccess-tiedostoa tiettyjen robottien estämiseen.
Esimerkiksi tässä on, kuinka käytät koodia htaccessissa ahrefsbotin estämiseen.
Huomaa: ole varovainen tämän koodin kanssa.
Jos et tiedä mitä olet tekemässä, voit kaataa palvelimesi.
Tarjoamme tämän koodin vain esimerkkitarkoituksiin.
Varmista, että teet tutkimusta ja harjoittelet itse ennen kuin lisäät sen tuotantopalvelimelle.
Tilaa Salli, Estä
Estä alkaen 51.222.152.133
Estä alkaen 54.36.148.1
Estä alkaen 195.154.122
Salli kaikilta
Jotta tämä toimisi oikein, varmista, että estät kaikki kohdassa luetellut IP-alueet Tämä artikkeli Ahrefs-blogissa.
Jos haluat kattavan johdannon .htaccessiin, katso enää tämä opetusohjelma osoitteessa Apache.org.
Jos tarvitset apua htaccess-tiedoston käytössä tietyntyyppisten robottien estämiseen, voit seurata ohjeita opetusohjelma täällä.
Bottien ja hämähäkkien estäminen voi vaatia työtä
Mutta se on sen arvoista loppujen lopuksi.
Varmistamalla, että estät botteja ja hämähäkkejä indeksoimasta sivustoasi, et joudu samaan ansaan muiden kanssa.
Voit olla rauhassa tietäen, että sivustosi on immuuni tietyille automatisoiduille prosesseille.
Kun pystyt hallitsemaan näitä tiettyjä botteja, se tekee asioista paljon parempia sinulle, SEO-ammattilaiselle.
Jos sinun on pakko, varmista aina, että estät tarvittavia robotteja ja hämähäkkejä indeksoimasta sivustoasi.
Tämä parantaa turvallisuutta, parempaa yleistä online-mainetta ja paljon paremman sivuston, joka on siellä tulevina vuosina.
Lisää resursseja:
