Seuraava artikkeli auttaa sinua: Onko Googlella ongelmia suurten Robots.txt-tiedostojen kanssa?
Google käsittelee aihetta robots.txt-tiedostoista ja siitä, onko hyvä SEO-käytäntö pitää ne kohtuullisessa koossa.
Googlen hakuasianajaja John Mueller keskustelee tästä aiheesta Googlen hakukeskuksen hakukoneoptimoijan toimistoaikakeskustelussa 14. tammikuuta.
David Zieger, suuren saksalaisen uutisjulkaisijan SEO-päällikkö, liittyy suoratoistoon huolestuneena “valtavasta” ja “monimutkaisesta” robots.txt-tiedostosta.
Kuinka suurista me täällä puhumme?
Zieger sanoo, että siellä on yli 1 500 riviä, joissa on “lukumäärä” estoja, jotka kasvavat vuosien mittaan.
Esteet estävät Googlea indeksoimasta HTML-osia ja URL-osoitteita, joissa käytetään AJAX-kutsuja.
Zieger sanoo, että ei ole mahdollista asettaa noindexiä, mikä on toinen tapa pitää fragmentit ja URL-osoitteet poissa Googlen hakemistosta, joten hän on turvautunut täyttämään sivuston robots.txt-tiedoston kielloilla.
Voiko valtava robots.txt-tiedosto aiheuttaa negatiivisia SEO-vaikutuksia?
Tässä on mitä Mueller sanoo.
SEO-näkökohdat suurille Robots.txt-tiedostoille
Suuri robots.txt-tiedosto ei toimi suoraan aiheuttaa kielteisiä vaikutuksia sivuston hakukoneoptimointiin.
Isoa tiedostoa on kuitenkin vaikeampi ylläpitää, mikä voi johtaa vahingossa tapahtuviin ongelmiin.
Mueller selittää:
“Siellä ei ole suoria negatiivisia SEO-ongelmia, mutta se tekee siitä paljon vaikeampaa ylläpitää. Ja se tekee paljon helpommaksi työntää vahingossa jotain, joka aiheuttaa ongelmia.
Joten se, että tiedosto on suuri, ei tarkoita, että se olisi ongelma, mutta se helpottaa ongelmien luomista.”
Zieger kysyy, onko sivustokartan sisällyttämättä jättämiseen robots.txt-tiedostoon ongelmia.
Mueller sanoo, että se ei ole ongelma:
“Ei. Nämä erilaiset tavat lähettää sivustokartta ovat kaikki yhtäläisiä meille.”
Zieger aloittaa sitten useisiin lisäkysymyksiin, joita tarkastelemme seuraavassa osiossa.
Aiheeseen liittyvä: Google SEO 101: Erikoistiedostojen estäminen Robots.txt-tiedostossa
Tunnistaako Google HTML-fragmentteja?
Zieger kysyy Muellerilta, mikä olisi robots.txt-tiedoston radikaalin lyhentämisen SEO vaikutus. Kuten esimerkiksi kaikkien kieltojen poistaminen.
Seuraavat kysymykset esitetään:
- Tunnistaako Google HTML-osia, jotka eivät liity sivuston vierailijoihin?
- Päätyisivätkö HTML-fragmentit Googlen hakuhakemistoon, jos niitä ei kielletäisi robots.txt-tiedostossa?
- Miten Google suhtautuu sivuihin, joilla käytetään AJAX-kutsuja? (Kuten ylä- tai alatunnisteelementti)
Hän tiivistää kysymyksensä toteamalla, että suurin osa hänen robots.txt-tiedostossaan kielletyistä elementeistä on ylä- ja alatunnisteelementtejä, jotka eivät kiinnosta käyttäjää.
Mueller sanoo, että on vaikea tietää tarkalleen, mitä tapahtuisi, jos nuo fragmentit yhtäkkiä sallittaisiin indeksoida.
Yrityksen ja erehdyksen lähestymistapa saattaa olla paras tapa selvittää tämä, Mueller selittää:
“On vaikea sanoa, mitä tarkoitat noiden fragmenttien suhteen
Ajattelin yrittää selvittää, miten näitä fragmentti-URL-osoitteita käytetään. Ja jos olet epävarma, ota jokin näistä fragmentti-URL-osoitteista ja salli sen indeksointi, katso kyseisen fragmentin URL-osoite ja tarkista sitten, mitä haussa tapahtuu.
Vaikuttaako se mihinkään sivustosi indeksoituun sisältöön?
Löytyykö osa tästä sisällöstä yhtäkkiä sivustostasi?
Onko se ongelma vai ei?
Ja yritä työskennellä sen pohjalta, koska robots.txt-tiedostolla on erittäin helppoa estää asioita, joita ei itse asiassa käytetä indeksoimiseen, ja sitten vietät paljon aikaa tämän suuren robots.txt-tiedoston ylläpitoon, mutta se ei itse asiassa tee sitä. muuta niin paljon verkkosivustollesi.”
Aiheeseen liittyvä: Parhaat käytännöt Meta Robots -tunnisteiden ja Robots.txt-tiedoston määrittämiseen
Muita huomioitavaa Robots.txt-tiedoston luomisessa
Ziegerillä on vielä viimeinen seuranta robots.txt-tiedostojen suhteen ja kysyy, onko tiedoston luomisessa noudatettava erityisiä ohjeita.
Mueller sanoo, että mitään tiettyä muotoa ei ole noudatettava:
“Ei, se on pohjimmiltaan sinusta kiinni. Kuten joillakin sivustoilla on suuria tiedostoja, joillakin sivustoilla on pieniä tiedostoja, niiden kaikkien pitäisi vain toimia.
Meillä on käyttämämme robots.txt-jäsentimen avoin lähdekoodi. Joten voit myös pyytää kehittäjiäsi suorittamaan jäsentimen puolestasi tai määrittää sen niin, että voit testata sitä, ja sitten tarkistaa verkkosivustosi URL-osoitteet kyseisellä jäsentimellä nähdäksesi, mitkä URL-osoitteet todella estetään. mitä se muuttaisi. Ja tällä tavalla voit testata asioita ennen kuin saat ne elämään.”
Muellerin mainitsema robots.txt-jäsennin löytyy osoitteesta Github.
Kuuntele koko keskustelu alla olevalta videolta:
