Robots.txt: როგორ შეიძლება დაეხმაროს ან შეაჩეროს თქვენი საიტის ძიების რეიტინგები

გამჟღავნება: თქვენი მხარდაჭერა ხელს უწყობს საიტის მუშაობას! ჩვენ ვიღებთ რეფერალის გადასახადს ზოგიერთი სერვისის შესახებ, რომელსაც გირჩევთ ამ გვერდზე.


Robots.txt ფაილი არის სპეციალური ინსტრუმენტი, რომელსაც ვებგვერდები იყენებენ ინტერნეტ-რობოტების მოსასმენად, რომლებსაც შეუძლიათ ეწვიონ ის, რისი გაკეთებაც არ შეუძლიათ.

მაგალითად, სანამ Googlebot თქვენს ვებგვერდს ეწვევა, ის კითხულობს robots.txt ფაილს, რომ ნახოს სად შეიძლება და რა არ შეუძლია წასვლა, რა ინფორმაციის შეგროვება შეუძლია და მსგავსი საკითხები. რა თქმა უნდა, ამას აკეთებს, რადგან ის წარმოადგენს დამკვიდრებულ კომპანიას, რომელიც ზრუნავს მის რეპუტაციაზე.

თუ ზოგიერთმა ინტერნეტმა სკამერმა შექმნა ScamBot5000, ალბათ არც კი წაიკითხავთ robots.txt ფაილს – გარდა იმისა, რომ იქნებ ნახოთ სად არ გინდათ ის ძებნის.

რატომ გამოვიყენოთ Robots.txt?

იმის გათვალისწინებით, რომ რობოტები არ უნდა დაიცვან robots.txt ფაილში, ეს შეიძლება დროის დაკარგვა ჩანდეს. მაგრამ სინამდვილეში ეს შეიძლება იყოს ძალიან მნიშვნელოვანი. რა თქმა უნდა, spambots განთავსდება თქვენს ვებგვერდზე და გამოაქვეყნებს უსარგებლო კომენტარებს, მაგრამ ეს სხვა საკითხია სხვადასხვა გადაწყვეტილებებით. Robots.txt ფაილი გამოიყენება საძიებო სისტემებისა და არქივებისთვის, რომლებმაც იცოდნენ თქვენი საიტის ნავიგაცია.

უმეტეს შემთხვევაში, ვებსაიტებს სურთ რობოტებმა შეამოწმონ თავიანთი საიტები. მაგრამ არა ყოველთვის. წარმოიდგინეთ, რომ გაქვთ საიტი, რომელიც ორ ნაწილად არის დაყოფილი. ერთი ნაწილი შეიცავს ბლოგს, სადაც მსოფლიოს აცნობებთ რას ფიქრობენ თითოეულ ახალ სმარტფონზე, რომელიც ბაზარზე მოდის. ხოლო მეორე ნაწილში არის თქვენი ახალი ბავშვის სურათები. თქვენ არ გავიწყდებათ, რომ ნახულობენ თქვენი ბავშვის სურათები, რადგან ის, როგორც ყველაფრის მიუხედავად, ღილაკად მიმზიდველია.

თქვენ არ გსურთ ის სურათები, რომლებიც მოთავსებულია საძიებო სისტემის მონაცემთა ბაზაში, სადაც ადამიანები, რომლებმაც არც კი იციან ვინ შეიძლება იყოს მათზე. ან იქნებ უბრალოდ არ გინდა შენი სერვერის დაბეგვრა, რადგან თქვენ მოხდა თქვენი ახალშობილის 10,000-ზე მეტი მაღალი რეზოლუციის სურათი.

მიუხედავად მიზეზისა, თქვენ შეგიძლიათ გამოიყენოთ robots.txt ფაილი, საძიებო სისტემების სათქმელად: დაანგარიშეთ ჩემი სმარტფონის სტატიები, მაგრამ დატოვეთ ჩემი ბავშვის სურათები მარტო.

როგორ მუშაობს Robots.txt

მის შიგნით ბრძანებებს მოიხსენიებენ, როგორც რობოტების გამორიცხვის ოქმს. ეს დაახლოებით 1994 წლიდან დაიწყო და ოფიციალურად სტანდარტიზებული არასოდეს ყოფილა. მაგრამ მაინც ახერხებს საკმაოდ კარგად იმუშაოს.

მასში ბევრი რამ არის (რასაც ჩვენ მივიღებთ). ძირითადად, მხოლოდ ორი ბრძანებაა: (1) ის, ვინც იტყვის, რომელი რობოტები აქვს ბრძანებებს; და (2) ის, ვინც აცნობებს რობოტებს, რა შეუძლიათ და ვერ გააკეთონ.

მომხმარებლის აგენტის ბრძანება

Robots.txt ფაილის ყველა განყოფილება იწყება User-აგენტის ბრძანებით. ეს არის ფორმა:

მომხმარებელი-აგენტი: [robot-name]

ამ შემთხვევაში, [რობოტის სახელი] შეიძლება იყოს კონკრეტული რობოტის სახელი (მაგალითად, Googlebot) ან ყველა რობოტი, რაც ასტერიკის სიმბოლოზეა მითითებული. ეს უკანასკნელი შემთხვევა ყველაზე გავრცელებულია. მომხმარებლის აგენტის შემდეგ, ყველა ბრძანება ეხება მას შემდეგ, რაც მომხმარებლის-აგენტის შემდეგ ხაზს (თუ არსებობს).

უარი თქვან

Robots.txt ფაილში ყველაზე გავრცელებული ბრძანებებია, რომლებიც რობოტს არ აძლევენ ვებსაიტიდან სხვადასხვა ადგილებში წასვლას. ყველა სტრიქონს მსგავსი ფორმატი აქვს მომხმარებლის აგენტის ფორმატისთვის:

უარი თქვან: [ფაილის ან დირექტორიის სახელი]

ამ შემთხვევაში, [ფაილის ან დირექტორია სახელი] მოცემულია ვებ – გვერდის root– სთან შედარებით. მაგალითად, საერთო ადგილმდებარეობის ვებ – გვერდისთვის საერთო სერვერზე არის / home / websiteName / public_html. რაც შეეხება robots.txt– ს, ეს მხოლოდ root დირექტორია, ან /.

მარტივი მაგალითები

შესაძლოა, უმარტივესი robots.txt ფაილი არის ის, რომელიც ეუბნება ყველა რობოტს, რომ წავიდნენ იქ, სადაც უნდათ:

მომხმარებელი-აგენტი: *

თუ გსურთ ვებსაიტზე, რომელიც არის “ქსელისგან” გამორთული და ვერ ნახავთ ნორმალურ საძიებო სისტემებს, თქვენი robots.txt ფაილი შეიძლება ასე გამოიყურებოდეს:

მომხმარებელი-აგენტი: * უარი თქვან: /

უფრო რეალისტური შემთხვევა იქნებოდა, სადაც არ გსურთ Google– ის საძიებო რობოტის გასვლა კერძო ტერიტორიებზე:

მომხმარებელი-აგენტი: Googlebot არჩევა: / cgi-bin / უარი თქვას: / wp-admin /

რას აკეთებს Robots.txt?

იმის გამო, რომ რობოტების გამორიცხვა სტანდარტებს არ აქვს გამყარებული რაიმე ავტორიტეტული ორგანოს მიერ, როგორიცაა ISO და W3C, ზუსტად ის, რასაც ნებისმიერი რობოტი ყურადღებას აქცევს, ცვლადია. ამრიგად, მომხმარებლის აგენტი და უარი თქვით ბრძანებებს, რომელზეც ჩვენ ახლა ვისაუბრეთ, არის ყველაფერი, რაზეც ნამდვილად შეიძლება დამოკიდებული იყოთ. მაგრამ არსებობს სხვა არასტანდარტული ბრძანებები, რომლებიც შეგიძლიათ დაამატოთ თქვენს robots.txt ფაილში.

ნება დართე

ნებადართული ბრძანება თითქმის სტანდარტულია. რობოტების უმეტესობას ესმის. მაგრამ ეს ნამდვილად არ არის გამოსაყენებელი. ეს ჩვეულებრივ გამოიყენება, როგორც სხვა გზაზე დაზარალებული ადგილის მცირე ნაწილის ამოღების საშუალებას. რობოტების უმეტესობა უპირატესობას ანიჭებს რომელი ბრძანების ხანგრძლივობას. ეს შეიძლება დამაბნეველი იყოს და თავიდან იქნას აცილებული.

მაგალითი

მომხმარებელი-აგენტი: * უარი თქვით: / ნებადართულია: / wp

მცოცავი-შეფერხება

Crawl- დაგვიანებით აცნობებს რობოტს, რამდენად ხშირად შეუძლია საიტის მონახულება. თავდაპირველი იდეა იყო რობოტის შენარჩუნება ვებ სერვერზე დომინირებისგან. სხვა სიტყვებით რომ ვთქვათ, ეს იყო გზა, რათა თავიდან ავიცილოთ არაადეკვატური DoS შეტევა. მაგრამ რობოტების უმეტესობამ არ გამოიყენოს იგი და ის, ვინც ამას აკეთებს, გამოიყენებს მას სხვადასხვა გზით.

მაგალითი

მომხმარებელი-აგენტი: * Crawl- შეფერხება: 10

მასპინძელი

მასპინძელი ბრძანება აცნობებს რობოტს, თუ რომელ მასპინძელს უნდა მოეხვია. ეს შეიძლება უცნაურად გამოიყურებოდეს, მაგრამ ის განკუთვნილია სარკის საიტებისთვის. თუ თქვენ გქონდათ ვებ – გვერდი, რომელსაც ეწოდა freeware.com და სარკეები freeware1.com და freeware2.com, მაშინ გონივრული იქნებოდა, რომ რობოტებმა უნდა იტირონ მხოლოდ freeware.com, იმის გათვალისწინებით, რომ დანარჩენი ორი იქნებოდა ზუსტად იგივე.

მაგალითი

მომხმარებელი-აგენტი: * მასპინძელი: freeware.com

საიტის რუკა

ეს ბრძანება აცნობებს რობოტებს, სადაც შეგიძლიათ იპოვოთ საიტის XML საიტის რუკა. ზოგადად, საიტის რუქები უშუალოდ საძიებო სისტემებს ეგზავნებათ.

მაგალითი

მომხმარებელი-აგენტი: * საიტის რუკა: http://www.mysite.com/sitemap.xml

მეტა ტეგები

Robots.txt ფაილის გარდა, ასევე არსებობს რობოტები მეტა თეგები. მათი გამოყენებით შეგიძლიათ მიუთითოთ რა უნდა გააკეთონ რობოტებმა თითო გვერდზე. როგორც მეტ-ტეგების უმეტესობას, იგი იყენებს ორ ატრიბუტს: სახელი და შინაარსი.

სახელის ატრიბუტი ჩვეულებრივ შეიცავს სიტყვას “რობოტები”. ამასთან, იგი შეიძლება შეიცავდეს კონკრეტული რობოტის სახელს – ან თუნდაც მრავლობითს, რომლებიც ერთმანეთისაგან გამიჯნულია.

შინაარსის ატრიბუტი შეიცავს ერთ ან მეტ ბრძანებას, რომლებიც ერთმანეთისაგან გამიჯნულია. ყველაზე გავრცელებული არის “noindex” (გვერდი არ გამოწეროთ) და “nofollow” (ნუ მიჰყევით გვერდზე მოცემულ ბმულებს). არსებობს მრავალი სხვა პარამეტრი, მათ შორის: ინდექსი, დაიცავით, არცერთი, არაორქციული, ნოქაისი და nosnippet. დამატებითი ინფორმაციისთვის იხილეთ მოწინავე რესურსები.

მაგალითი

შემდგომი რესურსები

ქვემოთ მოცემულია სახელმძღვანელოების, გაკვეთილებისა და ინსტრუმენტების თანამედროვე კოლექცია robots.txt.

ძირითადი შესავალი

  • როგორ შექმნათ და კონფიგურაცია თქვენი Robots.txt ფაილი: შესანიშნავი და საფუძვლიანი შესავალია ამ თემაზე.
  • ვებ რობოტების გვერდები: ძირითადი შესავალი robots.txt ფაილი.
  • რა არის Robots.txt: MOZ გვერდი, რომელიც უფრო მეტად ფოკუსირებულია SEO– ს მხარეზე.
  • რა არის Robots.txt ფაილი: პატრიკ სექსტონის სტატია, რომელიც კარგ შესავალს უკეთებს ყველა საფუძვლებს..
  • რობოტების საკვანძო შესახებ: ძირითადი ინფორმაცია რობოტების მაკონტროლების შესახებ, მეტა თეგით.
  • გაეცანით Robots.txt- ს ინტერაქტიული მაგალითებით: დეტალური გაცნობა robots.txt ფაილებს.

მოწინავე ინფორმაცია

  • Deeper Look Robots.txt: კარგი განხილვა თემაზე, მათ შორის, შაბლონის შესატყვისი.
  • Robots.txt სპეციფიკაციები: Google– ის დაზუსტება, რომელიც განმარტავს, თუ როგორ იყენებენ ისინი ფაილს.
  • რობოტების გამორიცხვის პროტოკოლი: Bing– ის ინფორმაცია იმის შესახებ, თუ როგორ გამოიყენება robots.txt ფაილები.
  • Robots.txt არის თვითმკვლელობის შენიშვნა: განმარტება Archive.org– სგან, თუ რატომ აღარ იკითხება robots.txt ფაილები, რომელსაც იგი მიიჩნევს „სულელურ, სულელურ აზრად თანამედროვე ეპოქაში“.
  • როგორ გავაჩეროთ საძიებო სისტემები WordPress– ში კონკრეტული შეტყობინებების და გვერდების ინდექსების მხრივ: მიუხედავად იმისა, რომ ყურადღება გამახვილებულია WordPress– ზე, ამ სტატიაში მოცემულია რობოტების მეტა თეგების საფუძვლიანი შესავალი..
  • როგორ დავხუროთ და განადგურება SEO 5K + დირექტივით: საქმის შესწავლა, თუ როგორ გაანადგურა ერთმა ვებსაიტმა მისი ხილვადობა რთული robots.txt ფაილის გამო.
  • Robots.txt არ დაუშვას: 20 წლიანი შეცდომების თავიდან აცილება: კარგი რჩევა იმის შესახებ, რა არ უნდა გააკეთოთ თქვენს robots.txt ფაილზე.

Robots.txt ინსტრუმენტები

  • McAnerin’s Robot Control Code Generation Tool: სრულ მხატვრული რობოტი.txt გენერატორი სპეციალურ რობოტებთან, რათა შექმნათ წესები.
  • SEO Book Tools: robots.txt ფაილების შექმნისა და შემოწმების მარტივი საშუალებები.
  • რობოტების მონაცემთა ბაზა: 300-ზე მეტი რობოტის სია და თითოეული მათგანის დეტალები.
  • Robots.txt ტესტერი: Google არის თქვენი robots.txt ფაილის შემოწმების საშუალება. კრიტიკულია, რომ თქვენ იცით, რა თვლის Google- ს, რა შეუძლია და რა ვერ გააკეთოს თქვენს საიტზე.

Შემაჯამებელი

Robots.txt ფაილი და რობოტები მეტა თეგები შეიძლება იყოს სასარგებლო ინსტრუმენტები ვებსაიტების მფლობელებისთვის და ადმინისტრატორებისთვის. მაგრამ დიდი სიფრთხილით უნდა მოეკიდოთ მათ. არასწორად გამოყენების შემთხვევაში, მათ შეუძლიათ მნიშვნელოვნად დააზიანონ თქვენი ვებ – გვერდის ხილვადობა.

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Like this post? Please share to your friends:
    Adblock
    detector
    map