Otu faịlụ robots.txt echekwara na mgbọrọgwụ nke ebe nrụọrụ weebụ gị ga-agwa netwọk weebụ dị ka search engine spiders ihe ndekọ na faịlụ ha na-enye ohere ka ha iri. Ọ dị mfe iji faịlụ robots.txt, mana enwere ụfọdụ ihe ị ga-echeta:
- Ngwongwo weebụ ọkpọ ojii ojii ga-eleghara faịlụ robots.txt gị anya. Ụdị kachasịsịsị bụ bọtịnụ malware na ígwè ọrụ igwe ojii na-achọ adreesị email maka owuwe ihe ubi.
- Ụfọdụ ndị mmemme ọhụrụ ga-edekwa ígwè ọrụ nchịkwa nke na-eleghara faịlụ robots.txt anya. A na-emekarị nke a site na ndudue.
- Onye ọ bụla nwere ike ịhụ faịlụ robots.txt gị. A na-akpọ ha robots.txt mgbe nile ma na echekwa ha mgbe niile na mgbọrọgwụ nke ebe nrụọrụ weebụ.
- N'ikpeazụ, ọ bụrụ na mmadụ na-ejikọta faịlụ ma ọ bụ ndekọ nke na-enweghị site na faịlụ robots.txt gị site na ibe nke ngwa robots.txt ha na-adịghị ewepu, ndị ọrụ ọchụchọ ahụ nwere ike ịchọta ya.
Ejila faịlụ robots.txt jiri zoo ihe ọ bụla dị mkpa. Kama nke ahụ, ị ga-etinye ozi dị mkpa n'azụ okwuntughe ma ọ bụ hapụ ya na weebụ kpamkpam.
Otu esi eji ihe nlele ndia
Detuo ederede site na nlele nke kachaa nso na ihe ịchọrọ ime, ma tinye ya n'ime faịlụ robots.txt gị. Gbanwee robot, ndekọ, na aha faịlụ iji kwado nhazi gị.
Abụọ faịlụ Robots.txt abụọ
Onye ọrụ-onye ọrụ: *
Disallow: /
Nke a na-ekwu na ọ bụla robot (Onye ọrụ-onye ọrụ: *) nke na-enweta ya kwesịrị ileghara ibe ọ bụla na saịtị (Disallow: /).
Onye ọrụ-onye ọrụ: *
Disallow:
Nke a na-ekwu na ọ bụla robot (Onye ọrụ-onye ọrụ: *) na-enweta ya na-ekwe ka ọ bụla na peeji nke na saịtị (Disallow:).
I nwekwara ike ime nke a site n'ịhapụ faịlụ robots.txt gị ma ọ bụ enweghị otu na saịtị gị.
Chebe ntuziaka ndị doro anya site na robots
Onye ọrụ-onye ọrụ: *
Disallow: / cgi-bin /
Disallow: / temp /
Nke a na-ekwu na ihe ọ bụla robot (Onye ọrụ-nnyefe: *) nke na-enweta ya kwesịrị ileghara ndekọ / cgi-bin / na / temp / (Disallow: / cgi-bin / Disallow: / temp /).
Chebe Peeji Akwukwo Ajuju Site na Ngwongwo
Onye ọrụ-onye ọrụ: *
Disallow: /jenns-stuff.htm
Disallow: /private.php
Nke a na-ekwu na ihe ọ bụla robot (Onye ọrụ-onye ọrụ: *) nke na-enweta ya kwesịrị ileghara faịlụ /jenns-stuff.htm na /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
Na-egbochi Robot a kapịrị ọnụ site na ịnweta gị n'Ịntanet
Onye na-eme ọrụ: Lycos / xx
Disallow: /
Nke a na-ekwu na a naghị ekwe Lycos bot (Onye ọrụ-onye ọrụ: Lycos / xx) ịnweta n'ebe ọ bụla (Disallow: /).
Kwee Nanị Otu Nchịkọta Robot Nhọrọ
Onye ọrụ-onye ọrụ: *
Disallow: /
Onye ọrụ-Google: Googlebot
Disallow:
Akpa faịlụ a na-eme ka ihe niile robots dị ka anyị mere n'elu, ma nyezie Googlebot (Onye ọrụ-ọrụ: Googlebot) ịnweta ihe niile (Disallow:).
Jikọọ Ọtụtụ Nhọrọ Iji Nweta Ntughari Ị Chọrọ
Ọ bụ na ọ ka mma iji njirimara Onye njikwa-onye ọrụ, dịka Onye ọrụ-ọrụ: *, ị nwere ike bụrụ dịka ịchọrọ. Cheta na ndị robots gụrụ faịlụ ahụ. Ya mere, ọ bụrụ na amaokwu ndị mbụ na-ekwu na a na-egbochi ndị robots niile site na ihe niile, mgbe e mesịrị, na faịlụ ahụ, ọ na-ekwu na a na-enye ohere iji nweta ihe niile, ndị robots ga-enweta ihe niile.
Ọ bụrụ na ị maghị ma ịdeela faịlụ robots.txt n'ụzọ ziri ezi, ị nwere ike iji Google Webmaster Tools iji lelee faịlụ robots.txt gị ma ọ bụ dee ihe ọhụrụ.