如何抓取我的網(wǎng)站？
雅虎應(yīng)用Yahoo搜索引擎技術(shù)(Search Engine Technology，簡(jiǎn)稱YST),它是一套基于算法的Web索引抓取程序，能夠自動(dòng)探測(cè)網(wǎng)絡(luò)內(nèi)容。YST 這套機(jī)器搜索程序從因特網(wǎng)上采集文檔，建立起一個(gè)可搜索的索引系統(tǒng)。這些文件（即您的網(wǎng)站文件）能被YST程序發(fā)現(xiàn)和抓取的主要原因是，在因特網(wǎng)其他的網(wǎng)頁(yè)上包含有這些文檔的直接鏈接。
YST 搜索程序嚴(yán)格遵守robots.txt標(biāo)準(zhǔn)執(zhí)行抓取，因此，對(duì)于那些您不希望被雅虎搜索引擎返回的結(jié)果，搜索程序不會(huì)執(zhí)行抓取。任何被robots.txt標(biāo)準(zhǔn)認(rèn)為不適宜抓取的文件，既不會(huì)被包括在抓取文檔中，也不會(huì)進(jìn)入到搜索引擎的數(shù)據(jù)庫(kù)。
我的網(wǎng)站不想出現(xiàn)在雅虎的搜索結(jié)果中，如何刪除？
如果您需要?jiǎng)h除Yahoo網(wǎng)頁(yè)結(jié)果中的您自己整個(gè)網(wǎng)站或部份網(wǎng)頁(yè)的記錄，可以在您服務(wù)器的根目錄中放置一個(gè) robots.txt 文件，其內(nèi)容如下：
User-Agent: *
Disallow: /
這是大部份網(wǎng)絡(luò)搜索程序都會(huì)遵守的標(biāo)準(zhǔn)協(xié)議，加入這些協(xié)議后，它們將不會(huì)再抓取您的網(wǎng)絡(luò)服務(wù)器或目錄。
只要您網(wǎng)絡(luò)服務(wù)器的根目錄中有這個(gè) robots.txt 文件，YST 搜索程序就不會(huì)進(jìn)入您的網(wǎng)站，您的網(wǎng)站也不會(huì)出現(xiàn)在雅虎的搜索結(jié)果中。
如果您的情況非常緊急，不能等到我們的 YST 搜索程序下次抓取您的網(wǎng)站時(shí)再進(jìn)行刪除，您可以反饋給我們，會(huì)有專人負(fù)責(zé)處理。
