Предыдущая страница реферата | 7  8  9  10  11  12  13  14  15  16  17 | Следующая страница реферата



 Тег "robots". Варто згадати ще про один важливий тег - "robots". Якщо власник за якимись причинами не бажає, щоб сторінка була проіндексована, поміщають туди даний тег: . На жаль, не кожен спайдер розуміє даний тег, і більш надійним методом є розміщення файлу robots.txt у кореневу директорію сервера зі списком сторінок, індексації яких не бажають.

 Усе перераховане вище вірно для спайдерів, якщо на сторінку наткнуться випадково, у тому випадку, якщо на web-сайт будуть вести посилання з інших сторінок. Але найчастіше це відбувається не швидко, тому проіндексувати web-сайт можна у більшій кількості пошукових систем самостійно. Індексування можна проводити за допомогою спеціальних безкоштовних серверів-реєстраторів: Submit It!, Add Me!, WWW Broadcaster, Sputnik ADDER, @Submit! - закордонні, Система TAU – російська, але все-таки краще реєструватися повторно в ручну на найбільш важливих серверах.

 Скільки сторінок треба реєструвати? У принципі, якщо з головної сторінки по посиланнях можна потрапити на кожну зі сторінок web-сайта, можна зареєструвати тільки головну сторінку. Робот пошукової системи рано чи пізно обійде весь сайт, але варто мати на увазі наступне:

 - при реєстрації пошукові системи звичайно оперативно поміщають в індекси зазначену сторінку і ставлять весь інший сайт у чергу на індексацію. І різниця за часом між індексацією зазначеної сторінки і всього іншого сайта може скласти кілька тижнів;

 - деякі пошукові системи не індексують автоматично внутрішні сторінки сервера глибше четвертого рівня (тобто коли для влучення на сторінку треба зробити чотири переходи);

 - організація навігації за допомогою frames, imagemaps, java-скриптів може перешкодити роботу пройти всередину web-сайта для індексації внутрішніх сторінок.

 Приймаючи в увагу перераховане вище, бажано реєструвати не тільки початкову сторінку сайта, але і ряд внутрішніх ключових сторінок. Звичайно, у всім треба знать міру: не варто реєструвати окремо кожну сторінку, якщо їх кілька десятків.

 Через якийсь час після реєстрації можна перевірити, проіндексовані чи сторінки сайта в системі, у якому виді видається результат і т.д. і якщо потрібно змінити чи підкоректувати реєстрацію.

 Багато пошукових систем дозволяють перевіряти наявність сторінок в індексах. Наприклад, у AltaVista при наступних запитах одержуємо:

 url:insurance.com - усі проіндексовані сторінки в цьому домені;

 url:insurance.com/firms/ - усі проіндексовані сторінки в цій директорії;

 url:insurance.com/firms/alco.htm - цю сторінку, якщо вона знаходиться в індексах.

 Бажано раз на місяць навідуватися в стратегічно важливі пошукові системи і знову перевіряти, чи є розкручувані сторінки в індексах. Іноді трапляються дивні речі, і сторінки можуть зникнути з індексів.

 З ряду причин сторінки можуть узагалі не потрапити в індекси:

 - наприклад, AltaVista дозволяє індексувати не більш ніж 600 сторінок на один домен. Як наслідок, сторінки, розташовані в такому, наприклад, великому домені як geocities.com, мають великий шанс бути взагалі не проіндексованими;

- спеціалізовані пошукові системи, наприклад, Апорт, індексують сторінки тільки деяких доменів (.ru, .su, .ua)

- зміст сторінки може бути розцінено системою як спам пошукової машини, і відповідно вона не буде поміщена в індекс.

Міжнародні пошукові системи.

 1. Alta Vista - http://www.altavista.com

 AltaVista була відкрита в грудні 1995, уже більш року належить компанії Compaq Computer Corporation (до цього була у віданні DEC). У червні 1996 стала партнером Yahoo!, c цього часу AltaVista є обраною пошуковою системою цього знаменитого каталогу. Alta Vista по праву вважається найбільшою й авторитетною пошуковою системою.

 2. Excite - http://www.excite.com

 Запущена в 1995 система швидко розвивалася, і в 1996 році Excite купив двох своїх конкурентів: Magellan і WebCrawler. Незважаючи на зміну власника, ці два пошукових сервери продовжують працювати як незалежні системи.

 Excite передбачає пошук по трьох типах індексів:

 - Excite Search - індекси збираються пошуковим роботом-павуком;

 - Channels By Excite - індекси переглянуті співробітниками, деякі мають рецензії.

 - Excite NewsTracker - пошук ведеться винятково по новинних серверах.

Рекомендуем скачать другие рефераты по теме: реферат по математиці, бесплатно решебник, скачать шпоры.

Предыдущая страница реферата | 7  8  9  10  11  12  13  14  15  16  17 | Следующая страница реферата

Поделитесь этой записью или добавьте в закладки