Теория:

Когда робот заходит на ваши страницы он может долгое время считывать информацию, но это не совсем значит что, тут же даже уникальный на 100% контент тут же попадет в индекс. Должно пройти несколько этапов что б сайт появился в поисковике.

Робот заходя на сайт саписует в свой лог базу данных ссылки которые он может проиндексировать. В том случае если сайт не состоит в индексации Яндекса или Google, то соответственно ему и нечего индексировать если он не знает о существовании такогото сайта.
Существую большое разнообразие роботов разных поисковых систем с разным назначением. Есть роботы для блогов, RSS, также есть робот для индексации картинок или файлов, но самый важный это тот который индексирует информацию текст, для формирования своей базы данных для поиска.

Быстрая индексация сайта:
1. Исключить из индексации всю не нужное, такое как RSS, статистику посещений, сайты-зеркала – все это прописуется в файле robots.txt
2. Создайте файл Sitemap или установите плагин к примеру XML-Sitemap
3. Так же нужно создать карту сайта

Это основные правила для индексации так же существует такие понятия как ранжирование, поиск информации через поисковик, но об это чуть позже.