Проблемы с индексацией страниц на двух молодых сайтах: wtf?

Вот уже месяца как полтора назад заметила одну печальную тенденцию. Два сайта, один "клиентский", второй - вот  этот блог, крайне плохо индексируются Яндексом. Выглядит это так: старые статьи не индексируются вообще, новые индексируются, но как-то странно. Кол-во страниц в выдаче то прирастает, то уменьшается…При этом непроиндексировано более половины контента на сайте. Возраст первого сайта 6 месяцев, возраст этого блога 4 месяца. Регулярно приходит и обычный робот, и быстробот, есть даже траф по НЧ  кое-каким. Да, в гугле все нормально индексится.

Платоны сказали, что с сайтами все ок, развивайте и будет вам счастье)) Пока есть предположение, что виноват «условно неуникальный контент». И на тот и на другой сайт я при открытии заливала статьи, которые до этого были на других сайтах (моих). При этом интервал между закрытием старого сайта, уходом из индекса статей с него и размещение на новом разный: у нелюбимого сайта – более года, у этого блога – где-то месяц. Для блога удаляла страницы старого сайта принудительно из гугла и яндекса через вебмастер, и только потом выкладывала на новый сайт. Разумеется, предварительно проверяла на уникальность разными способами. Для второго  сайта, то, что успели-таки растащить, жестко рерайтила так, чтобы уникальность была 100%. Тем не менее индекситься эти «старые» статьи на новых сайтах не желали изначально. Карта сайта на обоих сайтах присутствует. Роботс (составлен собственноручно) вполне адекватный.

Хочу попробовать решить эту проблему с некритичными сайтами, просто чтобы получить полезный опыт для работы с другими проектами. Начну с этого блога, так как с ним безопаснее экспериментировать))

===============================

UPD.13/02/2012

По итогам последнего апа все страницы влезли в индекс,  причем у обоих сайтов, о которых писала выше. Мммм... эт Яндекс так долго молодые сайты "жует", что ли..."Мамо, что это было?" (с)

===============================

UPD. 25/02/2012

После очередного апа опять вынесло из индекса страницы на обоих сайтах: на этом блоге 17 шт., на втором сайте - 3 шт. На других сайтах, как старых, так и новых, никаких проблем... Я все же начинаю склоняться к мысли, что  надо старый контент рерайтить...хотя сначала не помешало бы Платону написать.

=============================================
UPD.29/02/2012
После сегодняшнего апа плюсануло 6 страниц...продолжаем хронику маразма

=======================================================

UPD. 03/04/2012

В индексе вновь 34 страницы (плюсануло).

=======================================

UPD. 12/04/2012

В индексе 40 стр. (ровно столько и есть, не считая одного последнего поста, который, видимо, не попал в этот ап. Переиндексились Title и URL постов, которые переименовывала в рамках эксперимента...взяла на заметку эту темку...

=======================================

UPD. 01.06.2012 

Где-то с апреля уже блог стал нормально индекситься без вылетов (т-т-т). Имхо сыграло свою роль прошедшее время (возраст) и то, что посты, не желавшие лезть в индекс, я переделывала, а именно - меняла URL, Title и заголовки + местами небольшие изменения в текстах.

Поскольку других оснований для пессимизации не обнаружила, для себя сделала вывод - перенос контента на другой домен без связки редиректом, даже если донор текстов удален или отсутствует в индексе, не очень нравится Яндексу. По возможности -избегать.

Поделиться записью в соц.сетях:


Интересно, что будет дальше?
Подпишись на обновления через RSS или e-mail-рассылку

Комментарии (23) на “Проблемы с индексацией страниц на двух молодых сайтах: wtf?”

  • Ну не могу сказать что добился стабильной индексации, но в индексе находиться больше страниц, чем размещено статей.И только первые пол года сайт то худел то толстел в яше.
    Ссылки на сайт: ручной спам (по mail.ru и аналогам, надеялся тица получить, хрен там), и через рсс автодобавление в твиттер.У меня после прочтения статей появилось мнение, что яндекс не учитывает ссылки при позициях, но в индексации помогает.
    А по-поводу этого блога, если изначально все статьи писала сама, то удалять и переписывать смысла не вижу — лишняя работа.Попробуй сразу написать платону — он точно скажет что у тебя не так с сайтом.

  • +1, напиши платону и прям конкретно спроси, в чем проблема. Если напишет, что с вашим сайтом все в порядке, не переживайте, он нормально индексируется и ранжируется, значит реально все в порядке.

  • Одна вещь мне показалась странной на моем авто сайте: добавлял статьи месячной давности, то есть сегодня например закидывал на 13 января; индексация была плохая, закинул пару статей за эту неделю (в тот день который был =)) и количество страниц увеличилось в пару раз.Может быть поможет и тебе.

  • И это, категории открывать я думаю нужно. У меня не закрыты.Как по-другому боты должны до твоих внутренних страниц доходить? на все страницы есть ссылки с главной? вот проблема походу )

  • Ребят, спасибо за советы…как вижу (смотреть с утра надо было бллин), по итогам последнего апа все — ВНЕЗАПНО — проиндексилось безо всяких телодвижений с моей стороны (на втором сайте тоже).
    Посмотрим, будет ли колбасить дальше, надеюсь что нет :)

    P.S. Deady, дело было точно не в категориях: 1) все страницы на обоих сайтах доступны с проиндексированной карты сайта, на которую стоит сквозная ссылка 2) на самом моем прибыльном сайте закрыты категории, теги, архивы, короче все стандартные дубли WP и никаких проблем с индексацией нет. Там, правда тоже карта сайта имеется.

  • Deady – Категории закрывать нужно, иначе будут создаваться дубли контента, а это плохо будет влиять на ранжирование сайта в ПС.
    Яндекс ходит и по ссылкам закрытым от индексации -).
    Роботс составлен правильно, мусора в индексе нет, все хорошо.

    Эти строчки в роботсе просто необходимы.
    Disallow:/category
    Disallow:/*page
    Disallow:/*feed
    Disallow:/*tag – если используете теги.

    Хочу порекомендовать плагин «Page_Htm», он позволит создавать в конце каждой страницы и записи окончание вида: «.html».

    Еще All in One SEO Pack – позволит убрать название сайта из тайтла записи и страницы:
    Новые (немузыкальные) инструменты | Рони из Леса – сейчас выглядит так.
    Новые (немузыкальные) инструменты – будет так.

    • Вот, что самое смешное — на всех сайтах стоит сеопак, а здесь руки не дошли в порядок тайтлы привести. Благодарю за пинок, исправила :)

      Насчет плагина Page_Htm — за совет спасибо, но я честно говоря не до конца понимаю — в чем плюс того, что в конце стоит html в урле? Практическая польза есть какая-нибудь от таких адресов, или чисто для красоты их делают? Просто визуально мне адреса вида site.ru/statia-pro-sait/ кажутся более аккуратными, чем site.ru/statia-pro-sait.html

      Да, про категории..я всегда была диким противником того, чтобы оставлять их открытыми, но последнее время немного изменила свое мнение…Без нужды открывать их ни к чему, на старых сайтах, к примеру, где все уже отранжировалось…А вот на паре новых сайтов для эксперимента сейчас открыла — прописала уникальные анонсы и хочу попробовать собирать на них траф по СЧ общего характера. Но это такой осмысленный шаг с моей стороны, а по умолчанию, если с уникализацией морочиться неохота, и все запросы двигаются на отдельные страницы — считаю, что категории надо закрывать обязательно, как и прочий мусор. Собственно, приведенный пример директив — база того, что в роботс для вордпресс должно быть обязательно…

      • Нужно стараться все прописывать без плагинов. Для .html достаточно в постоянных ссылках добавить /%postname%.html

        Выглядит красивее.

        Категории никогда не закрывал и не собираюсь. Лучше сделать из категории полезную страничку, например «Болезни сердца», добавляем в описание 2000 символов текста об этой рубрике и получается дополнительная страничка о болезни сердца с внутренними ссылками.

        Да если даже и просто так оставить, то это ни на что не влияет, если конечно вы тегом more не пользуетесь (что врят ли).

        • Сейчас все просто работает. Например в all one seo pack можно поставить галочку canonical, и тогда хоть 1000 дублей сделайте, но они просто учитываться в ранжировании не будут, так как яндекс смотрит на

    • Спасибо за совет.
      По-поводу «название сайта в тайтле страницы»: чем плохо?

      • Рони:

        В моем понимании — плохо тем, что снижается уникальность тайтла, к тому же чем больше слов, тем меньше вес каждого…Это, конечно, не самый критичный момент для личного блога, который не продвигается, тут имеет смысл убирать название скорей для большей аккуратности вида тайтл на сайте и в выдаче.
        Вообще насчет уникализации тайтлов однозначного решения не может быть — к примеру, для узкотематичных минисайтов некоторые наоборот ставят в каждый тайтл главный ключевик с разбавлением.

  • Sym:

    В последнее время очень редко вижу новые сайты, которые замечательно индексирует Яндекс. Мне кажется, он и вправду не любит новичков :)
    А вот Гугл наоборот. Если сайт узкотематичный, то можно буквально «выстрелить»!

    • У меня наоборот с гуглом проблемы :) На всех сайтах максимум до 20% трафика. Не умею я с ним работать ))

  • Дима, насчет плагинов я согласна..но вот по-прежнему не въезжаю, зачем нужны эти html в окончаниях…как по мне, без них красивее)) Дело вкуса, видимо) Про категории тоже соглашусь — как раз сейчас буду так же делать на новых сайтах, оставлять открытыми и продвигать под общие СЧ.

    Что касается canonical — да, слышала про такую возможность…но честно говоря, тут я ортодокс…предпочитаю роботс прописать, мне так привычнее) Хотя, кстати, для Гугла, который роботс сплошь и рядом игнорирует, такое решение, возможно, ‘эффективнее

    А качество индексации новичков, видимо, от разных параметров зависит, у меня есть и другие новые сайты и там таких траблов пока не наблюдается (т-т-т), посмотрим, что дальше будет.

    • Да тут дело вкуса конечно, насчет html. Кто как учился. Когда только познавал wordpress, где-то прочитал про это и использовать как must have при первой настройке.

  • Жесткач — опять страницы вылетели из индекса после последнего апа, причем опять — на обоих сайтах…Ппц, однако.

    • Так ты точно уверена, что вылетели именно страницы, которые должны приносить трафик? Может это типо suplemental. Или конкретно написанные статьи вылетели?

      • Извиняюсь. теперь вижу. У тебя не только проблемы с яндексом, но и с гуглом — отсюда все и проблемы. Что-то не то.

        site:roniislesa.net -site:roniislesa.net/* — статьи. которые под фильтром (97%). В иделае список должен стремиться к 0.

        Почти все в «соплях», поэтому так же и яндекс реагирует.

        Добавь desription и keawords. Что у тебя в выдаче за фигня

        Рони из Леса
        Copyright © 2011-2012 roniislesa.net All Rights Reserved.

        (это так главная страница индексируется).

        Все заголовки на сайте должны быть в h1 (поставь, увидишь сразу как сопли пропадут). h2 на главной.

        • Идеальный роботс

          User-agent: Yandex
          Disallow: /cgi-bin
          Disallow: /wp-admin
          Disallow: /wp-login.php
          Disallow: /wp-register.php
          Disallow: /xmlrpc.php
          Disallow: /wp-content/plugins
          Disallow: /wp-content/cache
          Disallow: /wp-content/themes
          Disallow: /wp-trackback
          Disallow: /wp-feed
          Disallow: /wp-comments
          Disallow: /author
          Disallow: */trackback/
          Disallow: */feed/
          Disallow: */comments/
          Disallow: /?feed=
          Disallow: /?s=
          Disallow: */comment-page-*
          Disallow: /2010/
          Disallow: /2011/
          Disallow: /2012/
          Disallow: /tag/
          Host: твойсайт.ru

          User-agent: *
          Disallow: /cgi-bin
          Disallow: /wp-admin
          Disallow: /wp-login.php
          Disallow: /wp-register.php
          Disallow: /xmlrpc.php
          Disallow: /wp-content/plugins
          Disallow: /wp-content/cache
          Disallow: /wp-content/themes
          Disallow: /wp-trackback
          Disallow: /wp-feed
          Disallow: /wp-comments
          Disallow: /author
          Disallow: */trackback/
          Disallow: */comments/
          Disallow: /?s=
          Disallow: /2010/
          Disallow: /2011/
          Disallow: /2012/
          Disallow: */comment-page-*
          Disallow: /tag/

          Sitemap: http://твойсайт/sitemap.xml

          • Это я к тому, что теги у тебя закрыты уже неправильно и еще некоторые директивы. Все в индексе, можешь проверить. пример

            roniislesa.net/tag/knigi-2/
            roniislesa.net/tag/muzykalnye-instrumenty/
            roniislesa.net/tag/yandeks-direkt/
            roniislesa.net/tag/sajty-2/

  • Дим, спасибо за советы. Касательно заголовков h1-h2 и дескрипшн — да, стоит прописать наверное, + тайтлы уникализировать…
    Еще у меня возникло несколько вопросов:

    1) Что такое «сопли» в контексте сабжа? Это дубли имеются в виду?

    2) Вот этот «идеальный роботс» — я его постоянно у кого-то вижу, почти у всего форума Вебледи такой, все его друг другу пересылают как переходящий приз))) Только я, в отличие от некоторых, не могу просто ставить себе на сайт то, что не понимаю, или с чем не согласна. Поясню: вот ты сам можешь объяснить каждую строчку этого роботса, зачем она? Я свой могу, а касательно вот этого «идеального» — как по мне, так там косяки и бессмыслица местами есть. По крайней мере, касательно той части, что для Яндекса. Пример: нафига две директивы писать типа /?=s и /*?*, когда по маске можно закрывать /*? — все, любые страницы со знаком вопроса (то есть все, динамически генрерируемые, в том числе и страницы поиска) у нас не индексятся. Еще — почему не закрыты дубли главной в этом роботсе (вида page/1/)? Зачем закрывать архивы, если изначально стоит ЧПУ вида имя сайта/название-поста, а сам виджет архивов никогда не выводился? И это далеко не все косяки, которые я вижу в этом роботсе.

    Свой роботс я составляла вполне осознанно, тестила на яндексовском анализаторе и у меня вроде как все корректно составлено (по крайней мере, что хотела закрыть, то закрыто, в Яндексе). Насчет Гугла спорить не буду, возможно, для него стоит действительно добавить отдельного юзер-агента и прописать директивы под него.

    3) У меня такой роботс как здесь, стоит на всех сайтах, все прекрасно индексится, дублей нет, ничего не колбасит из апа в ап, нормально идет траф и с гугла и с яши. Почему запары именно с этими двумя сайтами? Почему вылетают стабильно именно старые страницы (которые были как уже говорила, на других сайтах)? Че-т сомневаюсь я, что в роботс дело, тогда бы с другими сайтами такие же проблемы были бы.

    4) Не поняла, где ты смотрел сниппеты. У меня и в гугле (см. по запросу allinurl:roniislesa.net// site:roniislesa.net)и в Яндексе (см. по запросу url:roniislesa.net* | url:www.roniislesa.net*) главная отображается нормально. Страниц тегов в индексе я тоже не вижу. Ты сервисом каким-то смотрел? Правда, вчера ап был, может у тебя данные до него. Хотя опять же, ап Яши и отображение сниппетов в Гугле никак не связаны.

    • 1. Это не дубли. Suplemental — это то, что гугл посчитал бесполезным для пользователя (туда все улетает и полезное и бесполезное). Похож на фильтр яндекса «ты последний». Статейки опускаются далеко от остальной выдачи и не могут конкурировать и давать трафик.

      2. А что там непонятного? Навредить он не сможет, если что-то лишнее прописать. Компетентность? да пофиг ) Я кстати, как эти веб леди тоже его всем пересылаю xDD, но вполне могу объяснить каждую строчку.

      3. Вбил адрес этого блога в поиск яндекса, увидел то что увидел :)

      Теги только в гугле нашел. Они и сейчас там есть + фиды и другой мусор. site:roniislesa.net -site:roniislesa.net/* Я не знаю откуда они там берутся. Вручную выскребал, но на некоторых сайтах все равно из за них 100% не могу добиться. Только на 1м у меня гугл все кушает нормально — 100%.

      Если есть объяснение, сам бы выслушал.

Оставить комментарий

Добавить изображение
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_bye.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_good.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_negative.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_a.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_scratch.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_wacko.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_yahoo.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_cool.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_heart.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_bbox.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_rose.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_smile.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_whistle3.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_yes.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_cry.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_mail.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_sad.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_unsure.gif 
http://roniislesa.net/wp-content/plugins/wp-monalisa/icons/wpml_wink.gif 
 
Подписка на обновления
Feedburner

Получать обновления по почте:

Гости
Обратная связь
roniislesa @ gmail.com