Кричащая лягушка против визуального SEO, интервью с Федерико Сассо

1. Всегда на контроле и потреблении памяти:
2. О необходимости сканировать так много URL
3. Как я уже сказал, есть и другие интересные аспекты:
4. На скорости сканирования:
5. Другие отличия: подмена и REP
6. О версиях для других операционных систем

«Кричащая лягушка» всегда была моим любимым инструментом для проведения SEO-аудита и быстрого обзора веб-сайта (я также написал гид по итальянски ). Тем не менее, этот инструмент SEO не идеален, на самом деле он имеет различные ограничения в зависимости от машины, на которой он работает, к счастью, это не единственная альтернатива в качестве клиентского веб-сканера SEO, одного из самых известных конкурентов, который я ценю больше каждый день , называется Visual SEO Исследование разработано Федерико Сассо ,

В некоторых отношениях Visual SEO (хотя он все еще находится в бета-версии на момент написания статьи) более эффективен, чем Screaming Frog . В этой статье вы найдете полное интервью с этим хорошим итальянским разработчиком, где мы проанализировали сильные и слабые стороны обоих инструментов и существенные конструктивные различия. В конце интервью есть углубленная коробка написанный непосредственно Федерико, который далее разъясняет некоторые аспекты и различия.

G: Сегодня я хотел задать несколько вопросов Федерико Сассо (Federico Sasso), разработчику Visual SEO, чтобы понять основные различия между двумя самыми популярными клиентами на рынке веб-сканеров, или Визуальное SEO и Кричащая лягушка , Прежде всего, привет Федерико, спасибо за вашу доступность, вы хотите представиться?

F: Привет Джованни, спасибо за очень желанное приглашение. Я разработчик, родился как разработчик. Я сначала обратился к SEO, также взяв на себя роль в компании, в которой я работал, затем я увлекся, и в основном я известен тем, что разработал этот сканер, SEO-паук, который работает на десктопе, и я также предприниматель, у меня есть поставить на компанию.

G: отлично, и мы, итальянцы, очень гордимся тем, что вы бесплатно раздали этот инструмент, которым пользуются многие из нас. Когда вы начали разрабатывать Visual SEO? Сколько лет это программное обеспечение было активным?

F: для меня слишком много, в смысле, первых строк кода, я думаю, что написал их в 2010 году, но, если честно, это не было похоже на текущий продукт, это была скорее идея гусеничного механизма для поисковой системы, тогда я медленно Я понял, что то, что я мог сделать, чтобы дать продукт, который мог бы использовать так много людей, - это сканер для настольных компьютеров, поэтому впоследствии он приобрел небольшую форму. Помимо прочего, дело не в том, что я работаю над этим непрерывно с 2010 года, а не наоборот, скажем, я много работаю с 2011 года. Конечно, с 2010 года (Ред .: имел в виду 2012) почти каждый день, все свободные часы, выходные и праздничные дни.

G: так много работы за этим стоит! Это интервью основано на том факте, что вы хотите понять основные и существенные различия между сканером, который мы можем определить, самым известным из используемых в настоящее время, который является «Кричащей лягушкой», и вашим, который, как мы надеемся, удастся украсть у него хороший кусок рынка. Я не разработчик, так что, вероятно, скажу, что это чушь, но, насколько я знаю, Screaming Frog разрабатывается с Java, а Visual SEO, как он разрабатывается, с каким программным обеспечением, с каким языком?

F: Screaming Frog сделан на Java, а Java - это язык, созданный Sun Microsystems Это современный высокоуровневый язык, который работает не напрямую с использованием инструкций процессора хоста, а с использованием так называемой виртуальной машины, виртуальной машины Java . Это принесло значительные преимущества в современной архитектуре. Visual SEO вместо этого разрабатывается в .NET C #, которая является средой, очень похожей на Java, явно вдохновленной java, поэтому существует также среда выполнения, которая называется .NET, которая представляет собой виртуальную машину, как если бы они были виртуальными процессорами. Языки Java и C # чрезвычайно похожи, что неудивительно, потому что у Microsoft изначально была собственная версия Java, затем существовала законная ссора, для которой она не могла продать как язык Java, на котором было сделано слишком много преобразований, слишком много изменений по сравнению с оригиналом для Microsoft сказала «хорошо, я делаю свое» и сделала действительно хорошую работу, хотя есть недоброжелатели Microsoft, которые очень часто правы, в этом случае он проделал большую работу. Microsoft было легко создать лучший продукт, потому что у них уже был опыт Java.

G: Я часто использую вашу Screaming Frog, и, как будут знать те, кто нас слушает, поскольку программное обеспечение является клиентской стороной, потенциал, поэтому способность сканировать наибольшее количество URL-адресов зависит, главным образом, на самом деле полностью от оперативной памяти, установленной на ПК компьютера. кто запускает это программное обеспечение Поэтому я спрашиваю вас о разнице между этими двумя языками. Существуют ли функции, которые позволяют языку, а не другому, лучше использовать оперативную память и машинные процессоры, или они эквивалентны по производительности?

F: на уровне платформы и языка нет существенных различий. Что меняет потребление памяти, так это архитектура больше всего на свете. Одним из них является архитектура компьютера, на котором он установлен, я имею в виду, 32-разрядный или 64-разрядный, потому что если у нас есть компьютер, я говорю за Windows, но я считаю, что для Mac это то же самое, 32-разрядный, Windows не может выделить для процесса, на котором запускает программу более 2 гигабайт оперативной памяти. Неважно, у меня может быть установлено 20, 24, 48 гигабайт, но если я 32-битный, Windows даст мне только 2 гигабайта. Если тогда эти 2 гигабайта составляют общую память, и другие программы, которые конкурируют друг с другом за эти ресурсы ОЗУ, работают, то ясно, что я смогу сканировать намного меньше, потому что во время сканирования исследование сайта всегда будет занимать больше памяти для продукта.

G: конечно, на самом деле я создал сервер с 64-битной Windows 10 и 32 гигабайтами оперативной памяти специально для запуска этого типа искателя.

F: на самом деле разница была не только в 32 или 64 битах, но и во многом зависит от внутренней архитектуры продукта. Я ничего не знаю о том, как Screaming Frog делается внутри, я не вижу этого, я знаю, что, например, Screaming Frog, мне кажется, что он хранит в памяти время сканирования и график всех внутренние ссылки , Это для них стоимость с точки зрения памяти, которая является инкрементной, не линейной, экспоненциально возрастает с увеличением сканирования, зависит от того, как создается сайт и как создается внутренний граф ссылок. Визуальный SEO, например, имеет линейную тенденцию на сегодняшний день, но это другие архитектурные решения. Например, до 7, 8 месяцев назад в Visual SEO было преувеличено потребление памяти, потому что при сканировании он сохранял в оперативной памяти весь HTML-код целых страниц, а не только метаданные. Он хранил их в сжатой памяти и т. Д. Было тысяча хитростей, но у нас было много пользователей, которые иногда зависали, потому что у них не хватало памяти. У нас есть краш-сервер, мы получаем детали, мы ничего не знаем о наших пользователях, это идентификационный код, и все, детали говорят нам, что у этого пользователя был этот сбой из-за нехватки памяти. Если он отправлял мне электронное письмо, на которое я мог ответить, мне повезло сказать: «Посмотри, это случилось ...», иначе я ничего об этом не знал. Затем мы полностью переработали архитектуру и, учитывая, что Visual SEO Studio имеет свойство непрерывного сохранения результатов сканирования на жестком диске, нам не нужно было хранить все в памяти, мы сделали это, чтобы быстрее составлять отчеты, тогда мы на месте немного изучили, и мы нашли умный способ не быть наказанным в спектаклях, и у нас не было абсолютно крушения в течение 8 месяцев, кроме как пару недель назад турецкий пользователь, который затем связался с ним, у меня было электронное письмо, и он сказал мне у него была 32-битная машина, 2 гигабайта оперативной памяти, 10 программ, работающих одновременно, все открыто ... и в любом случае исследовал что-то вроде 145 000 URL.

G: это не мало!

F: имейте в виду, что теперь я знаю, что люди с Screaming Frog сканировали более миллиона URL-адресов, используя виртуальные машины в облаке. Теперь, когда у нас новая архитектура, мы сразу же провели эксперименты в облаке, и с первой попытки мы просмотрели 400 000 URL-адресов, а затем изучили целый сайт и не нашли более крупных, проблем не было. Но у нас были и другие узкие места, потому что в этот момент представлять 10000 или 100000 URL-адресов в пользовательском интерфейсе - это одно, а 400000 - другое. Были некоторые части, некоторые представления о нашем продукте, которые были слабее, например, я не знаю, знаете ли вы представление индекса, представление каталога, некоторые сайты имеют очень вложенные каталоги, очень вложенные, поэтому их были сотни и сотни тысяч узлов в некоторых случаях. Потребовалось 30-40 секунд, чтобы загрузить вид, подобный этому, и мы сказали: «Давайте прямо сейчас наденем это». Теперь мы принудительно блокируем 150 000 URL-адресов и искусственно блокируем их, но на самом деле движок мог бы сделать гораздо больше, если бы не было интерфейса. Мы разблокируем его в ближайшие месяцы.

G: сколько оперативной памяти вы достигаете этого числа?

F: 150000? но даже с 2 гигабайтами на самом деле мало.

G: так что это очень эффективно, потому что с Screaming Frog, если у вас нет хотя бы 16 гигов, сложно достичь 100 000 URL, это очень сложно.

F: Я напоминаю вам, что турецкий сделал 145 000 с общим 2 гига, так что ...

G: так что на уровне памяти это кажется гораздо более эффективным, чем Visual SEO по сравнению с Screaming Frog, также потому, что если я понимаю, что вы говорите Screaming Frog во время сканирования, он сохраняет все в оперативной памяти, в то время как ваши записи одновременно в базу данных, тогда он может загрузить RAM и облегчить нагрузку, а затем приступить к работе.

F: да, потому что Screaming Frog позволяет вам сохранить работу в конце сканирования, как мне кажется. Я не пользователь, у меня нет платной версии Screaming Frog, я, вероятно, даже не установил ее.

G: Я спросил Screaming Frog об этом, так что я знаю, что пока вы не сохраняете, он не использует никакую базу данных, так что не в реальном времени он выбрасывает данные в базу данных, поэтому в оперативной памяти есть вход и выход одновременно, поэтому память похожа на вазу, которая наполняет все больше и больше воды, тогда нужно экономить. Единственное решение, часто применяемое для Screaming Frog, - это либо сканировать большие сайты в разделах, сохранять первый раздел, затем сканировать второй и продолжать в том же духе, в то время как с вашим оно кажется гораздо более эффективным. Может быть, запустите его на booking.com и посмотрите, что он может сделать!

F: дай мне знать! На самом деле я не знаю, почему Screaming Frog занимает так много памяти, потому что мне не кажется, что весь HTML хранится, мне кажется, что это только метаданные, самое большее только H1, мелочи, я понятия не имею.

G: Я сделаю тест и дам вам знать! С другой стороны, с точки зрения практических особенностей, какие функции, по вашему мнению, делают Visual SEO, другими, новыми, лучшими или специфическими характеристиками, которые вам нравятся больше всего?

F: Я не буду плохо говорить о Screaming Frog, потому что это отличный продукт. Мне это не нравилось, пока год назад, тогда, начиная с версии 4, они также сделали несколько замечательных вещей, которые я должен сказать, вещи, которые мы начали, но мы никогда не выпускали и зависли в ветках разработки из-за нехватки времени. Например, у них есть интеграция с Google Analytics, у них есть интеграция с данными консоли поиска, у них есть «пользовательское извлечение», к которому нас просили два с половиной года, и мы до сих пор не сделали этого, потому что у нас ограниченные ресурсы , Мы два человека, я полный рабочий день и еще один сотрудник, так что все нелегко сделать, но мы организуем себя. Я всегда старался максимально отличить Screaming Frog, в то время как мы уже родились разными, потому что в любом случае мы оба начали работать над продуктом, когда другой не существовал публично, поэтому есть два совершенно разных видения. «Кричащая лягушка» всегда предлагала себя как швейцарский армейский нож, большой табличный вид, я экспортирую данные в Excel, импортирую их и делаю дальнейшие разработки, даже если они немного меняются, у меня сложилось впечатление, подход экспорта такого большого количества в Excel и старайтесь держать их еще больше на продукте. Visual SEO всегда старался сохранять, давать ответы сразу, предоставлять данные и представления, избегать как можно большего экспорта в другое программное обеспечение Excel, я не верю, что у всех это есть, у них есть лицензия, у них должны быть альтернативы бесплатно на благотворительность. Тогда у меня более наглядное мышление, поэтому я всегда отдавал приоритет древовидным представлениям. Сильной стороной является представление «обхода», как мы его называем, на итальянском я называю его представлением «исследование», оно четко показывает структуру ссылок и полученный «путь обхода». Многие из моих пользователей ценят эту способность видеть сразу.

G: Вы говорите различные разделы сайта, затем папку, размер различных разделов и папок, которые включают страницы?

F: да, это индексное представление, но также и представление исследования, свой собственный «путь обхода», представление, которое видно даже во время сканирования, очень ценится. Тогда, на мой взгляд, Visual SEO более продвинут в качестве функции запроса данных. Большая разница, выбор поля, который был сделан из Visual SEO, отличается от выбора Screaming Frog в том, что Screaming Frog решил сделать все за «время сканирования», что это значит, если мы перейдем к установке фильтров, мы можем это сделать априори, верно? Вы продвинутый пользователь Screaming Frog.

G: Да, сначала установите фильтры и правила, затем запустите сканирование.

О: Если вы тогда понимаете, что что-то забыли, вы понимаете, что ошибались, черт побери, что вы делаете?

G: Сделай все заново!

О : На небольших сайтах это должно быть достаточно эффективно, поэтому сделайте это и сделайте это снова, короче говоря, после трех дней сканирования это может стать серьезной проблемой. Мы сделали противоположный выбор, мы опускаем весь HTML-код страниц, мы всегда сохраняем его в локальной базе данных, а затем можем запрашивать его, как хотим. Поэтому мы не заставляем вас повторять обходы снова, чтобы увидеть то же самое. Но преимущество Screaming Frog, которое многие ценят, заключается в возможности сразу увидеть что-то уже во время исследования, мы показываем некоторые вещи, такие как названия, описание, то, что вы можете увидеть сразу, но вы не можете увидеть разбивку по процентам глубина ссылок, те таблицы, которые Screaming Frog имеет справа, те, которые мы не показываем вам сразу, мы покажем вам позже. Это ощутимая разница, и есть PRO и CONTRO.

G: вероятно, Screaming Frog использует этот метод, потому что он очень сильно зависит от памяти, а ваша эффективность на стороне памяти может позволить себе загрузить все. Установка фильтров на Screaming Frog значительно сокращает объем работы, значительно уменьшает количество сканируемых страниц, а затем, очевидно, это зависит от типа фильтра, но в целом фильтр ограничивает работу, и, следовательно, вы можете лучше использовать память. Отсутствие такого рода проблем работает по-другому и может быть даже более эффективным.

F: Я подозреваю, что для них это был также вынужденный выбор, потому что их бесплатная версия не позволяет сохранять, поэтому, если бы они сделали сохранение в реальном времени, они бы потеряли ограничение для бесплатной версии, я подозреваю.

G: и это наблюдение приводит меня к последнему вопросу. Ваш инструмент был бесплатным до сегодняшнего дня, поэтому дайте его нам с большой щедростью. С каких это пор вы собираетесь публиковать премиум-версию и, возможно, с какой модальностью, с какой подпиской и, возможно, также с ценой.

F: цена, которую я предпочитаю не объяснять, потому что она не в камне, но она будет сопоставима с конкурентами, я могу сказать это. Я не могу сделать совершенно другую цену.

G: когда вы собираетесь опубликовать окончательный вариант?

F: тогда я сразу расскажу вам дорожную карту. В конце января мы должны опубликовать версию 1.0, и версия 1.0 будет двойной версией, будет бесплатная версия, которую мы будем называть «Сообщество», которая, вероятно, будет полностью бесплатной и будет иметь заглушки, ограничения. Отключенная версия будет называться pro-beta и, к счастью, будет бесплатной. Он будет только запрашивать регистрацию, но он будет эквивалентен текущей версии, немного улучшенной, с немного большей вероятностью, и будет бесплатной еще несколько месяцев. Платная версия будет намечена на конец марта.

G: очень хорошо, тогда в 2016 году будет рожден коммерческий продукт Visual SEO, и это было также сейчас, потому что вы заслуживаете его со всей работой, которую вы посвятили этому!

F: Я думаю, что это рекорд длины бета, 3 года бета.

G: если ты один, это уже так много, что ты сделал, поздравляю!

О: Я больше не спал, мне пришлось уволиться с работы и создать собственную компанию, чтобы работать над этим, иначе я бы больше не мог жить!

G: Большое спасибо, Федерико. Я исчерпал свои вопросы, вы очень хорошо изложили все, что является концепцией вашего инструмента, и я желаю вам всего наилучшего в запуске этого продукта. Я обязательно куплю это!

F: спасибо!

G: Большое спасибо, Федерико, до скорой встречи и хорошей работы!

F: привет, спасибо!

Скачать Visual SEO Studio

Всегда на контроле и потреблении памяти:

В Screaming Frog вы должны установить предел и надеяться получить его правильно (я думаю, вы также можете установить верхний предел для вашей реальной оперативной памяти); Кричащая лягушка, если я не ошибаюсь, если вы заметите, что у вас заканчивается установленная квота, остановите сканирование и разрешите его сохранить. Затем вам нужно найти файл конфигурации, отредактировать его вручную, и вы можете перезагрузить (я думаю, это то, что я понимаю из их онлайн-руководства, эксперт Screaming Frog - это вы), перезапустить программное обеспечение, перезагрузить сканирование и возобновить его (здесь Положительным моментом является то, что, насколько я понимаю, они позволяют возобновить сканирование между одним запуском и другим, в настоящее время мы этого не разрешаем, поскольку не сохраняем очередь неисследованных URL-адресов).

В Visual SEO Studio для пользователя все проще: программа не устанавливает пределы использования оперативной памяти априори, а просмотр сайта имеет «контрольные точки памяти», которые непрерывно отслеживают и оценивают потребление оперативной памяти, и если ОЗУ вот-вот закончится, программа сама остановится и сохранится. Продолжать бессмысленно, потребляемая память - это все, что доступно операционной системе, пользователю вряд ли придется прерывать, открывать ПК и добавлять физическую оперативную память!

Случаи, подобные случаю сбоя турок из-за нехватки памяти, очень сложны: контрольные точки памяти работают, пользователь падает только из-за того, что другие программы пили из той же корзины без ведома Visual SEO Studio.
Решение Visual SEO Studio также позволит использовать его без изменений, даже если у нас есть расписание сканирования: нет риска, что пользователю будет показано диалоговое окно в центре ночного сканирования, которое просит увеличить ОЗУ.

Пользователи Screaming Frog также сталкиваются с проблемой установки правильной (32- или 64-разрядной) версии среды выполнения Java. Для программ .net проблема не существует, потому что правильная среда выполнения .net уже установлена ​​с операционной системой, в большинстве случаев вам нужен правильный выпуск. Правильный выпуск для Visual SEO Studio долгое время не создавал особых проблем: попросите .net 4.x, который сейчас минимально установлен на компьютерах, которые также устарели (и их также можно установить в Windows XP SP3); если среда выполнения новее, Visual SEO будет использовать самую последнюю среду выполнения.

О необходимости сканировать так много URL

Как мы уже говорили, в ближайшем будущем мы намерены ослабить ограничение в 150 тысяч URL. Это интересная проблема во многих отношениях: техническая и коммерческая.

Текущий лимит ограничен только тем, что если мы его разблокируем, некоторые пользователи будут сканировать, может быть, полмиллиона URL-адресов, а затем будут жаловаться, если программное обеспечение очень медленно выполняет некоторую обработку (некоторые пользовательские фильтры или предстоящие «предложения по повышению производительности» выполняют очень интенсивную проверку). и на больших сайтах требуется много времени, чтобы заставить их работать). Поэтому сегодня мы предпочитаем, чтобы нас воспринимали как «меньше URL», но можно было использовать (не то, чтобы 150K было на самом деле мало).

Пользователь не видит разницу между большими числами. Для нашего мозга разница между 10000 и 15000 такая же, как между 1МЛ и 1,5МЛ, но производительность машины в первом случае практически не различима, во втором она может существенно отличаться.

Чтобы разблокировать лимит без потери репутации, мы должны переделать некоторые компоненты интерфейса: сначала нужно просмотреть древовидную структуру, но через некоторое время каждый компонент показывает ограничения, даже табличное представление, если загрузка URL-адреса 1ML становится медленной. У всего есть решение, но нам нужно переделать детали, которые сегодня хорошо работают, с респектабельными 150K, и их изменение стоит нам очень мало времени на разработку (сегодня крайний срок оплаты PRO, оплаченного в конце марта / начале апреля, очень жесткий, мы должны также поставить на ноги все платежные и биллинговые системы, все приоритетные вещи для нашего экономического выживания).

Как я уже сказал, есть и другие интересные аспекты:

150K URL не мало, сколько сайтов имеют несколько URL-адресов?

На самом деле ответ я не знаю - возможно, я знал это - но URL-адреса в 150 КБ уже являются пределом, более чем подходящим для большинства пользователей, также PRO (а также в Visual SEO Studio вы можете сегментировать, ограничивая исследование одной или несколькими папками даже если при этом существует теоретический риск - как в «Кричащей лягушке» - пропустить несколько URL-адресов в зависимости от того, как распределяются внутренние ссылки).

Правда, электронная коммерция легко преодолевает эти ограничения, и многие пользователи Visual SEO являются менеджерами сайтов электронной коммерции, даже если они, как правило, малые предприятия электронной коммерции (я ничего не знаю о пользователях, пока они не свяжутся со мной, но иногда кто-то назад). Но 90 +% проблем на месте обычно в макете, я их там исправляю, везде исправляю. И чтобы найти проблемы в макете, вам не нужно сканировать миллионы URL-адресов.

Оптимизаторы часто хотят, чтобы полный обход цитировался; Менеджеры электронной коммерции хотят полного сканирования, потому что у них нет хороших навыков, у них так много дублирования из-за проблем канонизация проблемы обход бюджета , как правило, вызвано граненая навигация Msgstr "Но даже там требуется совсем немного, чтобы уменьшить общее количество URL-адресов на порядок.

Служит ли это коммерчески / стратегически, чтобы позволить вам ползать намного больше? Когда-то я так и думал, но уже сегодня подозреваю, что он охватывает большинство потенциальных пользователей. Мы могли бы сделать это, но они 80legs и Deepcrawl те, которые воспринимаются как подходящие для больших сканирований, рискуют последовать за неправильным приоритетом в неправильное время. Вероятно, с точки зрения бизнеса было бы более разумным сделать веб-сервер конкурентом этих служб и получить 10-кратную оплату лицензии на программное обеспечение для настольных ПК.

Тем не менее, конечно, мы хотим ослабить 150К лимит на будущее; возможно не так много, но я думаю, что 500K / 1ML доступны (и 500K легче).

На скорости сканирования:

Еще раз о различиях между Screaming Frog и Visual SEO Studio.

Для Screaming Frog скорость ползания является приоритетом, который заботится об остальном. Конечно, это не так эффективно, как старый Xenu , но архитектура программы многопоточная, то есть она может выполнять несколько одновременных HTTP-вызовов. Можно провести атаку DOS с помощью программного обеспечения, такого как Screaming Frog (даже если оно не самое подходящее).

Visual SEO Studio делает противоположный выбор: паук адаптивен, он никогда не заставляет пропускную способность веб-сервера выходить за рамки своих ограничений. Он делает это с однопоточной очередью, делает только один вызов за раз и не выполняет следующий, пока предыдущий не закончится. Это также делает это, чтобы гарантировать порядок исследования и реконструировать путь сканирования в соответствии с алгоритмом «дыхание первым», который повторяет аппроксимацию поведения поискового бота (даже если это приближение: исследование робота Google приближается к дыхание сначала при отсутствии внешних сигналов, затем приоритет определяется PageRank и порядок не точный, потому что конвейер асинхронный). «Кричащая лягушка» не пытается эмулировать поисковик, порядок исследования и путь сканирования его мало интересуют, и он использует это обеими руками. Visual SEO Studio делает это вместо выбора дизайна: повторяемая реконструкция пути сканирования и адаптация к емкости сервера.

На самом деле Visual SEO Studio может позволить себе немного больше, потому что веб-серверы созданы для обработки конкурирующих вызовов; в частности, если бы сканер был единственным пользователем, веб-сервер не пострадал бы, если бы Visual SEO Studio приложил еще больше усилий. Для нас было бы возможно распараллелить некоторые запросы (к определенным группам), не изменяя порядок исследования и не сумев восстановить путь обхода, за счет немного большей сложности и небольшого увеличения скорости (я не могу оценить насколько). Это всегда будет медленнее в среднем, но не намного. В будущем мы это сделаем, но сегодня пользователи не жалуются на это (когда-то да, но после некоторых обновлений мы резко увеличили эффективность сканирования).

Здесь также есть разные варианты выбора полей:

• для Screaming Frog приоритетом является быстрое сканирование , который заботится о веб-сервере.
• для визуального SEO Приоритетное исследование не влияет на эффективность работы веб-сервера .

(Примечание редактора: Screaming Frog фактически позволяет вам установить скорость сканирования: программа выполняет 5 вызовов одновременно, но предел можно увеличить или уменьшить, используя параметр «скорость» в меню конфигурации паука.)

Анекдот: как только пользователь связывается со мной, и он пишет мне: «Посмотрите, с помощью Screaming Frog я сканирую этот сайт по общему URL в секунду, но после того, как сервер обычно выходит из строя, и мне приходится его перезагружать. Вы не разбиваетесь со своим гусеничным механизмом, но это занимает больше времени, как я могу ускорить его? "
Конечно, я отвечаю ему: «он не падает, потому что не пытается пойти дальше, чем может поддерживать веб-сервер!». Не то чтобы HTTP-звонки звучали более или менее громко, просто более или менее часто!

Подумайте об электронной коммерции онлайн-клиентов, даже если вы ее не рухнете: сканер, работающий в течение двух дней, замедляет все, конверсия снижается, и за транзакции платят двуногие, а не бот.

К сожалению для меня, эта особенность Visual SEO - адаптация к ритму сервера без его дальнейшего усиления - означает, что потенциальные клиенты SEO рассматривают его как слабость. Правда, в среднем он медленнее, но не так сильно. На локальном тестовом сайте я однажды превышал 200 страниц в секунду! Хорошо, маленький сайт, локальный и очень легкий, но если веб-сервер отвечает, сканер работает хорошо. Наихудший случай для Visual SEO Studio - время ожидания одной страницы, и средняя скорость падает; небольшое параллелизм позволит избежать этого. Мы сделаем это рано или поздно.

Чрезмерная нагрузка на сервер обусловлена ​​не только чрезмерной частотой самого обхода, поскольку веб-серверы выполняются хорошо и масштабируются, но и чрезмерным выделением памяти, которое это выделяет. Проблема в том, что боты обычно не принимают сеансовые куки, и каждый их запрос включает создание нового сеанса на стороне сервера.

Однажды разработчик системы Unix сказал мне, что каждая сессия на Apache стоит в среднем 7 МБ; допустим, это правда (это немного оспаривается): представьте себе Screaming Frog, которая для каждого HTTP-вызова вызывает новый сеанс, даже если они выполняли только 5 вызовов в секунду, рассчитывая как время ожидания 20 '= 1200 ″ из Для сеанса сервера это будет означать, что после 20 минут сканирования каждый момент будет выделяться 1200x5x7 МБ = 41 ГБ. На веб-сервере будет выделено более 40 ГБ ОЗУ, поскольку сканер просматривает ваш сайт, и, возможно, вы даже не авторизовали его.

Примечание. По этой причине сканер Visual SEO Studio по умолчанию принимает сеансовые файлы cookie, даже если он позволяет отключить их, поскольку в некоторых случаях серверы ведут себя по-разному.

7 МБ - это минимум, используемый Apache ( Nginx Я думаю, что это намного эффективнее), но если те, кто делал серверную программу (CMS, веб-приложение, магазин и т. Д.), Имели хорошую идею выделять больше для каждого нового сеанса (клянусь, я видел, как это было сделано ), проблема возрастает еще больше!

Другие отличия: подмена и REP

Еще одна особенность Visual SEO Studio - более строгое соблюдение протокола исключения роботов . Visual SEO Studio, например, уважает ползать задержки максимум до 2 с; конечно, это позволяет игнорировать его, но только для сайтов, для которых у пользователя есть права администратора (список «Администрируемых сайтов»). Visual SEO Studio позволяет менять агента пользователя, но и здесь только для управляемых сайтов. Идея в том, чтобы позволить игнорировать Robots.txt, только для управляемых сайтов.

В основе выбора лежат несколько факторов:

Этика: мы потребляем ресурсы, которые нам не принадлежат, ничего не отдавая взамен (в случае сканирования конкурента или потенциального клиента).
Кричащая лягушка не проблема, она говорит «ваша ответственность» за все. Для нас этика имеет значение, и затем, если кто-то раздражается и отправляет адвоката, попросите его объяснить судье; мы также хотим защитить себя с правовыми проблемами ... Смотрите следующий пункт.

Законно: во всем мире уже есть предложения, хотя и очень немногие, связанные с миром сканеров. Я предсказываю, что они станут более частыми. Мы не можем рисковать погружением в юридические баталии с нелепыми затратами и временем. Самым безопасным решением является предоставление возможности всем, кто доказывает, что администрирует веб-сервер, к сожалению, многие пользователи не имеют явного преимущества цензуры сайтов среди администрируемых сайтов, и, к сожалению, если у них есть задержка сканирования, они воспринимают нас как очень инструмент медленно, хотя они могли идти быстрее.

Бизнес: решив не разрешать подделку пользовательского агента (примечание редактора: сменить пользовательский агент) для не принадлежащих нам сайтов, любые другие REP (например, если мы разрешили обходить robots.txt для неуправляемых сайтов), кроме бесполезный наш выбор, через некоторое время они создадут плохую репутацию среди системных инженеров, которые попытаются заблокировать « Pigafetta » (так называется пользовательский агент Visual Agent Studio), что повредит нашим будущим продажам.

Такие сервисы, как Majestic, aHref и т. Д. Уважают REP (Moz вместо этого долгое время делал хитроумных в первый раз, когда он был SEOMoz), если бы они этого не делали, они были бы гораздо более заблокированы (Majestic распределял сканеры, а не с фиксированного интервала IP, все же они самые строгие). У Screaming Frog такой проблемы нет, потому что ее пользователи всегда могут подделать и кого это волнует. Это выбор (см. Предыдущие пункты).

Еще один анекдот: сегодня задержка сканирования неуправляемых сайтов учитывается максимум до 2 секунд, но когда-то это было ограничение 10 дюймов, а также была ошибка, для которой в некоторых случаях максимальный предел не применялся. Как только я получаю сообщение от пользователя, отправленное с помощью программного обеспечения (меню справки, отправка сообщения автору); в этих случаях я получаю электронное письмо, и если пользователь указывает адрес электронной почты, я могу понять, кто он, и ответить на него. Пользователь был довольно известным SEO из-за рубежа; у нас уже были вежливые обмены электронной почтой в частном порядке по другим причинам, но он не знал, что я поддерживаю Visual SEO. В этот момент он вместо этого наполнил меня оскорблениями, потому что гусеничный ход был слишком медленным. Он никогда не отвечал на мою просьбу о разъяснении, я не знаю, наткнулся ли он на ошибку или принял 10-дюймовую задержку сканирования, единственное, что я обнаружил, это то, что на самом деле это str ... или. Даже если это было худшее программное обеспечение в мире, он не заплатил за него, и он никогда не отвечал мне.

О версиях для других операционных систем

Как вы знаете, Visual SEO сегодня только для Windows, в то время как Screaming Frog имеет версии для Windows, Mac и Unix. Я хотел бы получать евро за каждый раз, когда меня спрашивают, есть ли версия для Mac. Это не просто проблема более низкой доли доступных пользователей, например, AS (примечание редактора: международная заметка SEO), когда я встретил m ' хотел бы посмотреть продукт охотно, но она всего лишь пользователь Mac! Отличная упущенная возможность!

Java-программы гораздо более переносимы: среды исполнения Java годами распределены по всем платформам. Возможно, внешний вид ужасен, но портирование намного проще, затраты на разработку намного ниже.

.net был рожден путем копирования как можно большего количества Java и делается во время выполнения - виртуальным процессором - точно так же, как Java, но в течение многих лет Microsoft никогда не вкладывала средства для переноса его на другие архитектуры. Некоторые пытались, и самая успешная попытка называется моно версия .net, работающая на Linux и Mac. Менее года Microsoft вкладывает средства в перенос платформы на другие архитектуры (частично в партнерстве с самой Mono).

Это означает, что Visual SEO портирование на Mac возможно, с некоторыми жертвами. Мы всегда выбирали использование компонентов, которые препятствуют переносу как можно меньше (за исключением части скриншотов, которая использует инкапсулированную версию IE, которую мы хотим изменить в любом случае). Портирование на Mono все еще находится в зачаточном состоянии, мы пробовали некоторые его части предварительно, а затем приостановили выполнение других приоритетов. В ближайшие месяцы мы попробуем еще раз, помогая нам из внешнего ресурса.

Я понятия не имею, насколько версия Mac расширит нас, чтобы охватить потенциальных клиентов. Есть те, кто настаивает на том, что в мире SEO / веб-маркетинга Mac покрывает более 50% акций. Я никогда не находил достоверную статистику ниши. Если я должен слушать это (и это кажется надежным), в мире настольных компьютеров (не ограничиваясь нишей SEO / WM) Windows по-прежнему имеет абсолютное доминирование, а Mac менее 10% Знание процента на нишу помогло бы мне лучше оценить, какой бюджет выделить на портирование (возможно, я спрошу Андреа Перничи, смотрит ли он на меня в Analytics of Forum GT). Порт на Mono позволит вам иметь версию для Mac и Linux; искренне, на данный момент я больше интересуюсь версией для Mac, но Linux изначально будет стоить как минимум плата за обслуживание по сравнению с несколькими другими пользователями.