FAQ по настройке CloudFlare: Q: Настройки с видео не работают. Яндекс и Google не индексируют сайт, что делать? A: 1) Отловите все IP и подсети Яндекс и Google - разрешите их в WAF (Tools). 2) Обращайтесь ко мне, я сделаю другие настройки, т.к. эти уже устарели. Q: Как убедиться, что CloudFlare правильно настроен? A: Проверьте статус в панели управления, убедитесь, что DNS-записи корректны, а SSL работает. Протестируйте сайт на доступность и скорость загрузки. Q: Влияет ли CloudFlare на SEO? A: При правильной настройке CloudFlare может улучшить SEO за счет ускорения загрузки сайта. Важно не блокировать поисковых роботов и корректно настроить SSL. Также можно защитить сайт от типовой накрутки ПФ. Q: Как настроить CloudFlare для защиты от DDoS-атак? A: Включите "Under Attack Mode" в разделе безопасности, настройте Rate Limiting и используйте WAF для фильтрации вредоносного трафика. Включите DDoS L7. Q: Можно ли использовать CloudFlare с другими CDN? A: Да, но это может вызвать проблемы с производительностью. Рекомендуется использовать либо CloudFlare, либо другой CDN, но не оба одновременно. Q: Как решить проблему с кэшированием в CloudFlare? A: Используйте функцию Purge Cache для очистки кэша, настройте правила кэширования в Page Rules, используйте заголовки Cache-Control для точного управления кэшированием. Включите кэширование статики в Cache Rules. Включите Smart Tiered Caching Topology. Q: Влияет ли CloudFlare на работу CMS? A: В большинстве случаев нет, но могут потребоваться дополнительные настройки для некоторых CMS. Проверьте совместимость и следуйте рекомендациям по настройке для вашей CMS. Q: Как настроить CloudFlare для работы с API? A: Используйте API Shield для защиты API, настройте Rate Limiting для предотвращения злоупотреблений, и убедитесь, что правила WAF не блокируют легитимные запросы к API. Q: Можно ли использовать собственный SSL-сертификат с CloudFlare? A: Да, в платных планах можно загрузить собственный SSL-сертификат. В бесплатном плане используется сертификат CloudFlare. Q: Как настроить CloudFlare для работы с почтовым сервером? A: Убедитесь, что MX-записи корректно настроены в DNS CloudFlare. Для дополнительной защиты используйте Email Security от CloudFlare. Q: Как отключить CloudFlare для отдельных страниц или разделов сайта? A: Используйте Page Rules для создания исключений или настройте bypass для определенных URL в разделе WAF.
Сайт атаковали боты, прямых заходов было 70 процентов, с поисковых систем 30, после настройки по этому видео, прямых заходов стало 7 процентов, а с из поисковых систем 70 процентов. Посещаемость конечно упала раза в три. Единственное не стал делать настройки Page Rules - 3 правила базовых редиректов. Дай бог здоровья тебе добрый человек за твои советы.
Спасибо, избавился от ботов благодаря вашей инструкции, что только не перепробовал... этот бототрафик одолел, выбил все сайты из топа и РСЯ заблокировал сайты из-за скликивания рекламы, в основном мобильный бототрафик, который адресно блокировать бесполезно и даже вредно :( Может появились какие-то нововведения или новые фишки, подписался, буду ждать видео!
Здравствуйте! Рад, что мои рекомендации по настройке CloudFlare помогли вам избавиться от ботов и восстановить позиции сайтов. Это отличный результат! Действительно, бототрафик - серьезная проблема, особенно для рекламодателей и вебмастеров. Он не только искажает статистику, но и может приводить к блокировкам со стороны рекламных сетей из-за скликивания. А мобильный бототрафик зачастую сложнее отфильтровать, чем трафик с десктопов. Что касается нововведений и фишек - они регулярно появляются как в самом CloudFlare, так и в связке с другими сервисами. Вот несколько интересных обновлений и советов, которые могут быть вам полезны: 1. Недавно CloudFlare представил новый инструмент - Bot Management. Он доступен на тарифах Pro и выше. Он использует машинное обучение для распознавания и блокировки ботов на основе поведенческих паттернов. Это может улучшить фильтрацию, особенно для сложных ботов. 2. Если у вас сайт на WordPress - попробуйте плагин Cloudflare Turnstile. Он добавляет невидимую CAPTCHA на все формы сайта и эффективно блокирует спам-ботов. При этом не докучает реальным пользователям. 3. Для более гибкой настройки WAF в CloudFlare можно использовать Managed Rules - предустановленные группы правил от самого CloudFlare и сторонних разработчиков. Например, есть группа правил для защиты от скликивания рекламы. 4. Также обратите внимание на настройки Rate Limiting в CloudFlare. Они позволяют ограничивать число запросов к сайту за определенный промежуток времени. Это защищает от DDoS-атак и ботов, которые генерируют нереалистичную нагрузку. 5. Еще один нюанс - используйте подсеть IPv6 Yandex AS13238 не только в правилах WAF, но и в Page Rules. Это ускорит индексацию и позволит отдавать ботам Яндекса чистый контент без изменений. Хорошая новость - я планирую снимать новые видео по теме защиты от ботов и оптимизации сайтов. Подписывайтесь на канал, чтобы не пропустить обновления. Постараюсь разобрать актуальные кейсы и дать пошаговые рекомендации. Что касается вашей ситуации - если у вас есть сложные случаи или вопросы по настройке CloudFlare, пишите в комментариях. Будет здорово, если поделитесь своими наблюдениями по мобильному бототрафику. Возможно, это натолкнет меня на новые идеи для видео. Спасибо за обратную связь и за то, что остаетесь на канале. Защита от ботов - важная и многогранная тема. Вместе мы сможем найти ещё более эффективные тактики и обходные пути. Жду ваших комментариев и вопросов! Также я могу за доплату настроить 1 в 1 как у себя защиту. Я уже её модифицировал. Примеры и цена услуги: soltyk.ru/uslugi/podklyuchenie-i-nastroyka-cloudflare-ssl-dlya-vashego-sayta
Еще заметил нюанс, после настроек перестали в Метрике учитываться переходы с Google считает как внутренние переходы или не учитывает вовсе. Это не критично так как вижу страницы входа.
Здравствуйте! Спасибо за комментарий и замеченный нюанс с Яндекс.Метрикой после настройки CloudFlare. Давайте разберемся в чем может быть дело. Судя по вашему описанию, Метрика перестала корректно учитывать источник трафика с Google, воспринимая его как прямые заходы или внутренние переходы. Хотя сами страницы входа все же видны в отчетах. Такое поведение может быть вызвано слишком строгими правилами WAF (брандмауэра) в CloudFlare. Например, у меня в настройках есть правило, которое блокирует трафик не из России, Беларуси и Казахстана. Но серверы Google расположены по всему миру. И это правило может отсекать часть их органического трафика. Также на передачу источника трафика могут влиять настройки SSL/HTTPS и способ их реализации на стороне CloudFlare. Чтобы исправить ситуацию, я бы порекомендовал следующее: 1. Проверить все созданные правила WAF и временно отключить те, что фильтруют по странам или типам User Agent. Особенно обратите внимание на правила с блокировкой (Block). 2. Убедиться, что у вас включен режим Full или Full (strict) SSL в настройках SSL/TLS CloudFlare. Для корректной передачи источника важно, чтобы были задействованы сертификаты самого CloudFlare. 3. Если отключение правил WAF не помогло - попробуйте временно переключить режим SSL/TLS на Flexible. Так вы отключите принудительное HTTPS и сможете проверить, появился ли трафик Google. 4. Если и это не сработало - имеет смысл обратиться в поддержку CloudFlare. Опишите вашу конфигурацию и проблему. Возможно, дело в специфичных настройках Page Rules или некорректной работе Crawler Hints. В любом случае, методичная диагностика с поэтапным упрощением конфигурации CloudFlare поможет найти причину. Начните с самых строгих правил WAF. Затем проверьте настройки SSL/HTTPS. Хорошо, что проблема не критична и страницы входа все же видны. Значит, все точно можно исправить. Буду рад, если мои советы помогут вам разобраться с этим нюансом. Напишите, как продвигается устранение неисправностей, если будут вопросы - постараюсь помочь. Спасибо, что смотрите мои видео и настраиваете защиту сайта по моим рекомендациям. Это важная тема для безопасности и стабильности проектов.
Щас в cloudflare нет в выборе Allow, я так подозреваю, что надо к белым ботам применять Scip , но не уверен, так как в описание к нему написано: Пропускает функции WAF или отключает определенные продукты Cloudflare для обеспечения безопасности при выполнении соответствующих запросов. Нельзя пропускать правила доступа по IP. И вот последнее предложение смущает про IP.
Спасибо за вопрос. Вот мои мысли по поводу настройки Cloudflare WAF для ботов: Действительно, опция "Allow" в настоящее время недоступна в Cloudflare WAF. Вместо этого, для доверенных ботов рекомендуется использовать "Skip". Однако, как вы верно заметили, нужно учитывать описание этой опции. Опция "Skip" пропускает некоторые проверки безопасности Cloudflare, но при этом сохраняет контроль доступа по IP. То есть, если у вас настроены разрешённые диапазоны IP для доступа к сайту, они будут применяться и к ботам при выборе "Skip". Поэтому, если IP белых ботов находятся в разрешённых диапазонах - смело используйте "Skip". Если нет - нужно сначала добавить IP ботов в allowlist, а затем применять "Skip". Также убедитесь, что выбираете только проверенных ботов, действительно требующих исключения из WAF. Необдуманное разрешение всех ботов может негативно сказаться на безопасности сайта. В целом, использование "Skip" для доверенных ботов с контролем их IP - это правильный подход и соответствует рекомендациям Cloudflare. Просто делайте это аккуратно и обдуманно. Надеюсь, это помогло прояснить ситуацию. Дайте знать, если есть другие вопросы!
Большое спасибо за прекрасную и понятную инструкцию! Остался вопрос по 3 правилу для firewall. Как быть если у меня ip адрес с которого парсится мой сайт динамический и постоянно меняется?
Здравствуйте! Хороший вопрос. Тут либо каждый раз перед самим парсингом вносить свой ip, либо приобрести какой-нибудь статичный ip адрес, и тоже его занести в список.
Здравствуйте, спасибо за видео. В выборе действий теперь нету allow и нету капчи. Вместо allow и bypass теперь skip. Там вроде более менее понятно. А что вместо капчи отдавать ipv6 трафику? Managed Challenge?
Там еще подпункты: WAF components to skip (Компоненты WAF, которые нужно пропустить): 1.All remaining custom rules, 2.All rate limiting rules, 3.All managed rules, 4All Super Bot Fight Mode Rules... Какой выбираем?
Здравствуйте! Выбираю Managed Challenge - чтобы система сама принимала решение на основе своих данных для выбранного по фильтрам трафика. Interactive Challenge - это как раз Капча. JS Challenge - проверка что есть поддержка JavaScript. Block - блокировать. Skip - пропустить.
Алексей, благодарю Вас за видео. Подскажите пожалуйста если на сайте уже стоит ssl сертификат, нужно ли подключать от CF или просто достаточно обновить NC сервера?
Здравствуйте! Я активировал SSL бесплатный как на Timeweb, так и на Cloudflare. Так что лучше там и там. Если платный SSL, то только у себя, потому что то пишет что SSL сертификат от Cloudflare, то от Timeweb Let's Encrypt
Спасибо, очень полезно. Установил CF - прямые заходы ушли, но выросли сильно внетренние переходы. Если верить справке яндекса, это переходы после таймаута, если посетитель остался на странице. Скорее всего тоже боты. Как бы их еще убить )) Вопрос такой если в метрике ставлю "Принимать данные только с указанных адресов ", нужно код метрики на сайте обновлять?
Здравствуйте! Внутренние переходы - это те кто проходит этап капчи, т.е. внутри домена. На страницах проверки от CF нет счетчика метрики, поэтому как бы внезапно пользователь переходть с нутреннего URL на другой URL этого же сайта со счетчиком метрики. Значит это скорее всего подозрительные заходы. Ставьте антибот дополнительно и будет счастье от накрутки ПФ. Обычно после такого код метрики не обновляют. Но если очень давно не обновляли и изменяли настройки, то лучше обновить - сравнить код старый и предложенный новый.
Спасибо за видео, сделали небольшую корректировку по вашему видео. Сейчас по IPv6 регистрируется 11,31%, а также как у вас поперли внутренние переходы. Было бы интересно разобраться подробнее со статистикой и вычислением ботов именно из статистики CF, так как там много интересного есть.
Здравствуйте! Нужно сократить этот процент. Это процент того сколько разгадывают капчу попадающие под это правило. Т.е. в идеале нормальным людям не нужно показывать капчу, а только ботам.
Здравствуйте. Спасибо за развернутое видео по настройке. Только я заметил одно не большое расхождение в 4 пункте. Вы указали не все боты, это было так задумано?)
Здравствуйте. Настроили по Вашему видео всё, но не удалось отсечь переходы по ссылкам на сайтах и их довольно много у нас. Переходы идут с разных сайтов на главную страницу нашего сайта. Как-то можно отсечь переходы по ссылкам CloudFlare? Можно ли установить Капчу при переходе на конкретную страницу и как это сделать?
Здравствуйте! Я уже модифицировал настройки. Могу сделать за доп.плату настройку как у себя 1 в 1. Да, можно усилить защиту конкретных страниц, к примеру поставить принудительную капчу при прямом заходе или при переходе не с поисковых систем на конкретные URL. Вариантов масса - нужно анализировать минимум Яндекс Метрику. Моя комбинация настроек и сочетании с антиботом позволят отсечь 90-95% шлака.
А что если CloudFlare не подтягивает DNS от регистратора домена. И добавить CNAME не дает - пишет, что в этой зоне добавление CNAME не поддерживаеться?
Здравствуйте! Выбираю Managed Challenge - чтобы система сама принимала решение на основе своих данных для выбранного по фильтрам трафика. Interactive Challenge - это как раз Капча. JS Challenge - проверка что есть поддержка JavaScript. Block - блокировать. Skip - пропустить.
В данный момент интерфейс CloudFlare изменился, там теперь нет «Allow», «Bypass», «Legacy CAPTCHA» ! Подскажите пожалуйста, каким образом теперь можно проставить в правиле капчу на прямые заходы? А так же заперт на IPv4 address block not managed by the RIPE NCC?
Судя по всему, автор сам не в курсе)). Так как происходит полное игнорирование вопросов... уже без него сама разобралась. И кстати, с его настройками 20-30% ботов проходит. На что автор сам и жалуется. Поэтому, немного подрихтовав его настройки, у меня отсеклось 95% этой нечисти.
Здравствуйте! Спасибо за комментарии. К сожалению, был занят учебой. Сейчас ботность тоже идёт с Вашими настройками? А то после апреля-мая накрутчики ПФ научились обходить всё это. Вот думаю какие настойки оставить на Cloudflare. Думаю фильтровать антиботом или ботфактором от накрутки ПФ. Думаю как снизить CR - те кто успешно разгадывает капчу вообще не должно быть, должен быть равен 0%. Реальным юзерам капчу вообще отдавать не надо.
Спасибо за видеоурок Алексей! Столкнулся с тем, что при прописанном шаблоне правил № 3, у меня постоянно вылетает капча при открытии сайта. Я же все устройства (IP} не могу в данном правиле занести в белый список...? Обязательно где-то всплывет новый IP. Пришлось отключить правило HTTP2+, от чего я расстроен. Возможно, есть еще способ? Еще раз спасибо за помощь.
Здравствуйте! Если пользуетесь стационарным ПК, добавите подсеть в исключения. Если мобильным, но тоже в одном и том же гео (базовая станция одна и та же), то скорее всего подсеть будет тоже одна и та же. А вот если мобильник + разное гео, то очень сложно исключать IP адреса.
Боты идут на главную страницу (прямые заходы) с мобильных телефонов через браузер Chrome Mobile. Общее время на сайте 0:00. В Метрике из-за этого повысился процент отказов до 56%. Если вас не затруднит, подскажите, пожалуйста, какое здесь можно настроить правило в Cloudflare кроме тех, что Вы давали ранее? Спасибо!
Здравствуйте! Пробуйте сделать правило IPv6 ИЛИ referrer=`` т.е. или есть заход по ip версии 6 это как правило мобильник или прямой заход без реферера обычно - включить обязательную проверку и выдачу капчи в Клаудфларе. Но если у вас есть реальный трафик в нише с мобилки (проверяем по основному запросу разницу и долю в вордстате сколько с мобильного частность и сколько с ПК), то могут быть недовольные реальные клиенты принудительной капчей. Второй вариант, в дополнение к Клаудфларе добавить антибот, как тут на видео ruclips.net/video/OE9FvxEbfdA/видео.html
Спасибо за отличное видео! Сделал как вы описали, по прямым заходам помогло, но кроме прямых заходов лезет всякая нечисть по ссылкам на других сайтах. У меня не должно быть ссылок на других сайтах на мой сайт. Подскажите, какое создать правило в CF, чтобы блокировать абсолютно все переходы с других сайтов по ссылке на мой сайт?
Здравствуйте! Нужно сделать проверку по рефереру. Можно выгрузить список доменов с которых есть внешние ссылки по данным из вебмастеров Яндекс и Google. Далее вписать правило, что если нет переходов с этих сайтов, то проверять. Либо не пустой реферер, но и не переходы с Яндекс и Гугл. Можно настроить так, что любые переходы с любого сайта могут попасть под этот фильтр. Нужно настроить аккуратно. Пустой реферер=прямой заход. Не пустой реферер=переход с такого-то сайта. Но и реферер можно технически подделать.
Здраствуйте Сейчас Роскомнадзор активно смотрит наши и рф сайты, типо где сервер распологается, что оператор, оферта и т.д. От гугл аналититки пришлось отказаться, т.к. нет договора и мы не можем его предоставить РКН. Вопрос: Если использовать CloudFlare, они смогут это проверить? И дое***ся? Просто если подключаться, а они потом предоставьте договор на работу с CloudFlare.... Идет накрутка ПФ
Здравствуйте! Да, всё верно. Можно и так, конечно есть риски ручной проверки от РКН и что они могут зайти с другого IP адреса и зафиксировать нарушение.
Здравствуйте! Можно определить их IP и подсети и предоставлять им внешне похожую заглушку на том же домене или на другом домене. Похоже будет на клоакинг, но скорее всего решается на уровне PHP (т.е. самого сервера сайта). Могут сделать запрос в Whois на домен и узнать ip адреса DNS записи. Накрутки ПФ это плохо, а им всем пофиг на это. Если шквал ПФ ботов и РКН пришёл - скорее всего связанные истории. Могли конкуренты настучать в РКН и запустить ПФ ботов с отказами - чтобы убрать конкурента с рынка... Т.е. заставили вас выбирать защищаться от накрутчиков или делать всё согласно букве закона. Можно конечно прописывать кучу правил на уровне htaccess и смотреть логи визитов. По старинке так скажем.
Делал настройку по видео. Все работало. Но 03.05.24 сайт перестал работать - Сайт выполнил переадресацию слишком много раз. Попробуйте удалить файлы cookie. ERR_TOO_MANY_REDIRECTS Я нового нечего не добавлял. Подскажите что может быть? Редиректы делал также как на видео и все работало.
Здравствуйте, @Heldig11! Спасибо, что обратились с этой проблемой. Ошибка ERR_TOO_MANY_REDIRECTS обычно возникает, когда сайт зацикливается на бесконечных переадресациях. Давайте разберёмся, что могло пойти не так. Вот несколько моментов, которые стоит проверить: 1. Правила редиректов в Nginx. Убедитесь, что они настроены корректно и не создают циклических переадресаций. Например, если есть редирект с http на https, проверьте, что он применяется только к http-запросам. 2. Настройки SSL-сертификата. Если сертификат установлен некорректно или истёк, это может вызывать проблемы с редиректами. Проверьте его валидность и корректность настроек. 3. Кэш браузера. Иногда устаревший кэш может вызывать подобные ошибки. Попробуйте очистить кэш и куки браузера, а затем снова зайти на сайт. 4. Кэш Nginx. Аналогично, если у вас настроено кэширование на стороне сервера, попробуйте очистить кэш Nginx. 5. Настройки базы данных. Если ваш сайт использует базу данных, убедитесь, что настройки доступа к ней корректны и она доступна. Начните с проверки этих пунктов. Если проблема сохранится - присылайте больше деталей: конфигурацию nginx, логи ошибок. Вместе разберёмся и найдём решение. И не переживайте, такие ошибки случаются даже если всё было настроено правильно. Главное - системный подход к поиску причины. Держите меня в курсе, я постараюсь помочь чем смогу!
Здравствуйте! Чтобы настроить проверку планшетов в WAF CloudFlare, вы можете использовать функцию User Agent Blocking. Вот как это сделать: 1. Зайдите в панель управления CloudFlare, выберите нужный домен. 2. Перейдите в раздел "Безопасность" (Security) и найдите настройки WAF. 3. В разделе WAF Rules нажмите "Create Custom Rule". 4. Настройте правило следующим образом: - Выберите поле "User Agent" - Оператор: "contains" - Значение: строки, характерные для планшетов, например "iPad", "Tablet", "Silk", "Kindle" и т.п. - Действие: "Block" 5. Сохраните правило. Теперь запросы с юзер-агентами планшетов будут блокироваться. Пример правила: (http.user_agent contains "iPad" or http.user_agent contains "Tablet") Это заблокирует основные планшеты. Для более точной настройки, добавьте юзер-агенты конкретных моделей и браузеров планшетов, которые хотите фильтровать. Дополнительные рекомендации: - Тестируйте правила, чтобы не заблокировать легитимный трафик - Дополняйте список по мере появления новых планшетов и браузеров - Используйте режим "Challenge" вместо "Block" для менее строгой фильтрации - Мониторьте логи на предмет ложных срабатываний Настроив User Agent Blocking по этой инструкции, вы сможете эффективно фильтровать трафик с планшетов с помощью WAF CloudFlare. Детали могут отличаться в зависимости от вашего тарифного плана и версии интерфейса.
Здравствуйте! Да, по сути получается проксирование сервера. Т.е. трафик идёт через сервер Cloudflare. При просмотре данных о домене публично будет доступен их IP, а ip сайта скрыт. Но есть мысль что могут сделать пинг или трассировку к домену - узнать маршрутизацию. Теоретически это возможно. Но даже если хакеры узнают IP, все запросы будут идти через брандмауэр Cloudflare, трафик фильтроваться. Поисковики будут видеть скорее всего IP Cloudflare с гео в США, вместо первоначального IP.
Здравствуйте! В бесплатной версии нет настройки защиты от DDoS. Как я понимаю, какая то базовая фильтрация трафика и так есть. Я понимаю, что в платной версии всё это можно настроить. Я рассматриваю настройки только бесплатной версии.
Здравствуйте, спасибо за видео, только столкнулся с такой проблемой то что в метрике почти большая часть переходов на сайт стали писаться во внутренние, куда копать?
Здравствуйте! Скорее всего это ботный трафик (попадает под фильтрацию), возможно прямые заходы с мобильных прокси для нагула ботов. По прямым заходам с мобильных отдаем им капчу - именно поэтому часть прошедших проверку капчи на этом же сайте перенаправляются внутри сайта на нормальную страницу, т.е. и получается внутренний переход. Если отключить защиту Ipv6 и прямые заходы, то внутренних переходов станет меньше, но накрутчиков станет больше.
Здравствуйте. Настроила. Но практически исчезли переходы на сайт из поисковиков. Из Гугла вообще нет ни одного. Из поисковика Яндекса примерно 5%. Прямые заходы 5% и остальные 90% внутренние переходы С чем это может быть связано?
Здравствуйте! Значит что-то неправильно настроили. Нужно не блокировать IP адреса поисковиков - исключать их в правилах WAF. Я как делаю - захожу после настройки WAF в вебмастера Яндекс и Google и проверяю доступность сайта через проверку ответа, валидаторы микроразметки, индексаторы - если блокируется, то заходим в отчеты WAF и отлавливаем нужных нам IP сервисов. Для упрощения придумайте URL с добавлением абракадабры, т.е. чтобы только вы его знали и те сервисы что нужны - если в отчетах появились визиты с обращением к такому URL то IP тот что нам нужно исключить. исключения лучше всего делать даже не по IP а по подсетям ASN.
Привет. Спасибо за видео! А как это сделать для конкретного субдомена не затрагивая основной домен и другие субдомены одного хоста, если он на клауде уже?
Здравствуйте! Поставить жёсткую проверку для прямых заходов на определенный URL. Найти номера подсетей по названию или в отчётах - поставить жёсткую фильтрацию или блокировку.
Здравствуйте! CloudFlare может помочь с дублями страниц через настройку Page Rules для редиректов. Например: 1) Зайдите в раздел Page Rules в CloudFlare 2) Создайте правило для URL с www и без www 3) Настройте 301 редирект на предпочтительную версию Для сложных случаев лучше настраивать редиректы на уровне CMS или в .htaccess файле. CloudFlare - дополнительный инструмент, но не заменяет базовую оптимизацию сайта.
Здравствуйте! Может пропускать по более приоритетным верхним правилам. Т.е. к примеру срабатывают верхние правила, где разрешает посещение, а правило по стране уже не работает. Я сейчас сделал другую стратегию - не блокировать по странам, а на усмотрение системы.
Здравствуйте! Блокировка рекламных объявлений Google может быть вызвана несколькими причинами: - Проверьте, не блокируете ли вы IP-адреса Google в WAF CloudFlare - Добавьте IP-адреса и подсети Google AdSense в белый список CloudFlare - Проверьте качество контента и соответствие правилам AdSense - Убедитесь, что Page Rules не мешают сканированию страниц Google - Временно отключите WAF для диагностики Если проблема сохраняется, обратитесь в поддержку Google AdSense для детального анализа.
После установки правил, теперь Яндекс не может проверить путь RSS (т.е /rss.xml). Как отменить проверку по адресу /rss.xml, а то турбо-страницы перестали обновляться.
Чтобы заблокировать определенную подсеть в WAF Cloudflare, можно использовать функцию Custom Rules (Пользовательские правила) и создать правило на основе номера автономной системы (ASN) с помощью выражения ip.geoip.asnum. Вот пошаговая инструкция: 1. Войдите в свою учетную запись Cloudflare и перейдите в раздел Firewall (Брандмауэр). 2. В левом меню выберите вкладку Firewall Rules (Правила брандмауэра). 3. Нажмите кнопку Create a Firewall rule (Создать правило брандмауэра). 4. Выберите тип правила Custom rule (Пользовательское правило) в поле Rule type (Тип правила). 5. Задайте имя для своего правила в поле Rule name, например "Block ASN subnets" (Блокировать подсети ASN). 6. В разделе When incoming requests match... (Когда входящие запросы соответствуют...) настройте условие: ``` (ip.geoip.asnum in {ASN1 ASN2 ASN3...}) ``` Замените ASN1, ASN2, ASN3 и т.д. на номера автономных систем (ASN), которые вы хотите заблокировать. Например: ``` (ip.geoip.asnum in {12714 25159 35048 60144}) ``` Это правило будет блокировать запросы, исходящие из указанных ASN. 7. В разделе Then... (Тогда...) выберите действие Block (Блокировать). 8. При желании можно добавить описание правила в поле Description для удобства. 9. Нажмите кнопку Deploy (Развернуть), чтобы сохранить и применить новое правило. Использование выражения ip.geoip.asnum позволяет блокировать целые подсети, принадлежащие определенным провайдерам или организациям, на основе их номеров автономных систем (ASN). Это более эффективный и гибкий способ блокировки по сравнению с указанием отдельных IP-адресов или подсетей в формате CIDR. Важно соблюдать осторожность при блокировке подсетей, чтобы случайно не заблокировать легитимный трафик. Рекомендуется предварительно протестировать правила в режиме логирования, прежде чем применять блокировки.
Здравствуйте! Кеширование на стороне Cloudflare это больше как CDN. Кеширование, сжатие и оптимизацию кода на своей стороне никто не отменял как говорится. Иначе говоря, нужно улучшать показатели по Google Page Speed и GTMetrix. После правок кода я сбрасываю кеш в CMS и в Cloudflare тоже.
Здравствуйте,после настройки по видео сайт исчез из поисковой выдачи, вебмастер обозначил ошибки: 1 Некоторые страницы сайта отвечают HTTP-кодом 4xx 2 Не найден файл robots.txt 3 Обнаружены ошибки в файлах Sitemap Подскажите плиз в чем причина?
Здравствуйте! Исчезновение сайта из выдачи после настройки CloudFlare может быть вызвано: - Блокировкой поисковых роботов правилами WAF - Некорректной настройкой SSL/TLS - Проблемами с доступом к файлам robots.txt и sitemap.xml Решение: - Добавьте IP-адреса и подсети Яндекса и Google в белый список WAF - Проверьте настройки SSL/TLS (рекомендуется Full или Full (strict)) - Убедитесь, что файлы robots.txt и sitemap.xml доступны - Проверьте корректность редиректов в Page Rules - Временно отключите WAF для диагностики После внесения изменений, повторно отправьте сайт на индексацию через вебмастера.
Здравствуйте! Чтобы подключить хостинг к домену на примере Рег.ру и Timeweb: 1) Зайдите в панель управления доменами на Рег.ру 2) Выберите нужный домен и перейдите в раздел "DNS-серверы" 3) Укажите DNS-серверы Timeweb: ns1.timeweb.ru и ns2.timeweb.ru 4) В панели Timeweb создайте новый домен и укажите его имя 5) Дождитесь обновления DNS (может занять до 48 часов) 6) Настройте директории сайта в панели Timeweb 7) Если используете CloudFlare, укажите DNS-серверы CloudFlare вместо Timeweb.
Здравствуйте! Внутренние переходы - это те кто получил капчу и со страницы с капчей попадает на нужный URL. Нужно понять это боты или люди. Если процент разгадываний большой, значит фильтрует много реальных людей.
Привет, подскажите пожалуйста. Просмотрел половину видео, настроил правила, сделал все эти моменты. И теперь в яндекс метрике не учитываются переходы на сайт, проверяю страницу благодарности, в яндекс метрике вообще посещений нет после подключения клаудфаер. Куда копать? как решается данная проблема?
Здравствуйте! Проблемы с учетом посещений в Яндекс.Метрике после настройки CloudFlare могут быть вызваны: - Блокировкой скриптов Метрики правилами WAF - Некорректной настройкой SSL/TLS - Проблемами с загрузкой JavaScript Решение: - Добавьте домены, подсети и IP-адреса Яндекс.Метрики в белый список WAF - Проверьте настройки SSL/TLS - Убедитесь, что скрипт Метрики корректно загружается на страницах - Временно отключите WAF для диагностики - Проверьте, не блокируют ли браузерные расширения скрипт Метрики После внесения изменений, проверьте работу Метрики через режим отладки.
Здравствуйте! Что у меня после внедрения: - исчезли спам заявки; - порезал 80-85% накрутчиков ПФ; - улучшил средние хостовые ПФ; - перестали парсить и искать дырки на сайте; - рост позиций. Часть накрутчиков и ботов осталась но не существенная, перетекают во внутренние переходы за счёт прохождения капчи на сайте.
Здравствуйте! Проверил на своих сайтах, метрика в этот период работала, значит это не глобальный сбой. Могу предложить что до этого было много ботов. Есть ли визиты по WAF? Были случаи, где отрубило 90% трафика по метрике, потому что это были боты.
@@soltykseo Да, она работала, просто данные приходили с задержкой - даже в метрике появлялась плашка информирующая. А я сидел смотрел на графики и думал что из-за CF проблема. Вечером данные догрузились и стало видно что все в порядке. Аналитикс нормально фиксировал траф.
@@soltykseo у меня с ноября планомерный рост ботов - дошел до 10к/день, из которых около 600 это реальные люди. Вначале игнорил их, но нагрузка на сервер нормально так выросла, пришлось искать решение. Наибольшая часть ботов с ipv6. Настроил CF - отрубило их сразу. Спасибо, за инструкцию. Остались боты по ipv4, пока не знаю, что с ними делать.
ВНИМАНИЕ! Видео устарело! Эти настройки уже не работают для защиты от накрутчиков ПФ на 05.2024. В данный момент у меня уже другая методика защиты и правила WAF. Могу настроить за отдельную плату.
FAQ по настройке CloudFlare:
Q: Настройки с видео не работают. Яндекс и Google не индексируют сайт, что делать?
A: 1) Отловите все IP и подсети Яндекс и Google - разрешите их в WAF (Tools).
2) Обращайтесь ко мне, я сделаю другие настройки, т.к. эти уже устарели.
Q: Как убедиться, что CloudFlare правильно настроен?
A: Проверьте статус в панели управления, убедитесь, что DNS-записи корректны, а SSL работает. Протестируйте сайт на доступность и скорость загрузки.
Q: Влияет ли CloudFlare на SEO?
A: При правильной настройке CloudFlare может улучшить SEO за счет ускорения загрузки сайта. Важно не блокировать поисковых роботов и корректно настроить SSL. Также можно защитить сайт от типовой накрутки ПФ.
Q: Как настроить CloudFlare для защиты от DDoS-атак?
A: Включите "Under Attack Mode" в разделе безопасности, настройте Rate Limiting и используйте WAF для фильтрации вредоносного трафика. Включите DDoS L7.
Q: Можно ли использовать CloudFlare с другими CDN?
A: Да, но это может вызвать проблемы с производительностью. Рекомендуется использовать либо CloudFlare, либо другой CDN, но не оба одновременно.
Q: Как решить проблему с кэшированием в CloudFlare?
A: Используйте функцию Purge Cache для очистки кэша, настройте правила кэширования в Page Rules, используйте заголовки Cache-Control для точного управления кэшированием. Включите кэширование статики в Cache Rules. Включите Smart Tiered Caching Topology.
Q: Влияет ли CloudFlare на работу CMS?
A: В большинстве случаев нет, но могут потребоваться дополнительные настройки для некоторых CMS. Проверьте совместимость и следуйте рекомендациям по настройке для вашей CMS.
Q: Как настроить CloudFlare для работы с API?
A: Используйте API Shield для защиты API, настройте Rate Limiting для предотвращения злоупотреблений, и убедитесь, что правила WAF не блокируют легитимные запросы к API.
Q: Можно ли использовать собственный SSL-сертификат с CloudFlare?
A: Да, в платных планах можно загрузить собственный SSL-сертификат. В бесплатном плане используется сертификат CloudFlare.
Q: Как настроить CloudFlare для работы с почтовым сервером?
A: Убедитесь, что MX-записи корректно настроены в DNS CloudFlare. Для дополнительной защиты используйте Email Security от CloudFlare.
Q: Как отключить CloudFlare для отдельных страниц или разделов сайта?
A: Используйте Page Rules для создания исключений или настройте bypass для определенных URL в разделе WAF.
не круто оставлять старый ролик и в комментариях писать, что настройки неактуальны.
Сайт атаковали боты, прямых заходов было 70 процентов, с поисковых систем 30, после настройки по этому видео, прямых заходов стало 7 процентов, а с из поисковых систем 70 процентов. Посещаемость конечно упала раза в три. Единственное не стал делать настройки Page Rules - 3 правила базовых редиректов. Дай бог здоровья тебе добрый человек за твои советы.
Спасибо! Рад что помогаю фильтровать эту нечисть.
Спасибо автору! Единственно за это время обновился интерфейс CloudFlare.
Благодарю! Да, интерфейс поменялся.
Спасибо, Алексей! Видео помогло быстро разобраться с настройкой.
Пожалуйста! Подписывайтесь на мой канал: t.me/soltykseo
Спасибо, Алексей. Видео оказалось полезным, рад что нашел его)
Спасибо тебе Алексей, помогла еще одним правилом WAF добавленная блокировка IPV6
Здравствуйте! Пожалуйста! IPv6 это чаще всего мобильник, хотя и мобильники могут сидеть с ipv4 и с ПК тоже могут сидеть на IPv6. В т.ч. реальные люди.
Спасибо, избавился от ботов благодаря вашей инструкции, что только не перепробовал... этот бототрафик одолел, выбил все сайты из топа и РСЯ заблокировал сайты из-за скликивания рекламы, в основном мобильный бототрафик, который адресно блокировать бесполезно и даже вредно :( Может появились какие-то нововведения или новые фишки, подписался, буду ждать видео!
Здравствуйте! Рад, что мои рекомендации по настройке CloudFlare помогли вам избавиться от ботов и восстановить позиции сайтов. Это отличный результат!
Действительно, бототрафик - серьезная проблема, особенно для рекламодателей и вебмастеров. Он не только искажает статистику, но и может приводить к блокировкам со стороны рекламных сетей из-за скликивания. А мобильный бототрафик зачастую сложнее отфильтровать, чем трафик с десктопов.
Что касается нововведений и фишек - они регулярно появляются как в самом CloudFlare, так и в связке с другими сервисами. Вот несколько интересных обновлений и советов, которые могут быть вам полезны:
1. Недавно CloudFlare представил новый инструмент - Bot Management. Он доступен на тарифах Pro и выше. Он использует машинное обучение для распознавания и блокировки ботов на основе поведенческих паттернов. Это может улучшить фильтрацию, особенно для сложных ботов.
2. Если у вас сайт на WordPress - попробуйте плагин Cloudflare Turnstile. Он добавляет невидимую CAPTCHA на все формы сайта и эффективно блокирует спам-ботов. При этом не докучает реальным пользователям.
3. Для более гибкой настройки WAF в CloudFlare можно использовать Managed Rules - предустановленные группы правил от самого CloudFlare и сторонних разработчиков. Например, есть группа правил для защиты от скликивания рекламы.
4. Также обратите внимание на настройки Rate Limiting в CloudFlare. Они позволяют ограничивать число запросов к сайту за определенный промежуток времени. Это защищает от DDoS-атак и ботов, которые генерируют нереалистичную нагрузку.
5. Еще один нюанс - используйте подсеть IPv6 Yandex AS13238 не только в правилах WAF, но и в Page Rules. Это ускорит индексацию и позволит отдавать ботам Яндекса чистый контент без изменений.
Хорошая новость - я планирую снимать новые видео по теме защиты от ботов и оптимизации сайтов. Подписывайтесь на канал, чтобы не пропустить обновления. Постараюсь разобрать актуальные кейсы и дать пошаговые рекомендации.
Что касается вашей ситуации - если у вас есть сложные случаи или вопросы по настройке CloudFlare, пишите в комментариях. Будет здорово, если поделитесь своими наблюдениями по мобильному бототрафику. Возможно, это натолкнет меня на новые идеи для видео.
Спасибо за обратную связь и за то, что остаетесь на канале. Защита от ботов - важная и многогранная тема. Вместе мы сможем найти ещё более эффективные тактики и обходные пути. Жду ваших комментариев и вопросов!
Также я могу за доплату настроить 1 в 1 как у себя защиту. Я уже её модифицировал. Примеры и цена услуги: soltyk.ru/uslugi/podklyuchenie-i-nastroyka-cloudflare-ssl-dlya-vashego-sayta
Спасибо за помощь в настройке
Еще заметил нюанс, после настроек перестали в Метрике учитываться переходы с Google считает как внутренние переходы или не учитывает вовсе. Это не критично так как вижу страницы входа.
Здравствуйте!
Спасибо за комментарий и замеченный нюанс с Яндекс.Метрикой после настройки CloudFlare. Давайте разберемся в чем может быть дело.
Судя по вашему описанию, Метрика перестала корректно учитывать источник трафика с Google, воспринимая его как прямые заходы или внутренние переходы. Хотя сами страницы входа все же видны в отчетах.
Такое поведение может быть вызвано слишком строгими правилами WAF (брандмауэра) в CloudFlare. Например, у меня в настройках есть правило, которое блокирует трафик не из России, Беларуси и Казахстана. Но серверы Google расположены по всему миру. И это правило может отсекать часть их органического трафика.
Также на передачу источника трафика могут влиять настройки SSL/HTTPS и способ их реализации на стороне CloudFlare.
Чтобы исправить ситуацию, я бы порекомендовал следующее:
1. Проверить все созданные правила WAF и временно отключить те, что фильтруют по странам или типам User Agent. Особенно обратите внимание на правила с блокировкой (Block).
2. Убедиться, что у вас включен режим Full или Full (strict) SSL в настройках SSL/TLS CloudFlare. Для корректной передачи источника важно, чтобы были задействованы сертификаты самого CloudFlare.
3. Если отключение правил WAF не помогло - попробуйте временно переключить режим SSL/TLS на Flexible. Так вы отключите принудительное HTTPS и сможете проверить, появился ли трафик Google.
4. Если и это не сработало - имеет смысл обратиться в поддержку CloudFlare. Опишите вашу конфигурацию и проблему. Возможно, дело в специфичных настройках Page Rules или некорректной работе Crawler Hints.
В любом случае, методичная диагностика с поэтапным упрощением конфигурации CloudFlare поможет найти причину. Начните с самых строгих правил WAF. Затем проверьте настройки SSL/HTTPS.
Хорошо, что проблема не критична и страницы входа все же видны. Значит, все точно можно исправить. Буду рад, если мои советы помогут вам разобраться с этим нюансом. Напишите, как продвигается устранение неисправностей, если будут вопросы - постараюсь помочь.
Спасибо, что смотрите мои видео и настраиваете защиту сайта по моим рекомендациям. Это важная тема для безопасности и стабильности проектов.
Щас в cloudflare нет в выборе Allow, я так подозреваю, что надо к белым ботам применять Scip , но не уверен, так как в описание к нему написано: Пропускает функции WAF или отключает определенные продукты Cloudflare для обеспечения безопасности при выполнении соответствующих запросов. Нельзя пропускать правила доступа по IP. И вот последнее предложение смущает про IP.
Спасибо за вопрос. Вот мои мысли по поводу настройки Cloudflare WAF для ботов:
Действительно, опция "Allow" в настоящее время недоступна в Cloudflare WAF. Вместо этого, для доверенных ботов рекомендуется использовать "Skip". Однако, как вы верно заметили, нужно учитывать описание этой опции.
Опция "Skip" пропускает некоторые проверки безопасности Cloudflare, но при этом сохраняет контроль доступа по IP. То есть, если у вас настроены разрешённые диапазоны IP для доступа к сайту, они будут применяться и к ботам при выборе "Skip".
Поэтому, если IP белых ботов находятся в разрешённых диапазонах - смело используйте "Skip". Если нет - нужно сначала добавить IP ботов в allowlist, а затем применять "Skip".
Также убедитесь, что выбираете только проверенных ботов, действительно требующих исключения из WAF. Необдуманное разрешение всех ботов может негативно сказаться на безопасности сайта.
В целом, использование "Skip" для доверенных ботов с контролем их IP - это правильный подход и соответствует рекомендациям Cloudflare. Просто делайте это аккуратно и обдуманно. Надеюсь, это помогло прояснить ситуацию. Дайте знать, если есть другие вопросы!
Большое спасибо за прекрасную и понятную инструкцию! Остался вопрос по 3 правилу для firewall. Как быть если у меня ip адрес с которого парсится мой сайт динамический и постоянно меняется?
Здравствуйте! Хороший вопрос. Тут либо каждый раз перед самим парсингом вносить свой ip, либо приобрести какой-нибудь статичный ip адрес, и тоже его занести в список.
Здравствуйте, спасибо за видео. В выборе действий теперь нету allow и нету капчи. Вместо allow и bypass теперь skip. Там вроде более менее понятно. А что вместо капчи отдавать ipv6 трафику? Managed Challenge?
Поддерживаю вопрос!!
Там еще подпункты: WAF components to skip (Компоненты WAF, которые нужно пропустить): 1.All remaining custom rules, 2.All rate limiting rules, 3.All managed rules, 4All Super Bot Fight Mode Rules... Какой выбираем?
Здравствуйте!
Выбираю Managed Challenge - чтобы система сама принимала решение на основе своих данных для выбранного по фильтрам трафика.
Interactive Challenge - это как раз Капча.
JS Challenge - проверка что есть поддержка JavaScript.
Block - блокировать.
Skip - пропустить.
Алексей, благодарю Вас за видео. Подскажите пожалуйста если на сайте уже стоит ssl сертификат, нужно ли подключать от CF или просто достаточно обновить NC сервера?
Здравствуйте! Я активировал SSL бесплатный как на Timeweb, так и на Cloudflare. Так что лучше там и там. Если платный SSL, то только у себя, потому что то пишет что SSL сертификат от Cloudflare, то от Timeweb Let's Encrypt
@@soltykseo спасибо за ответ.🤝
Спасибо, очень полезно. Установил CF - прямые заходы ушли, но выросли сильно внетренние переходы. Если верить справке яндекса, это переходы после таймаута, если посетитель остался на странице. Скорее всего тоже боты. Как бы их еще убить )) Вопрос такой если в метрике ставлю "Принимать данные только с указанных адресов ", нужно код метрики на сайте обновлять?
Здравствуйте! Внутренние переходы - это те кто проходит этап капчи, т.е. внутри домена. На страницах проверки от CF нет счетчика метрики, поэтому как бы внезапно пользователь переходть с нутреннего URL на другой URL этого же сайта со счетчиком метрики.
Значит это скорее всего подозрительные заходы. Ставьте антибот дополнительно и будет счастье от накрутки ПФ.
Обычно после такого код метрики не обновляют. Но если очень давно не обновляли и изменяли настройки, то лучше обновить - сравнить код старый и предложенный новый.
@@soltykseo, спасибо. А что за антибот?
Могу порекомендовать посмотреть это моё видео ruclips.net/video/OE9FvxEbfdA/видео.html
Спасибо за видео, сделали небольшую корректировку по вашему видео. Сейчас по IPv6 регистрируется 11,31%, а также как у вас поперли внутренние переходы. Было бы интересно разобраться подробнее со статистикой и вычислением ботов именно из статистики CF, так как там много интересного есть.
Здравствуйте! Нужно сократить этот процент. Это процент того сколько разгадывают капчу попадающие под это правило. Т.е. в идеале нормальным людям не нужно показывать капчу, а только ботам.
Здравствуйте. Спасибо за развернутое видео по настройке. Только я заметил одно не большое расхождение в 4 пункте. Вы указали не все боты, это было так задумано?)
Здравствуйте! Если про то что в описании, то просто сжал, иначе ограничения по объему текста к видео - не поместилось.
Здравствуйте. Настроили по Вашему видео всё, но не удалось отсечь переходы по ссылкам на сайтах и их довольно много у нас. Переходы идут с разных сайтов на главную страницу нашего сайта. Как-то можно отсечь переходы по ссылкам CloudFlare? Можно ли установить Капчу при переходе на конкретную страницу и как это сделать?
Здравствуйте! Я уже модифицировал настройки. Могу сделать за доп.плату настройку как у себя 1 в 1.
Да, можно усилить защиту конкретных страниц, к примеру поставить принудительную капчу при прямом заходе или при переходе не с поисковых систем на конкретные URL.
Вариантов масса - нужно анализировать минимум Яндекс Метрику.
Моя комбинация настроек и сочетании с антиботом позволят отсечь 90-95% шлака.
@@soltykseoздравствуйте как с вами связаться?
@@soltykseo сколько стоит? как связаться с Вами?
Здравствуйте! Можете написать мне в телеграмм @seosoltyk
Здравствуйте! Настройка Cloudflare от 5000 рублей. Для связи используйте телеграмм @seosoltyk
А что если CloudFlare не подтягивает DNS от регистратора домена. И добавить CNAME не дает - пишет, что в этой зоне добавление CNAME не поддерживаеться?
Здравствуйте, в Cloudeflare нету пункта к выбору Legasy CAPTCHA, ЧТО ВЫБИРАТЬ??
Здравствуйте!
Выбираю Managed Challenge - чтобы система сама принимала решение на основе своих данных для выбранного по фильтрам трафика.
Interactive Challenge - это как раз Капча.
JS Challenge - проверка что есть поддержка JavaScript.
Block - блокировать.
Skip - пропустить.
В данный момент интерфейс CloudFlare изменился, там теперь нет «Allow», «Bypass», «Legacy CAPTCHA» ! Подскажите пожалуйста, каким образом теперь можно проставить в правиле капчу на прямые заходы? А так же заперт на IPv4 address block not managed by the RIPE NCC?
Поддерживаю вопрос
Судя по всему, автор сам не в курсе)). Так как происходит полное игнорирование вопросов... уже без него сама разобралась. И кстати, с его настройками 20-30% ботов проходит. На что автор сам и жалуется. Поэтому, немного подрихтовав его настройки, у меня отсеклось 95% этой нечисти.
@@lenalankano7959 Поделитесь настройками, если не сложно
Вы есть ВКонтакте или инсте? Напишите акк, напишу в личку
Здравствуйте! Спасибо за комментарии. К сожалению, был занят учебой.
Сейчас ботность тоже идёт с Вашими настройками? А то после апреля-мая накрутчики ПФ научились обходить всё это.
Вот думаю какие настойки оставить на Cloudflare. Думаю фильтровать антиботом или ботфактором от накрутки ПФ.
Думаю как снизить CR - те кто успешно разгадывает капчу вообще не должно быть, должен быть равен 0%. Реальным юзерам капчу вообще отдавать не надо.
Спасибо за видеоурок Алексей!
Столкнулся с тем, что при прописанном шаблоне правил № 3, у меня постоянно вылетает капча при открытии сайта. Я же все устройства (IP} не могу в данном правиле занести в белый список...? Обязательно где-то всплывет новый IP. Пришлось отключить правило HTTP2+, от чего я расстроен. Возможно, есть еще способ?
Еще раз спасибо за помощь.
Здравствуйте! Если пользуетесь стационарным ПК, добавите подсеть в исключения. Если мобильным, но тоже в одном и том же гео (базовая станция одна и та же), то скорее всего подсеть будет тоже одна и та же. А вот если мобильник + разное гео, то очень сложно исключать IP адреса.
@@soltykseo Алексей, спасибо за уточнение. Я в качестве IP указал адрес сервера с сайтами, и стало все Ок.👍
Боты идут на главную страницу (прямые заходы) с мобильных телефонов через браузер Chrome Mobile. Общее время на сайте 0:00. В Метрике из-за этого повысился процент отказов до 56%. Если вас не затруднит, подскажите, пожалуйста, какое здесь можно настроить правило в Cloudflare кроме тех, что Вы давали ранее? Спасибо!
Здравствуйте! Пробуйте сделать правило IPv6 ИЛИ referrer=`` т.е. или есть заход по ip версии 6 это как правило мобильник или прямой заход без реферера обычно - включить обязательную проверку и выдачу капчи в Клаудфларе. Но если у вас есть реальный трафик в нише с мобилки (проверяем по основному запросу разницу и долю в вордстате сколько с мобильного частность и сколько с ПК), то могут быть недовольные реальные клиенты принудительной капчей.
Второй вариант, в дополнение к Клаудфларе добавить антибот, как тут на видео ruclips.net/video/OE9FvxEbfdA/видео.html
Спасибо за отличное видео! Сделал как вы описали, по прямым заходам помогло, но кроме прямых заходов лезет всякая нечисть по ссылкам на других сайтах. У меня не должно быть ссылок на других сайтах на мой сайт. Подскажите, какое создать правило в CF, чтобы блокировать абсолютно все переходы с других сайтов по ссылке на мой сайт?
Здравствуйте! Нужно сделать проверку по рефереру. Можно выгрузить список доменов с которых есть внешние ссылки по данным из вебмастеров Яндекс и Google. Далее вписать правило, что если нет переходов с этих сайтов, то проверять.
Либо не пустой реферер, но и не переходы с Яндекс и Гугл.
Можно настроить так, что любые переходы с любого сайта могут попасть под этот фильтр. Нужно настроить аккуратно.
Пустой реферер=прямой заход.
Не пустой реферер=переход с такого-то сайта.
Но и реферер можно технически подделать.
Здраствуйте
Сейчас Роскомнадзор активно смотрит наши и рф сайты, типо где сервер распологается, что оператор, оферта и т.д. От гугл аналититки пришлось отказаться, т.к. нет договора и мы не можем его предоставить РКН.
Вопрос: Если использовать CloudFlare, они смогут это проверить? И дое***ся?
Просто если подключаться, а они потом предоставьте договор на работу с CloudFlare....
Идет накрутка ПФ
Если у вас есть список IP ботов РКН можете их заблокировать или скормить им другой контент.
Здравствуйте! Да, всё верно. Можно и так, конечно есть риски ручной проверки от РКН и что они могут зайти с другого IP адреса и зафиксировать нарушение.
Здравствуйте! Можно определить их IP и подсети и предоставлять им внешне похожую заглушку на том же домене или на другом домене. Похоже будет на клоакинг, но скорее всего решается на уровне PHP (т.е. самого сервера сайта).
Могут сделать запрос в Whois на домен и узнать ip адреса DNS записи.
Накрутки ПФ это плохо, а им всем пофиг на это. Если шквал ПФ ботов и РКН пришёл - скорее всего связанные истории. Могли конкуренты настучать в РКН и запустить ПФ ботов с отказами - чтобы убрать конкурента с рынка... Т.е. заставили вас выбирать защищаться от накрутчиков или делать всё согласно букве закона.
Можно конечно прописывать кучу правил на уровне htaccess и смотреть логи визитов. По старинке так скажем.
Делал настройку по видео. Все работало. Но 03.05.24 сайт перестал работать -
Сайт выполнил переадресацию слишком много раз.
Попробуйте удалить файлы cookie.
ERR_TOO_MANY_REDIRECTS
Я нового нечего не добавлял. Подскажите что может быть?
Редиректы делал также как на видео и все работало.
Здравствуйте, @Heldig11!
Спасибо, что обратились с этой проблемой. Ошибка ERR_TOO_MANY_REDIRECTS обычно возникает, когда сайт зацикливается на бесконечных переадресациях. Давайте разберёмся, что могло пойти не так.
Вот несколько моментов, которые стоит проверить:
1. Правила редиректов в Nginx. Убедитесь, что они настроены корректно и не создают циклических переадресаций. Например, если есть редирект с http на https, проверьте, что он применяется только к http-запросам.
2. Настройки SSL-сертификата. Если сертификат установлен некорректно или истёк, это может вызывать проблемы с редиректами. Проверьте его валидность и корректность настроек.
3. Кэш браузера. Иногда устаревший кэш может вызывать подобные ошибки. Попробуйте очистить кэш и куки браузера, а затем снова зайти на сайт.
4. Кэш Nginx. Аналогично, если у вас настроено кэширование на стороне сервера, попробуйте очистить кэш Nginx.
5. Настройки базы данных. Если ваш сайт использует базу данных, убедитесь, что настройки доступа к ней корректны и она доступна.
Начните с проверки этих пунктов. Если проблема сохранится - присылайте больше деталей: конфигурацию nginx, логи ошибок. Вместе разберёмся и найдём решение.
И не переживайте, такие ошибки случаются даже если всё было настроено правильно. Главное - системный подход к поиску причины. Держите меня в курсе, я постараюсь помочь чем смогу!
Подскажите как проверку сделать на планшеты ?
Здравствуйте!
Чтобы настроить проверку планшетов в WAF CloudFlare, вы можете использовать функцию User Agent Blocking. Вот как это сделать:
1. Зайдите в панель управления CloudFlare, выберите нужный домен.
2. Перейдите в раздел "Безопасность" (Security) и найдите настройки WAF.
3. В разделе WAF Rules нажмите "Create Custom Rule".
4. Настройте правило следующим образом:
- Выберите поле "User Agent"
- Оператор: "contains"
- Значение: строки, характерные для планшетов, например "iPad", "Tablet", "Silk", "Kindle" и т.п.
- Действие: "Block"
5. Сохраните правило. Теперь запросы с юзер-агентами планшетов будут блокироваться.
Пример правила:
(http.user_agent contains "iPad" or http.user_agent contains "Tablet")
Это заблокирует основные планшеты. Для более точной настройки, добавьте юзер-агенты конкретных моделей и браузеров планшетов, которые хотите фильтровать.
Дополнительные рекомендации:
- Тестируйте правила, чтобы не заблокировать легитимный трафик
- Дополняйте список по мере появления новых планшетов и браузеров
- Используйте режим "Challenge" вместо "Block" для менее строгой фильтрации
- Мониторьте логи на предмет ложных срабатываний
Настроив User Agent Blocking по этой инструкции, вы сможете эффективно фильтровать трафик с планшетов с помощью WAF CloudFlare. Детали могут отличаться в зависимости от вашего тарифного плана и версии интерфейса.
Большое Вам спасибо !
Здравствуйте! Пожалуйста.
подскажите можно через этот сайт защитить сервер, по типу подмены ip адреса?
Здравствуйте! Да, по сути получается проксирование сервера. Т.е. трафик идёт через сервер Cloudflare.
При просмотре данных о домене публично будет доступен их IP, а ip сайта скрыт. Но есть мысль что могут сделать пинг или трассировку к домену - узнать маршрутизацию. Теоретически это возможно.
Но даже если хакеры узнают IP, все запросы будут идти через брандмауэр Cloudflare, трафик фильтроваться.
Поисковики будут видеть скорее всего IP Cloudflare с гео в США, вместо первоначального IP.
Respect
Спасибо! Подписывайтесь на мой канал: t.me/soltykseo
спасибо огромное
Пожалуйста 😀
А что насчёт защиты от DDoS (в CloudFlare был такой пункт)?
Здравствуйте! В бесплатной версии нет настройки защиты от DDoS.
Как я понимаю, какая то базовая фильтрация трафика и так есть.
Я понимаю, что в платной версии всё это можно настроить.
Я рассматриваю настройки только бесплатной версии.
Здравствуйте, спасибо за видео, только столкнулся с такой проблемой то что в метрике почти большая часть переходов на сайт стали писаться во внутренние, куда копать?
Здравствуйте!
Скорее всего это ботный трафик (попадает под фильтрацию), возможно прямые заходы с мобильных прокси для нагула ботов.
По прямым заходам с мобильных отдаем им капчу - именно поэтому часть прошедших проверку капчи на этом же сайте перенаправляются внутри сайта на нормальную страницу, т.е. и получается внутренний переход.
Если отключить защиту Ipv6 и прямые заходы, то внутренних переходов станет меньше, но накрутчиков станет больше.
@@soltykseo Спасибо за ответ, невнимательно настроил проверку ип6 и ссл, и всех отправлял на проверку)
Подскажите 2 правило, не видно на видео что в самом низу выбрано, какой пункт?
Здравствуйте! Теперь нужно выбирать Managed Challenge
Здравствуйте. Настроила. Но практически исчезли переходы на сайт из поисковиков. Из Гугла вообще нет ни одного. Из поисковика Яндекса примерно 5%. Прямые заходы 5% и остальные 90% внутренние переходы С чем это может быть связано?
Здравствуйте! Значит что-то неправильно настроили. Нужно не блокировать IP адреса поисковиков - исключать их в правилах WAF.
Я как делаю - захожу после настройки WAF в вебмастера Яндекс и Google и проверяю доступность сайта через проверку ответа, валидаторы микроразметки, индексаторы - если блокируется, то заходим в отчеты WAF и отлавливаем нужных нам IP сервисов. Для упрощения придумайте URL с добавлением абракадабры, т.е. чтобы только вы его знали и те сервисы что нужны - если в отчетах появились визиты с обращением к такому URL то IP тот что нам нужно исключить. исключения лучше всего делать даже не по IP а по подсетям ASN.
@@soltykseo Спасибо, попробую.
Привет. Спасибо за видео! А как это сделать для конкретного субдомена не затрагивая основной домен и другие субдомены одного хоста, если он на клауде уже?
Здравствуйте! Если только добавлять значение "Hostname" в правила WAF
Приветствую, окажите помощь вторую неделю на один URL сайта топят боты вот ip по метрики OJSC Rostelecom Macroregional Branch South, как отсечь?
Здравствуйте! Поставить жёсткую проверку для прямых заходов на определенный URL. Найти номера подсетей по названию или в отчётах - поставить жёсткую фильтрацию или блокировку.
@@soltykseo как это сделать? Как на определенный URL поставить капчу в Клоуде? Как создать такое правило?
Зайти в WAF и создать правило там. Могу помочь с настройкой платно.
Здравствуйте,скажите лечится ли в самом cloudflare то, что дубли страниц создает???
Здравствуйте! CloudFlare может помочь с дублями страниц через настройку Page Rules для редиректов. Например:
1) Зайдите в раздел Page Rules в CloudFlare
2) Создайте правило для URL с www и без www
3) Настройте 301 редирект на предпочтительную версию
Для сложных случаев лучше настраивать редиректы на уровне CMS или в .htaccess файле. CloudFlare - дополнительный инструмент, но не заменяет базовую оптимизацию сайта.
У меня почему-то Cloudflare пропускает страну Германия, хотя поставил на все страны Block кроме России.
Здравствуйте!
Может пропускать по более приоритетным верхним правилам.
Т.е. к примеру срабатывают верхние правила, где разрешает посещение, а правило по стране уже не работает.
Я сейчас сделал другую стратегию - не блокировать по странам, а на усмотрение системы.
Здравствуйте. Если SSL сертификат был получен через хостинг тут его тоже нужно активировать?
Здравствуйте! Да, я сначала через хостинг активировал SSL сертификат, а затем сделал и в Cloudflare.
А что делать если гугл стал блокировать все рекламные объявления? Отключить page rules?
Здравствуйте! Блокировка рекламных объявлений Google может быть вызвана несколькими причинами:
- Проверьте, не блокируете ли вы IP-адреса Google в WAF CloudFlare
- Добавьте IP-адреса и подсети Google AdSense в белый список CloudFlare
- Проверьте качество контента и соответствие правилам AdSense
- Убедитесь, что Page Rules не мешают сканированию страниц Google
- Временно отключите WAF для диагностики
Если проблема сохраняется, обратитесь в поддержку Google AdSense для детального анализа.
После установки правил, теперь Яндекс не может проверить путь RSS (т.е /rss.xml). Как отменить проверку по адресу /rss.xml, а то турбо-страницы перестали обновляться.
Здравствуйте! Идем в отчеты WAF - смотрим что обращалось к URL /rss.xml - исключаем подсети (ASN) в правилах WAF, которые и производили блокировку.
Привет как заблокировать определенную подсеть? Спасибо
Чтобы заблокировать определенную подсеть в WAF Cloudflare, можно использовать функцию Custom Rules (Пользовательские правила) и создать правило на основе номера автономной системы (ASN) с помощью выражения ip.geoip.asnum. Вот пошаговая инструкция:
1. Войдите в свою учетную запись Cloudflare и перейдите в раздел Firewall (Брандмауэр).
2. В левом меню выберите вкладку Firewall Rules (Правила брандмауэра).
3. Нажмите кнопку Create a Firewall rule (Создать правило брандмауэра).
4. Выберите тип правила Custom rule (Пользовательское правило) в поле Rule type (Тип правила).
5. Задайте имя для своего правила в поле Rule name, например "Block ASN subnets" (Блокировать подсети ASN).
6. В разделе When incoming requests match... (Когда входящие запросы соответствуют...) настройте условие:
```
(ip.geoip.asnum in {ASN1 ASN2 ASN3...})
```
Замените ASN1, ASN2, ASN3 и т.д. на номера автономных систем (ASN), которые вы хотите заблокировать. Например:
```
(ip.geoip.asnum in {12714 25159 35048 60144})
```
Это правило будет блокировать запросы, исходящие из указанных ASN.
7. В разделе Then... (Тогда...) выберите действие Block (Блокировать).
8. При желании можно добавить описание правила в поле Description для удобства.
9. Нажмите кнопку Deploy (Развернуть), чтобы сохранить и применить новое правило.
Использование выражения ip.geoip.asnum позволяет блокировать целые подсети, принадлежащие определенным провайдерам или организациям, на основе их номеров автономных систем (ASN). Это более эффективный и гибкий способ блокировки по сравнению с указанием отдельных IP-адресов или подсетей в формате CIDR.
Важно соблюдать осторожность при блокировке подсетей, чтобы случайно не заблокировать легитимный трафик. Рекомендуется предварительно протестировать правила в режиме логирования, прежде чем применять блокировки.
А плагин кэширования на wordpress нужно отключать если сайт уже кэшируется на cloudflare? Или как это работает?
Здравствуйте! Кеширование на стороне Cloudflare это больше как CDN.
Кеширование, сжатие и оптимизацию кода на своей стороне никто не отменял как говорится. Иначе говоря, нужно улучшать показатели по Google Page Speed и GTMetrix.
После правок кода я сбрасываю кеш в CMS и в Cloudflare тоже.
Здравствуйте,после настройки по видео сайт исчез из поисковой выдачи, вебмастер обозначил ошибки:
1 Некоторые страницы сайта отвечают HTTP-кодом 4xx
2 Не найден файл robots.txt
3 Обнаружены ошибки в файлах Sitemap
Подскажите плиз в чем причина?
Здравствуйте! Исчезновение сайта из выдачи после настройки CloudFlare может быть вызвано:
- Блокировкой поисковых роботов правилами WAF
- Некорректной настройкой SSL/TLS
- Проблемами с доступом к файлам robots.txt и sitemap.xml
Решение:
- Добавьте IP-адреса и подсети Яндекса и Google в белый список WAF
- Проверьте настройки SSL/TLS (рекомендуется Full или Full (strict))
- Убедитесь, что файлы robots.txt и sitemap.xml доступны
- Проверьте корректность редиректов в Page Rules
- Временно отключите WAF для диагностики
После внесения изменений, повторно отправьте сайт на индексацию через вебмастера.
А как сам хостинг к домену подключить - не понятно)))
Здравствуйте!
Чтобы подключить хостинг к домену на примере Рег.ру и Timeweb:
1) Зайдите в панель управления доменами на Рег.ру
2) Выберите нужный домен и перейдите в раздел "DNS-серверы"
3) Укажите DNS-серверы Timeweb: ns1.timeweb.ru и ns2.timeweb.ru
4) В панели Timeweb создайте новый домен и укажите его имя
5) Дождитесь обновления DNS (может занять до 48 часов)
6) Настройте директории сайта в панели Timeweb
7) Если используете CloudFlare, укажите DNS-серверы CloudFlare вместо Timeweb.
Спасибо за видео! Сделал по видео, вроде помогло, но вместо прямых заходов появились ВНУТРЕННИЕ ПЕРЕХОДЫ. что с ними делать кто подскажет?
Здравствуйте! Внутренние переходы - это те кто получил капчу и со страницы с капчей попадает на нужный URL.
Нужно понять это боты или люди. Если процент разгадываний большой, значит фильтрует много реальных людей.
Привет, подскажите пожалуйста. Просмотрел половину видео, настроил правила, сделал все эти моменты. И теперь в яндекс метрике не учитываются переходы на сайт, проверяю страницу благодарности, в яндекс метрике вообще посещений нет после подключения клаудфаер. Куда копать? как решается данная проблема?
Здравствуйте! Проблемы с учетом посещений в Яндекс.Метрике после настройки CloudFlare могут быть вызваны:
- Блокировкой скриптов Метрики правилами WAF
- Некорректной настройкой SSL/TLS
- Проблемами с загрузкой JavaScript
Решение:
- Добавьте домены, подсети и IP-адреса Яндекс.Метрики в белый список WAF
- Проверьте настройки SSL/TLS
- Убедитесь, что скрипт Метрики корректно загружается на страницах
- Временно отключите WAF для диагностики
- Проверьте, не блокируют ли браузерные расширения скрипт Метрики
После внесения изменений, проверьте работу Метрики через режим отладки.
лайк от топового вебмастера, от СЕООНЛИ
Спасибо)
не понял сути cloudflare если с роботами 400 посетителей, без роботов 200
Здравствуйте!
Что у меня после внедрения:
- исчезли спам заявки;
- порезал 80-85% накрутчиков ПФ;
- улучшил средние хостовые ПФ;
- перестали парсить и искать дырки на сайте;
- рост позиций.
Часть накрутчиков и ботов осталась но не существенная, перетекают во внутренние переходы за счёт прохождения капчи на сайте.
Огромное вам СПАСИБО, Алексей!
Здравствуйте! Пожалуйста.
Сделал все как в видео - метрика перестала регистрировать посетителей 😕
А нет, дело не в CF, просто метрика сегодня глючит)))
Здравствуйте! Проверил на своих сайтах, метрика в этот период работала, значит это не глобальный сбой.
Могу предложить что до этого было много ботов. Есть ли визиты по WAF?
Были случаи, где отрубило 90% трафика по метрике, потому что это были боты.
@@soltykseo Да, она работала, просто данные приходили с задержкой - даже в метрике появлялась плашка информирующая. А я сидел смотрел на графики и думал что из-за CF проблема. Вечером данные догрузились и стало видно что все в порядке. Аналитикс нормально фиксировал траф.
@@soltykseo у меня с ноября планомерный рост ботов - дошел до 10к/день, из которых около 600 это реальные люди. Вначале игнорил их, но нагрузка на сервер нормально так выросла, пришлось искать решение. Наибольшая часть ботов с ipv6. Настроил CF - отрубило их сразу. Спасибо, за инструкцию. Остались боты по ipv4, пока не знаю, что с ними делать.
Сделал все по видео. Тесты по гуглу не проходит. Сайт выпал из индекса Гугла. Посмотрел в чем проблема. Оказывается гуглу отдается 403.
Здравствуйте! Нужно смотреть какие правила срабатывают и делать исключения по IP, подсети или по другим правилам.
@@soltykseo А как посмотреть какие правила срабатывают именно на гугл?
У Вас получилось решить проблему?
тестовый комментарий
Уже ответил на @UnixWeb
ВНИМАНИЕ! Видео устарело! Эти настройки уже не работают для защиты от накрутчиков ПФ на 05.2024.
В данный момент у меня уже другая методика защиты и правила WAF. Могу настроить за отдельную плату.
бгг все листы в гитхабе бесплатно лежат))) какая плата ты о чем
@@sandrynin ссылку напишите пожалуйста
@@iney17 в гугле забанили?
воспользуйтесь поиском и не дурите людям голову