Hướng dẫn chặn liên kết xấu và chống spam bots bằng Ahrefs

Trong bài viết trước của Mần SEO, tác giả cho biết Ahrefs hỗ trợ tốt phát hiện liên kết xấu (từ đối thủ, hoặc từ spammer). Hôm nay mình sẽ hướng dẫn chi tiết hơn về cách lọc và ngăn chặn spam hoặc liên kết xấu (negative SEO), nhờ vào 02 công cụ Ahrefs và Google Webmaster Tools.

I. Lọc liên kết xấu bằng Ahrefs.com

Anchor Cloud của Ahrefs.com giúp người làm SEO có cái nhìn tổng quan về từ khóa:

Kiểm tra từ khóa thông qua Anchor:

Nhấp vào liên kết và view-source:

Đã thấy liên kết xấu mà ManSEO.com bị chèn với anchor text là aczztqnnwf, với anchor này từ khóa chính của chúng ta khi làm SEO không những không lên mà còn bị đánh tuột nữa 

Kết hợp Ahrefs.com và Google Webmaster Tools để chặn liên kết xấu:

Để giải quyết tình trạng spam links hoặc website bị đối thủ cố tình trỏ links xấu (negative SEO), Google đã cho ra mắt công cụ mang tên Google Disavow Links (Từ chối liên kết), mục đích nhằm hạ thấp và loại trừ những liên kết ngoài mong muốn này.

Trong phần trên ManSEO.com đã giới thiệu về tính năng lọc từ khóa nhanh chóng và chính xác của Ahrefs.com, từ đây các bạn SEOer có thể an tâm khi bị đối thủ chọc phá.

Từ công cụ kiểm tra liên kết Ahrefs.com đã lọc ra được các Anchor cũng như Domain dẫn backlinks xấu tới ManSEO.com.

Để gửi danh sách tên miền đã lọc từ Ahrefs.com, bạn đăng nhập vào Google Webmaster Tools lựa chọn tên miền cần Từ chối liên kết. Tại đây mình demo luôn ManSEO.com 

Đến đây có thể nói là dễ như ăn cháo rồi, nhưng chưa chắc đâu nhé. Bạn phải cẩn thận với ghi chú bên dưới. Disavow links có 2 loại:
– Loại 1: Từ chối liên kết từ 1 url, điều này đồng nghĩa với việc Google chỉ loại trừ 1 url khi bạn submit lên.
– Loại 2: Từ chối liên kết từ 1 domain, Google sẽ loại trừ toàn bộ liên kết phát sinh từ domain đó ra, như trong hình có 2 domain là manseo.com và nguyennghia.com, bất kỳ liên kết nào đặt links từ 2 domain này trỏ đến site bạn đều hoàn toàn mất giá trị. Loại này được khuyên dùng vì sẽ tiết kiệm thời gian lọc từng liên kết.

Cuối cùng mình submit lên Google và nhấn hoàn thành. Ở đây mình chọn loại 2, vì có khá nhiều pages đặt liên kết xấu từ 1 domain.

Như vậy là ManSEO.com đã hướng dẫn xong phần chặn liên kết xấu thông qua công cụ phân tích liên kết Ahrefs.com. Sẽ là 1 sự kết hợp tuyệt vời giữa Ahrefs và Google Webmaster Tools trong việc phân tích liên kết.

II. Chặn truy cập trỏ từ liên kết xấu:

Các liên kết đặt về website được máy chủ hiểu là HTTP Referer, việc website của chúng ta được hưởng truy cập từ website nào có nghĩa là máy chủ đã nhận refer từ website khác. Giải thích như thế này cho ngắn gọn và dễ hiểu, nếu như lôi ra thì rất dài dòng và lê thê 

Bên dưới đây là logs mà máy chủ của mình đã capture lại, bạn có thể thấy Referring URL của mình bên dưới có sự xuất hiện của facebook.com

Có nghĩa là khách đã truy cập vào facebook.com (có thể là bạn bè của mình) sau đó họ click vào liên kết mà mình đã chia sẻ để đến với website của mình. Trong việc tối ưu hóa website thì điều này rất tốt, website của mình đã nhận được traffic từ facebook.com. Nhưng vấn đề của chúng ta là những liên kết xấu bên trên được lọc từ Ahrefs.com liệu có thật sự tốt cho website của chúng ta? Từ đó ManSEO.com đưa ra giải pháp để chặn liên kết từ domain này trỏ sang domain khác.

Kỹ thuật chặn liên kết trỏ đến website, mình tách ra làm 2 phần. Phần thứ nhất hướng dẫn chặn liên kết thông qua .htaccess. Phần thứ hai hướng dẫn chặn liên kết thông qua code php.

Phần thứ nhất: Hướng dẫn cấu hình tập tin .htaccess được với nội dung như sau:

SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?manseo\.com.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?nguyennghia\.com.*$" manseo
Order Deny,Allow
Deny from env=manseo

Trong đoạn code .htaccess bên trên, nếu có truy xuất nào từ 2 domain manseo.com & nguyennghia.com đều bị chặn lại. Thêm đoạn mã sau để tạo thông báo 403 (chú ý tập tin 403.html đặt tại thư mục root).

ErrorDocument 403 /403.html

Bạn có thể xem demo tại đây: http://demo.nguyennghia.com/htaccess_block_referer/

Sau khi bạn click vào liên kết bên trên, trình duyệt sẽ chuyển bạn từ domain ManSEO.com sang NguyenNghia.com, lúc này bên máy chủ NguyenNghia.com sẽ xử lý và chặn refer từ ManSEO.com và hiển thị thông báo 403.

Bạn có thể copy url trên và paste vào trình duyệt thì truy cập bình thường (cái này gọi là direct), hoặc những liên kết không nằm trong danh sách đen của tập tin .htaccess cũng truy cập bình thường.

Bên dưới đây là danh sách domain chứa liên kết xấu trỏ đến ManSEO.com được mình export ra:

Quay trở lại vấn đề của ManSEO.com, mình viết tập tin .htaccess như sau:

SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?bjfl.81\.gs.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?dailyf5\.com.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?mpp.eng.usm\.my.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?mx3.agrores\.ru.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?nakama-anime\.com.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?propagang.lvnh\.fr.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?world-stream\.net.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?chefachef\.com.br.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?electro-blog\.pl.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?freshegg\.com.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?gadgets-bf3\.co.uk.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?hi.0n-line\.net.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?maxi-hobby\.ru.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?mediapointthai\.com.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?penzatelemed\.ru.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?reago\.de.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?santa-ponsa\.cc.*$" manseo
SetEnvIfNoCase Referer "^http://([a-z0-9\-]+\.)?seoptimise\.com.*$" manseo
Order Deny,Allow
Deny from env=manseo
ErrorDocument 403 /403.html

Phần hai: Hướng dẫn chặn truy cập từ liên kết xấu thông qua code php.

Phần này liên quan đến code php, đoạn mã này sẽ nhúng trực tiếp vào source đang chạy với các tính năng tương đương như đoạn code .htaccess bên trên nhưng có phần ưu việt hơn. Cái phần ưu việt ở đây là domain dẫn links xấu trỏ đến domain của chúng ta, máy chủ không thông báo gì cả, mà code sẽ xử lý để bật về chính cái domain đặt links xấu đấy. Các robots sẽ có một màn nhào lộn đúng nghĩa 

Đoạn mã php mình vừa kể trên có nguồn từ Stop Spam Referer, đã được chia sẻ trên Source Forge và Code Google nên mình nghĩ đây là Open Source, bạn có thể phát triển thêm (nhưng nhớ hỏi tác giả nữa nhé).

Bạn có thể xem demo tại đây:
– http://demo.nguyennghia.com/php_block_referer/
– http://demo.nguyennghia.com/php_block_referer/content_1.php
– http://demo.nguyennghia.com/php_block_referer/content_2.php

Bạn hãy thử copy url trên, paste vào trình duyệt thao tác này gọi là direct sẽ không bị bật lại. Content sẽ show ra rất bình thường.

Sau khi tải về, mình tiến hành cấu hình các bước cơ bản sau:

Bước 1: Giải nén và up thư mục referer lên thư mục root.

Bước 2: Cài đặt bằng cách thêm đoạn mã này vào index.php hoặc wp-config.php (thông thường chèn vào tập tin cấu hình hệ thống là tốt nhất).

define('BAD_REFERER_ACTIVE', true);
if ( is_file( @dirname(__FILE__).'/referer/bad_referer.php') )
include_once( @dirname(__FILE__).'/referer/bad_referer.php') ;

Bước 3: Mở tập tin list_custom.php để tiếp tục cấu hình.

/** domains blacklist : domain.com */
array_push( $ct_rules, 'manseo.com', 'nguyennghia.com', );
/** keywords blacklist : poker */
array_push( $ct_rules2, 'seo', 'lamseo', );

Bạn làm theo mẫu bên trên, domains blacklist là những domain chứa liên kết xấu đã lọc từ Ahrefs bên trên, hoặc bên dưới chọn những từ khóa không mong muốn. Sau đó save lại.

Bước 4: Thật ra 3 bước trên đã hoàn chỉnh rồi, nhưng đoạn code của tác giả bên trên có chút sai sót như hình bên dưới đây:

Mình hướng dẫn mọi người fix lại như sau:

Mở tập tin bad_referer.php ra, nhìn vào dòng 107 đến dòng 117, thay thế bằng code sau (mục đích xóa http:// dư thừa ra):

$check2 = str_replace($ct_rules2, '*', BAD_REFERER_GET_REFERER );
if( BAD_REFERER_GET_REFERER != $check2 ) {
header('location: '.BAD_REFERER_GET_REFERER );
die();
}
$check = str_replace($ct_rules, '*', BAD_REFERER_GET_REFERER );
if( BAD_REFERER_GET_REFERER != $check ) {
header('location: '.BAD_REFERER_GET_REFERER );
die();
}

Cuối cùng, bạn chỉ việc save lại và cảm nhận thành quả của bạn! Chúc bạn thành công!