Nginx多域名蜘蛛分流配置教程：实现蜘蛛访问A域名保留、真人自动跳转B域名

12
Nginx多域名蜘蛛分流配置教程：实现蜘蛛访问A域名保留、真人自动跳转B域名

Nginx多域名蜘蛛分流配置教程：实现蜘蛛访问A域名保留、真人自动跳转B域名

导读：在SEO优化和网站迁移过程中，经常遇到需要绑定多个域名的场景。本文分享一个实用的Nginx蜘蛛分流方案：当搜索引擎蜘蛛访问旧域名A时正常抓取内容，而真实用户访问时自动301跳转到新域名B，既保证SEO收录不受影响，又统一用户体验。

一、业务场景与需求分析

假设你的网站同时绑定了两个域名：

  • 域名A（旧域名）：www.maolaoban.com、maolaoban.com

  • 域名B（主域名）：mao.aiqixie.com

需要实现的效果：

访问者类型访问域名预期结果
搜索引擎蜘蛛https://maolaoban.com正常显示内容（200状态码）
搜索引擎蜘蛛https://www.maolaoban.com正常显示内容（200状态码）
真实用户http://www.maolaoban.com301跳转至 https://mao.aiqixie.com/
真实用户https://maolaoban.com301跳转至 https://mao.aiqixie.com/
任何人https://mao.aiqixie.com正常显示内容（200状态码）

二、核心实现原理

本方案基于Nginx的User-Agent识别和变量标记实现：

  1. 蜘蛛识别：通过$http_user_agent变量匹配主流搜索引擎蜘蛛特征（百度、谷歌、必应、搜狗、360等）

  2. 变量标记：使用set $is_spider标记当前请求是否为蜘蛛

  3. 条件跳转：利用Nginx的if指令结合变量，在不同阶段执行不同跳转策略

  4. 分离Server块：将域名A和域名B分别配置独立的server块，避免规则冲突

三、完整Nginx配置代码（宝塔面板适用）

以下配置基于宝塔面板生成的Nginx配置文件修改，保留所有宝塔注释标记，可直接复制使用。

3.1 域名B配置（主域名，正常访问）

server
{
    listen 80;
    listen 443 ssl http2 ;
    listen [::]:443 ssl http2 ;
    listen [::]:80;
    server_name mao.aiqixie.com mao.ally.ren;
    index index.php index.html index.htm default.php default.htm default.html;
    root /www/wwwroot/www_maolaoban_com;
    #CERT-APPLY-CHECK--START
    # 用于SSL证书申请时的文件验证相关配置 -- 请勿删除
    include /www/server/panel/vhost/nginx/well-known/www.maolaoban.com.conf;
    #CERT-APPLY-CHECK--END
    include /www/server/panel/vhost/nginx/extension/www.maolaoban.com/*.conf;
    
    #SSL-START SSL相关配置，请勿删除或修改下一行带注释的404规则
    #error_page 404/404.html;
    #HTTP_TO_HTTPS_START
    set $isRedcert 1;
    if ($server_port != 443) {
        set $isRedcert 2;
    }
    if ( $uri ~ /\.well-known/ ) {
        set $isRedcert 1;
    }
    if ($isRedcert != 1) {
        rewrite ^(/.*)$ https://$host$1 permanent;
    }
    #HTTP_TO_HTTPS_END
    ssl_certificate    /www/server/panel/vhost/cert/www.maolaoban.com/fullchain.pem;
    ssl_certificate_key    /www/server/panel/vhost/cert/www.maolaoban.com/privkey.pem;
    ssl_protocols TLSv1.1 TLSv1.2 TLSv1.3;
    ssl_ciphers EECDH+CHACHA20:EECDH+CHACHA20-draft:EECDH+AES128:RSA+AES128:EECDH+AES256:RSA+AES256:EECDH+3DES:RSA+3DES:!MD5;
    ssl_prefer_server_ciphers on;
    ssl_session_tickets on;
    ssl_session_cache shared:SSL:10m;
    ssl_session_timeout 10m;
    add_header Strict-Transport-Security "max-age=31536000";
    error_page 497  https://$host$request_uri;

    #SSL-END
    #引用重定向规则，注释后配置的重定向代理将无效
    include /www/server/panel/vhost/nginx/redirect/www.maolaoban.com/*.conf;

    #SECURITY-HEADERS-START
    add_header X-XSS-Protection   "1; mode=block" always;
    add_header X-Content-Type-Options   "nosniff" always;
    #SECURITY-HEADERS-END
    #ERROR-PAGE-START  错误页配置，可以注释、删除或修改
        #error_page 502 /502.html;
    #ERROR-PAGE-END

    #PHP-INFO-START  PHP引用配置，可以注释或修改
    include enable-php-80.conf;
    #PHP-INFO-END

    #REWRITE-START URL重写规则引用,修改后将导致面板设置的伪静态规则失效
    include /www/server/panel/vhost/rewrite/www.maolaoban.com.conf;
    #REWRITE-END

    # 禁止访问的敏感文件
    location ~* (\.user.ini|\.htaccess|\.htpasswd|\.env.*|\.project|\.bashrc|\.bash_profile|\.bash_logout|\.DS_Store|\.gitignore|\.gitattributes|LICENSE|README\.md|CLAUDE\.md|CHANGELOG\.md|CHANGELOG|CONTRIBUTING\.md|TODO\.md|FAQ\.md|composer\.json|composer\.lock|package(-lock)?\.json|yarn\.lock|pnpm-lock\.yaml|\.\w+~|\.swp|\.swo|\.bak(up)?|\.old|\.tmp|\.temp|\.log|\.sql(\.gz)?|docker-compose\.yml|docker\.env|Dockerfile|\.csproj|\.sln|Cargo\.toml|Cargo\.lock|go\.mod|go\.sum|phpunit\.xml|phpunit\.xml|pom\.xml|build\.gradl|pyproject\.toml|requirements\.txt|application(-\w+)?\.(ya?ml|properties))$
    {
        return 404;
    }
    
    # 禁止访问的敏感目录
    location ~* /(\.git|\.svn|\.bzr|\.vscode|\.claude|\.idea|\.ssh|\.github|\.npm|\.yarn|\.pnpm|\.cache|\.husky|\.turbo|\.next|\.nuxt|node_modules|runtime)/ {
        return 404;
    }

    #一键申请SSL证书验证目录相关设置
    location ~ \.well-known{
        allow all;
    }

    #禁止在证书验证目录放入敏感文件
    if ( $uri ~ "^/\.well-known/.*\.(php|jsp|py|js|css|lua|ts|go|zip|tar\.gz|rar|7z|sql|bak)$" ) {
        return 403;
    }

    location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$
    {
        expires      30d;
        error_log /dev/null;
        access_log /dev/null;
    }

    location ~ .*\.(js|css)?$
    {
        expires      12h;
        error_log /dev/null;
        access_log /dev/null;
    }
    #GZIP START
    gzip on;
    gzip_min_length 1k;
    gzip_buffers 4 16k;
    gzip_http_version 1.1;
    gzip_comp_level 6;
    gzip_types text/plain application/javascript application/x-javascript text/javascript text/css application/xml application/json image/jpeg image/gif image/png font/ttf font/otf image/svg+xml application/xml+rss text/x-js;
    gzip_vary on;
    gzip_proxied expired no-cache no-store private auth;
    gzip_disable "MSIE [1-6]\.";
    #GZIP END

    access_log  /www/wwwlogs/www.maolaoban.com.log;
    error_log  /www/wwwlogs/www.maolaoban.com.error.log;
}

3.2 域名A配置（蜘蛛保留，真人跳转）

关键注意：此配置必须单独新建一个server块，且蜘蛛检测变量需放在SSL配置之前，HTTPS跳转逻辑需放在#SSL-END之后、location之前。

server
{
    listen 80;
    listen 443 ssl http2 ;
    listen [::]:443 ssl http2 ;
    listen [::]:80;
    server_name www.maolaoban.com maolaoban.com;
    index index.php index.html index.htm default.php default.htm default.html;
    root /www/wwwroot/www_maolaoban_com;
    #CERT-APPLY-CHECK--START
    # 用于SSL证书申请时的文件验证相关配置 -- 请勿删除
    include /www/server/panel/vhost/nginx/well-known/www.maolaoban.com.conf;
    #CERT-APPLY-CHECK--END
    include /www/server/panel/vhost/nginx/extension/www.maolaoban.com/*.conf;
    
    # ========================================
    # [核心] 蜘蛛User-Agent检测 - 必须放在SSL配置之前
    # ========================================
    set $is_spider 0;
    if ($http_user_agent ~* "(baiduspider|googlebot|bingbot|sogou|360spider|yisouspider|yandex|slurp|bot|crawler|spider)") {
        set $is_spider 1;
    }
    
    # ========================================
    # [核心] HTTPS跳转标记 - 提前设置变量
    # ========================================
    set $do_redirect 0;
    if ($server_port = 443) {
        if ($is_spider = 0) {
            set $do_redirect 1;
        }
    }
    
    #SSL-START SSL相关配置，请勿删除或修改下一行带注释的404规则
    #error_page 404/404.html;
    #HTTP_TO_HTTPS_START
    set $isRedcert 1;
    if ($server_port != 443) {
        set $isRedcert 2;
    }
    if ( $uri ~ /\.well-known/ ) {
        set $isRedcert 1;
    }
    # [关键] HTTP跳转逻辑：真人→B域名HTTPS，蜘蛛→同域名HTTPS
    if ($isRedcert != 1) {
        if ($is_spider = 0) {
            return 301 https://mao.aiqixie.com$request_uri;
        }
        rewrite ^(/.*)$ https://$host$1 permanent;
    }
    #HTTP_TO_HTTPS_END
    ssl_certificate    /www/server/panel/vhost/cert/www.maolaoban.com/fullchain.pem;
    ssl_certificate_key    /www/server/panel/vhost/cert/www.maolaoban.com/privkey.pem;
    ssl_protocols TLSv1.1 TLSv1.2 TLSv1.3;
    ssl_ciphers EECDH+CHACHA20:EECDH+CHACHA20-draft:EECDH+AES128:RSA+AES128:EECDH+AES256:RSA+AES256:EECDH+3DES:RSA+3DES:!MD5;
    ssl_prefer_server_ciphers on;
    ssl_session_tickets on;
    ssl_session_cache shared:SSL:10m;
    ssl_session_timeout 10m;
    add_header Strict-Transport-Security "max-age=31536000";
    error_page 497  https://$host$request_uri;

    #SSL-END
    
    # ========================================
    # [核心] HTTPS跳转执行 - 必须放在SSL-END之后、location之前
    # ========================================
    if ($do_redirect = 1) {
        return 301 https://mao.aiqixie.com$request_uri;
    }
    
    #引用重定向规则，注释后配置的重定向代理将无效
    include /www/server/panel/vhost/nginx/redirect/www.maolaoban.com/*.conf;

    #SECURITY-HEADERS-START
    add_header X-XSS-Protection   "1; mode=block" always;
    add_header X-Content-Type-Options   "nosniff" always;
    #SECURITY-HEADERS-END
    #ERROR-PAGE-START  错误页配置，可以注释、删除或修改
        #error_page 502 /502.html;
    #ERROR-PAGE-END

    #PHP-INFO-START  PHP引用配置，可以注释或修改
    include enable-php-80.conf;
    #PHP-INFO-END

    #REWRITE-START URL重写规则引用,修改后将导致面板设置的伪静态规则失效
    include /www/server/panel/vhost/rewrite/www.maolaoban.com.conf;
    #REWRITE-END

    # 禁止访问的敏感文件
    location ~* (\.user.ini|\.htaccess|\.htpasswd|\.env.*|\.project|\.bashrc|\.bash_profile|\.bash_logout|\.DS_Store|\.gitignore|\.gitattributes|LICENSE|README\.md|CLAUDE\.md|CHANGELOG\.md|CHANGELOG|CONTRIBUTING\.md|TODO\.md|FAQ\.md|composer\.json|composer\.lock|package(-lock)?\.json|yarn\.lock|pnpm-lock\.yaml|\.\w+~|\.swp|\.swo|\.bak(up)?|\.old|\.tmp|\.temp|\.log|\.sql(\.gz)?|docker-compose\.yml|docker\.env|Dockerfile|\.csproj|\.sln|Cargo\.toml|Cargo\.lock|go\.mod|go\.sum|phpunit\.xml|phpunit\.xml|pom\.xml|build\.gradl|pyproject\.toml|requirements\.txt|application(-\w+)?\.(ya?ml|properties))$
    {
        return 404;
    }
    
    # 禁止访问的敏感目录
    location ~* /(\.git|\.svn|\.bzr|\.vscode|\.claude|\.idea|\.ssh|\.github|\.npm|\.yarn|\.pnpm|\.cache|\.husky|\.turbo|\.next|\.nuxt|node_modules|runtime)/ {
        return 404;
    }

    #一键申请SSL证书验证目录相关设置
    location ~ \.well-known{
        allow all;
    }

    #禁止在证书验证目录放入敏感文件
    if ( $uri ~ "^/\.well-known/.*\.(php|jsp|py|js|css|lua|ts|go|zip|tar\.gz|rar|7z|sql|bak)$" ) {
        return 403;
    }

    location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$
    {
        expires      30d;
        error_log /dev/null;
        access_log /dev/null;
    }

    location ~ .*\.(js|css)?$
    {
        expires      12h;
        error_log /dev/null;
        access_log /dev/null;
    }
    #GZIP START
    gzip on;
    gzip_min_length 1k;
    gzip_buffers 4 16k;
    gzip_http_version 1.1;
    gzip_comp_level 6;
    gzip_types text/plain application/javascript application/x-javascript text/javascript text/css application/xml application/json image/jpeg image/gif image/png font/ttf font/otf image/svg+xml application/xml+rss text/x-js;
    gzip_vary on;
    gzip_proxied expired no-cache no-store private auth;
    gzip_disable "MSIE [1-6]\.";
    #GZIP END

    access_log  /www/wwwlogs/www.maolaoban.com.spider.log;
    error_log  /www/wwwlogs/www.maolaoban.com.error.log;
}

四、配置逻辑详解

4.1 为什么需要两个server块？

将域名B（主域名）和域名A（旧域名）分离到独立的server块，可以避免跳转规则互相干扰。域名B的server块保持原样，只负责正常提供服务；域名A的server块专门处理分流逻辑。

4.2 蜘蛛检测正则表达式

匹配的主流蜘蛛包括：

  • 百度：baiduspider

  • 谷歌：googlebot

  • 必应：bingbot

  • 搜狗：sogou

  • 360：360spider

  • 神马：yisouspider

  • 兜底：bot、crawler、spider（捕获其他未知蜘蛛）

4.3 跳转逻辑分层

整个分流分为两层处理：

  1. HTTP层（80端口）：

    • 真人访问 → 直接301到 https://mao.aiqixie.com/请求路径

    • 蜘蛛访问 → 301到同域名的HTTPS（https://$host/请求路径）

  2. HTTPS层（443端口）：

    • 真人访问 → 301到 https://mao.aiqixie.com/请求路径

    • 蜘蛛访问 → 不执行任何跳转，正常返回200并显示内容

五、常见报错与解决方案

5.1 错误：if directive is not allowed here

原因：Nginx对if指令的位置有严格限制，不能随意放在server块中。

解决：HTTPS跳转的if必须放在#SSL-END之后、第一个location之前。如果需要在SSL配置前判断，应先用set设置变量，延后执行。

5.2 错误：SSL配置中的404规则被修改

原因：宝塔面板要求保留#SSL-START和#SSL-END之间的特定注释行。

解决：确保#error_page 404/404.html;这一行保持注释状态，不要删除或修改。

六、效果验证命令

配置完成后，使用以下命令测试：

# 1. 测试百度蜘蛛访问A域名（应返回200，不跳转）
curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0)" \
     -I https://maolaoban.com/

# 2. 测试谷歌蜘蛛访问A域名（应返回200，不跳转）
curl -A "Mozilla/5.0 (compatible; Googlebot/2.1)" \
     -I https://www.maolaoban.com/

# 3. 测试真人访问A域名（应返回301，Location指向B域名）
curl -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64)" \
     -I https://maolaoban.com/

# 4. 测试真人访问www版本（应返回301到B域名）
curl -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
     -I https://www.maolaoban.com/

# 5. 测试B域名始终正常（应返回200）
curl -I https://mao.aiqixie.com/

七、SEO注意事项

  • 跳转状态码：真人跳转使用301永久重定向，有助于将域名A的权重传递给域名B

  • 蜘蛛日志分离：建议将域名A的访问日志单独记录（如www.maolaoban.com.spider.log），方便排查蜘蛛抓取情况

  • 跨域Cookie：如果涉及用户登录态，需要在后端设置Cookie时指定domain=.aiqixie.com或使用JWT等无状态方案

  • 蜘蛛IP验证：对于高安全要求场景，可结合DNS反向解析验证蜘蛛IP真伪，防止UA伪造

八、总结

通过本文的Nginx双server块分流方案，你可以完美实现：蜘蛛访问旧域名正常收录，用户访问自动跳转新域名。核心要点是提前设置蜘蛛标记变量，并严格控制if指令的位置避免Nginx配置报错。

如果在宝塔面板中修改后仍提示保存失败，请检查是否误删了宝塔的注释标记（如#SSL-START、#CERT-APPLY-CHECK--START等），这些标记是面板识别配置的关键。

猜你喜欢

网友评论

访客信息

你已经3分钟没有访问该网站

这些可能是你需要的内容：

猜你喜欢