网站生成静态页面攻略3:防采集策略

2016-02-19 10:09 2 1 收藏

get新技能是需要付出行动的，即使看得再多也还是要动手试一试。今天图老师小编跟大家分享的是网站生成静态页面攻略3:防采集策略，一起来学习了解下吧！

【 tulaoshi.com - Web开发】

目前防采集的方法有很多种，先介绍一下常见防采集策略方法和它的弊端及采集对策：

一、判断一个IP在一定时间内对本站页面的访问次数，如果明显超过了正常人浏览速度，就拒绝此IP访问

    弊端：
    1、此方法只适用于动态页面，如：aspjspphp等...静态页面无法判断某个IP一定时间访问本站页面的次数。
    2、此方法会严重影响搜索引擎蜘蛛对其收录，因为搜索引擎蜘蛛收录时，浏览速度都会比较快而且是多线程。此方法也会拒绝搜索引擎蜘蛛收录站内文件
    采集对策：只能放慢采集速度，或者不采
    建议：做个搜索引擎蜘蛛的IP库，只允许搜索引擎蜘蛛快速浏览站内内容。搜索引擎蜘蛛的IP库的收集，也不太容易，一个搜索引擎蜘蛛，也不一定只有一个固定的IP地址。
    评论：此方法对防采集比较有效，但却会影响搜索引擎对其收录。

二、用javascript加密内容页面

    弊端：此方法适用于静态页面，但会严重影响搜索引擎对其收录情况，搜索引擎收到到的内容，也都是加密后的内容
    采集对策：建议不采，如非要采，就把解密码的JS脚本也采下来。
    建议：目前没有好的改良建议
    评论：建议指望搜索引擎带流量的站长不要使用此方法。

三、把内容页面里的特定标记替换为”特定标记+隐藏版权文字“

    弊端：此方法弊端不大，仅仅会增加一点点的页面文件大小，但容易反采集
    采集对策：把采集来的含有隐藏版权文字内容的版权文字替掉，或替换成自己的版权。
    建议：目前没有好的改良建议
    评论：自己感觉实用价值不大，就算是加上随机的隐藏文字，也等于画蛇添足。

四、只允许用户登陆后才可以浏览

    弊端：此方法会严重影响搜索引擎蜘蛛对其收录
    采集对策：目前落伍已经有人发了对策文章，具体对策就看这个吧《ASP小偷程序如何利用XMLHTTP实现表单的提交以及cookies或session的发送》
    建议：目前没有好的改良建议
    评论：建议指望搜索引擎带流量的站长不要使用此方法。不过此方法防一般的采集程序，还是有点效果的。

五、用javascript、vbscript脚本做分页

    弊端：影响搜索引擎对其收录
    采集对策：分析javascript、vbscript脚本，找出其分页规则，自己做个对应此站的分页集合页即可。
    建议：目前没有好的改良建议
    评论：感觉懂点脚本语言的人都能找出其分页规则

六、只允许通过本站页面连接查看，如：Request.ServerVariables("HTTP_REFERER")

弊端：影响搜索引擎对其收录
采集对策：不知道能不能模拟网页

来源:https://www.tulaoshi.com/n/20160219/1593614.html

上一篇：图片自动保存到本地并利用aspjpeg为图片加水印
下一篇：基于Android ListView之加载使用技巧

看过《网站生成静态页面攻略3:防采集策略》的人还看了以下文章更多>>

谈谈生成静态页面的一些经验

标签： PHP

静态页面的生成一般有这么几个思路了。。 1。程序编写过程中。不使用直接输出的语句。而时将所有的输出连接至输出字符串，输出完成后。再直接将输出字符串内容写入文件 2。编写中按照正常的方式编写。通过ob函数组捕获输出。然后将输出写入文件 3。使用模板类时，用get/fetch一类的方法获取输出。并写入文件。具体实现上又有这...

动态网站首页的静态生成方法

标签： ASP

方法一 <% '常用函数 '1、输入url目标网页地址，返回值getHTTPPage是目标网页的html代码 function getHTTPPage(url) dim Http set Http=server.createobject("MSXML2.XMLHTTP") Http.open "GET",url,false Http.send() if Http.readystate<4 then exit function end if getHTTPPage=bytesToBSTR(Http.responseBody,"GB2312") ...

通用大型网站页面静态化解决方案

标签： Web开发

多个文件服务器读写，这里可采用SMB协议页面静态化，可采用freemarker开源框架如果考虑到大量的读写请求，则将请求分布式或采用调度的办法来解决第一点我们首先应该考虑文件服务器与静态页面的映射关系，即什么文件应该读写到哪台服务器，这个关系最简单的办法是随机映射，然后将映射关系保存到数据库中即可，SMB常用的操作代码如下：代...

SQL Server静态页面导出技术3

标签： SQLServer

本段文章节选自铁道出版社新出的《用BackOffice建立Intranet/Extranet应用》一书（现已在海淀图书城有售）。本书详尽地讲述了如何使用微软BackOffice系列产品来组建Intranet/Extranet应用。通过它您将掌握NT的安装和设置、使用IIS建立Web站点、通过ILS建立网络会议系统、用Exchange建立企业的邮件和协作系统、用SQL Server建立Web数据库...

如何生成静态html

标签： PHP

<?php如何生成静态HTML //在你的开始处加入 ob_start(); ob_start(); //以下是你的代码 //以下是你的代码 ....... //在结尾加入 ob_end_clean(),并把本页输出到一个变量中 //在结尾加入 ob_end_clean(),并把本页输出到一个变量中 $temp = ...

查看更多精彩>>