GOODWAF的隐藏链接功能,可令网页中的链接“隐身”,使爬虫无法爬取。
隐藏链接的现实意义:
用于:防爬虫。
爬虫有多种,有的爬虫读取网页源码中的链接,有的模拟正常浏览器,从解析后的网页中获取链接。
(有的网页中,链接是其页面中的JS代码执行动态生成或产生的,所以有些爬虫会解析网页并执行,就像真正人在使用浏览器一样。)
GOODWAF的网页源码加密功能可防止读取源码的爬虫,而这里的隐藏链接功能,可防止解析执行式的爬虫。
(且这种防护方式,无论爬虫如何用代理ip、更改agent...统统都无效!)
例子效果:
保护前:
有两个链接:
保护后:
链接消失不可见:
但是,并不影响使用,和保护前一样,仍可正常点击,点击仍可正确打开网页:
用Phantom驱动一段脚本进行访问(phantom常被爬虫使用,进行解析式爬取):
无法获取链接: