全球网站抓取归类引擎—MS SQL版是一款基于MS SQL数据库,采用数据库服务器端+N子客户端的分布式蜘蛛抓取与识别归类引擎,全球资源抓取储存,识别归类特征自定义。本软件可以进行全球网站无重复抓取、存储与识别归类,建立全球网站资源库。由此可以高效管理网站资源,轻松实现按需(如按域名后缀类型、网站系统类型)调取网站资源。
系统概要图:
一、蜘蛛抓取
二、识别归类
三、全球网站仓库
四、系统类型特征