自从建了站以后,发现蜘蛛很少来爬我的站,搜索后发现没有做robots,然后用站长之家自动生成了一个。过了不久发现现在蜘蛛经常来爬了,但是只能爬主页,一直百思不得其解。
前天在做渗透搜集信息时瞅了一眼那个站的robots,发现里面还有sitemap,搜索后才知道原来还有网站地图这么一回事,在做sitemap的时候发现每次更新文章都要重新抓取页面,重新修改sitemap,就觉得好麻烦,于是在GitHub上发现了一款typecho自动生成sitemap的插件,试用后发现非常牛逼,就留了下来。
插件地址:
这几天蜘蛛天天来爬,终于不局限于主页了,爬到了所有的子页面。
《typecho的SEO》链接:https://xdym11235.com/archives/28.html
具体版权规定详见侧栏版权说明页面