Fess で WordPress をクローリングしようとしたらうまくいかなかった。

robots.txt は使用していないのになぜだろうと考えていたら理由が分かった。

WordPress の管理画面で「Settings＞Reading＞Search engine visibility」の「Discourage search engines from indexing this site」にチェックを入れていたせいだった。

チェックを外すと、クローリングするようになった。

参考：