sitemap_gen.pyはイマイチだった

設定ファイルのコメントがシンプルすぎる。

サンプルもないし。

特定ディレクトリを除外したいので、config.xmlに

<filter action="drop" type="wildcard" pattern="/ccccc/*" />

と書いても反応しない。いろいろ試しているうちに面倒になってグーグル先生に聞いた。

# その前にpyスクリプトも眺めたけど、これって・・・

まさに「コツがいる」。

これって記述順に依存するのは仕方がない気もするけど、

「とりあえず除外リストに書いたつもり」

で結果を確認しないで、クロールされて困っちゃう場合も多いんじゃないかなぁ。

ドキュメントにはrobots.txtで除外されていれば、そちらが優先になってクロールされない、とかいう気休めが書いてあるけど。

「どこからもリンクされてない（あえて公開していない）スクリプトを晒しまくるツール」に成り下がってる気がする。