過去に作ったソフトウェアのメモ-第一弾-したらば巡回くん(3)
全13カテゴリーの巡回が終わりました。
得られたこと
1,ブックマークが復活
2,巡回プログラムの改善案を洗い出す
3,その他したらばの情報をいろいろ得た
とりあえず1が最も重要な目的だったので安心です。「したらば掲示板で、前に利用していたAA関連板を全部見つける」というのが主目的でした。アスキーアートに関連する板を絞り出すところがうまく機能せず、最終的にはそれなりの量の板を目視で確認しなければいけなかったのがちょっと惜しい点です。それに加えて、新しく板を300個見つけてしまいました。その内訳的には、AA全レス、AA雑談が殆どで、AA雑談のほうがたくさんあります。…300って多すぎるよ…実を言うとまだ分類しきれていません。
2の改善案はこのブログでつらつらと書いていったもののことです。今回は全部巡回するのに一週間くらいかかりましたが、今後もスピードより安定性を重視した作りにしていきたいです。今も考案中の手段があって、巡回の安定性を上げて、ローカルな環境に収集したデータを保持するということです。これによって調査しやすくなりますし、サーバーにも負担をかけなくなります。あとは連続アクセスエラー避けに複数のIPアドレスを運用することです。
3は主目的ではなかったので、ちょっと以外ですが、面白い結果が得られたので紹介します。まず、カテゴリー別の終点について出揃ったので紹介します。カテゴリー別での”伸び”がわかると思います。数が多いカテゴリーほど、そのカテゴリーでたくさんの板が作られています。ただし、あくまでも終端であり、「現存する板の数」ではないことに注意が必要です。カテゴリーによっては、閉鎖されている板もたくさんあるのです。ここらへんはまた調べていきたいところです。カテゴリー別の閉鎖されてる/現存する板の内訳とか。
表2だと分かりづらいのでグラフを…。
なにはともあれ、目視でのチェックが一番めんどくさいです。猫の手も借りたい。