bsfilterによるスパムメール対策

最終更新日：2006年09月11日

はじめに

概要

メールサーバに学習型スパムメール対策（迷惑メールフィルタ）ソフトである bsfilter の環境を構築したので、その手順を整理しておく。
メールは、メールサーバ上の procmail & bsfilter でフォルダに振り分け、メールクライアントから IMAP(IMAPS) で接続して読んでいる。

構築した環境

名称 バージョン 備考
Solaris 10 Ruby が動く環境
Ruby 1.8.4 bsfilter は Ruby で書かれている。
Freeware for Solaris のパッケージを使用した。
MeCab(和布蕪) 0.90 形態素解析エンジン。
他に ChaSen(茶筌) と KAKASI をサポートしている。また、標準のままでも bigram(連続する漢字2文字で1token) と block(連続する漢字全部で1token) をサポートしている。
mecab-ruby 0.90 MeCab のRubyバインディング。
procmail 3.22 MDA(Mail Delivery Agent)。メールの振り分け。
bsfilter 1.0.12 + MeCab 0.90 用パッチ MeCab 0.90 を使用する場合はパッチが必要。
フォーラムには revision: 1.78.2.1 で取り込んだと書いてあるが、私の環境では動作しなかった。
追記：報告者のk3cさんも動かなかったようで、4/12に1.78.2.1用のパッチも登録された。
Postfix 2.2.9 メールサーバ(MTA : Mail Transport Agent)。
Solaris 10 へのインストール手順は『Postfixのパッケージ作成手順 for Solaris 10』参照。
Dovecot 1.0 beta5 IMAP, IMAPS, POP3, POP3S サーバ。
インストールおよび設定手順は『Dovecot で IMAP サーバ構築』参照。
メールの保存形式 --- やっぱ Maildir でしょう。

インストール

Ruby

Freeware for Solaris からパッケージを入手して 
$ gunzip ファイル名
# pkgadd -d 展開後のファイル名

MeCab(和布蕪)

MeCab(和布蕪) のサイトから本体(0.90)とIPA辞書のソースを入手し、掲載されている手順に従ってインストールする。
本体： 
$ tar zxf mecab-0.90.tar.gz
$ cd mecab-0.90
$ ./configure
$ make
# make install
IPA辞書： 
$ tar zxf mecab-ipadic-2.7.0-20060408.tar.gz
$ cd mecab-ipadic-2.7.0-20060408
$ ./configure
$ make
# make install

とりあえず動かしてみる（詳細は本家のサイトを確認） 
$ mecab
すもももももももものうち
すもも  名詞,一般,*,*,*,*,すもも,スモモ,スモモ
も      助詞,係助詞,*,*,*,*,も,モ,モ
もも    名詞,一般,*,*,*,*,もも,モモ,モモ
も      助詞,係助詞,*,*,*,*,も,モ,モ
もも    名詞,一般,*,*,*,*,もも,モモ,モモ
の      助詞,連体化,*,*,*,*,の,ノ,ノ
うち    名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ
EOS

mecab-ruby

MeCab(和布蕪) のリリースファイル・リストからファイルを入手して展開後、添付の README の手順でインストールする。 
$ tar zxf mecab-ruby-0.90.tar.gz
$ cd mecab-ruby-0.90
$ ruby extconf.rb
$ make
# make install

procmail

procmail のサイトからソースを入手して展開後、 
$ tar zxf procmail-3.22.tar.gz
$ cd procmail-3.22
$ make
# make BASENAME=/usr/local install-suid

bsfilter

最新リリースの 1.0.12（2006.04.11現在）のソースと“MeCab 0.90 の Ruby バインディングで動作させるためのパッチ”にあるパッチを入手し、 
$ tar zxf bsfilter-1.0.12.tgz
$ patch -p1 -d bsfilter-1.0.12 < bsfilter-rubymecab0.90.patch
patching file bsfilter/bsfilter
# cp bsfilter-1.0.12/bsfilter/bsfilter /usr/local/bin/

設定


とりあえず簡単な設定方法。
詳しくは、本家サイトの『4. やってみよう』などを参照。

bsfilter の設定

以下の内容の設定ファイル ~/.bsfilter/bsfilter.conf を作成した。
内容は設定により異なるが、1行目は MeCab を使用するための記述。 
jtokenizer MeCab
insert-flag
insert-probability

bsfilter の初期学習

何はともあれ最初に bsfilter に学習させる必要がある。
まずは、cleanなメールとspamメールを適当なフォルダに入れておく。 に入れたとすると、学習手順は以下
  1. cleanなメール中の単語を数える。 
    $ bsfilter --add-clean ~/Maildir/.Clean/cur/*
  2. cleanなメール中の単語を数える。 
    $ bsfilter --add-spam ~/Maildir/.Spam/cur/*
  3. 単語ごとにclean/spamな確率を求める。 
    $ bsfilter --update

procmail の設定

続いて procmail で bsfilter 用の振り分け設定を行う。
~/.procmailrc に以下の内容を記述した（環境により内容は異なる）。 
PATH=$HOME/bin:/usr/bin:/usr/local/bin
MAILDIR=$HOME/Maildir
DEFAULT=$MAILDIR/
LOGFILE=$HOME/log/procmail.log
LOCKFILE=$HOME/.lockmail

:0 fw
| bsfilter --auto-update --pipe --insert-flag

:0
* ^X-Spam-Flag: Yes
.Spam/

メールの転送設定

メールを受信したら procmail を通すように転送設定を行う。
~/.forward に以下の内容を記述した。 
"|IFS=' ' && p=/usr/local/bin/procmail && test -f $p && exec $p -Yf- || exit 75 #ユーザ名"
※ 転送設定を誤ると大変な事になるので要注意

管理

cleanなメールをspamと誤判定した場合の対応

spam token database から削除し、clean token database に追加し、確率データベースを更新する。 
$ bsfilter --sub-spam --add-clean --update ファイル名

spamをcleanと誤判定した場合の対応

clean token database から削除し、spam token database に追加し、確率データベースを更新する。 
$ bsfilter --sub-clean --add-spam --update ファイル名

spam確立の確認

コマンドライン引数で判定対象のメールを指定する（ワイルドカードによる複数指定も可）。 
$ bsfilter ファイル名
combined probability ファイル名 1 0.012701
最後の数字がspamの確立で 0 から 1 の範囲の値が返る。
1 に近ければspamの確立が高い事を表す。

判定の確認

標準入力から判定対象のメールを入力して、exit status を表示させる。 
$ bsfilter < cleanのファイル名 ; echo $status
1
$ bsfilter < spamのファイル名 ; echo $status
0

| Home | blog |
Copyright (C) 2006 SY. All rights reserved.