[mecab-users 113] Re: mecab-cost-trainのメモリ利用効率

Zurück zum Archiv-Index

Taku Kudo taku****@chase*****
2006年 5月 24日 (水) 01:55:53 JST


工藤です

補足です。

experimental ですが mecab-cost-train の -p オプションを使うと
学習がマルチスレッドで動きます。-p 2 とすると2並列で学習を行います。

On 5/24/06, Taku Kudo <taku****@chase*****> wrote:
> 工藤です
>
> >   ところでいまごろ気づいたのですが、現在辞書はipadicと形式をあわせてい
> > るので、読みが素性の8番目にはいっています。品詞は1, 2番目にしか入って
> > いないので、わざわざeval-sizeを8にしなくとも、3番目に読みを入れて
> > eval-sizeを3にすればメモリの消費量を抑えられそうです。
>
> そうですね。ipadic は4階層の品詞ですが、もしお手元のコーパスが
> 2階層しかもっていないのであれば、juman のパラメータファイル (rewrite.def
> ,feature.def) を使ったほうがいいかもしれません。
>
> 品詞体系は、ipadic と同じでしょうか? feature.def はそのまま使えると思いますが
> rewrite.def は適宜修正する必要があります。
>
> -- taku
>
>
> >
> >   いったんそういう形で辞書をいじったあと、あとでipadicと同じ形式にcsv
> > を戻しても問題はないでしょうか。
> > --
> > 野首 貴嗣
> > E-mail: knok****@daion*****
> >         knok****@namaz***** / knok****@debia*****
> >
> >
>



mecab-users メーリングリストの案内
Zurück zum Archiv-Index