cli: add evaluate command (#90)

This commit is contained in:
Miwa / Ensan
2024-05-04 16:54:44 +09:00
committed by GitHub
parent 861ac7a026
commit 5ed0ddb45e
3 changed files with 208 additions and 1 deletions

View File

@ -28,6 +28,27 @@ your@pc Desktop % anco にほんごにゅうりょく --disable_prediction -n 10
`anco run`コマンドを利用して変換を行うことが出来ます。
## 評価API
`anco evaluate`コマンドを利用して変換器の評価を行うことが出来ます。
以下のようなフォーマットの`.tsv`ファイルを用意します。
```tsv
しかくとさんかく 四角と三角
かんたんなさんすう 簡単な算数
しけんにでないえいたんご 試験に出ない英単語
しごととごらくとべんきょう 仕事と娯楽と勉強
しかいをつとめる 司会を務める
```
これを入力し、変換器を評価します。
```bash
$ anco evaluate ./evaluation.tsv --config_n_best 1
```
出力はJSONフォーマットです。出力内容の安定が必要な場合`--stable`を指定することで比較的安定した出力を得られます。ただしスコアやエントロピーは辞書バージョンに依存します。
## 辞書リーダ
`anco dict`コマンドを利用して辞書データを解析することが出来ます。