386 Commits

Author SHA1 Message Date
e8dd59eae7 add kana-preferred mode for akaza-data tokenizer. (#280)
https://github.com/akaza-im/akaza-default-model/issues/14
2023-02-02 10:52:26 +09:00
9d8657316b コストの計算を利用時にするように変更。 (#275)
今後の #252 をやりやすくするための施策。

モデルのフォーマットが変わるので注意。
2023-02-01 01:22:23 +09:00
a0be6033e2 井伊家 の複合語化処理にアドホックな対応を追加
https://github.com/akaza-im/akaza-default-model/issues/12
2023-01-29 01:26:11 +09:00
fb89f89fca apply cargo fmt --all 2023-01-28 03:10:46 +09:00
3daaea9bbe apply cargo clippy --fix on the latest stable rustc (1.67.0) 2023-01-28 02:57:38 +09:00
fdb11f707b remove load_user_config (#243) 2023-01-27 00:12:24 +09:00
ec67a34c26 remove unused Trie, TrieBuilder (#241) 2023-01-26 23:47:32 +09:00
efcc1660a8 check コマンドで辞書のパスをハードコードしているのをやめる
https://github.com/akaza-im/akaza/issues/225
2023-01-25 18:00:05 +09:00
ba8db85200 split EngineConfig 2023-01-25 10:34:33 +09:00
a82d158e2e akaza-data では cache を更新しないようにする。
https://github.com/akaza-im/akaza-default-model/issues/5
2023-01-25 10:16:44 +09:00
934ff439fd akaza-data evaluate で model_dir を選択必須にした 2023-01-25 10:00:17 +09:00
c814f6cd38 Wikipedia のスキャンにたいして除外パターンを追加 2023-01-24 23:44:19 +09:00
9635a6d2e9 gtk で設定画面をつくった 2023-01-24 19:00:18 +09:00
700b12e46b Simplify the configuration 2023-01-24 16:27:54 +09:00
2bc1e31110 Drop AKAZA_* environment variables
- `AKAZA_ROMKAN_DIR`
- `AKAZA_MODEL_DIR`
- `AKAZA_KEYMAP_DIR`
2023-01-23 18:02:59 +09:00
3aa828f6d8 cargo run evaluate で model の保存ディレクトリを指定ができるようにした
モデルの保存先ディレクトリをコマンドラインオプションで指定できるようにする。
https://github.com/akaza-im/akaza-default-model/issues/5
2023-01-23 17:50:56 +09:00
3bb8725706 restore evaluator in akaza repo 2023-01-23 10:05:40 +09:00
f6d404e254 clippy fix 2023-01-22 09:38:28 +09:00
8d80aa865d cargo fmt 2023-01-22 09:38:06 +09:00
0ec3043900 c, v という1文字変数がややこしいので改名 2023-01-22 09:34:41 +09:00
c088cc3a23 Release 0.1.7
akaza-data@0.1.7
ibus-akaza@0.1.7
ibus-sys@0.1.7
libakaza@0.1.7

Generated by cargo-workspaces
2023-01-22 08:58:03 +09:00
dc62030e0f bug fix 2023-01-22 01:29:41 +09:00
c5444759e5 refactor kana_kanji 2023-01-22 00:02:50 +09:00
f12055d642 oops 2023-01-21 23:18:42 +09:00
1bc332ab6e Restore test-data generator 2023-01-21 23:17:47 +09:00
59a00ceef3 Remove akaza-data/Makefile 2023-01-21 23:13:37 +09:00
144c20d868 Drop feature fulags at this time 2023-01-21 22:56:30 +09:00
200d6ca717 Change the model data directory structure 2023-01-21 22:52:14 +09:00
fc88e7e2b7 Cleanup data loading logic 2023-01-21 22:18:07 +09:00
8d75d19261 remove trash 2023-01-20 23:59:12 +09:00
52f9f00e1e Make akaza-data evaluate command more flexible. 2023-01-20 23:50:04 +09:00
853cb492ab cleanup data for splitting default model 2023-01-20 23:38:09 +09:00
6c79a5d253 remove some things. I will be transfer model related things to
akaza-default-model repo.
2023-01-20 21:58:58 +09:00
57c6ccf8d8 setup bin for akaza-data 2023-01-20 00:49:54 +09:00
9c6f2b2d9b refactor tokenize 2023-01-19 23:37:24 +09:00
032d2b00be add --vocab option 2023-01-19 23:02:42 +09:00
2f730534ed wfreq の引数を --src-dir で指定するようにした 2023-01-19 23:00:37 +09:00
c1a9bdef66 コマンドの名前を調整 2023-01-19 22:57:49 +09:00
44901ba34b akaza-data/src/main.rs を整理 2023-01-19 22:53:55 +09:00
b05706b207 Merge pull request #192 from akaza-im/issue-119
コーパスベースのコスト計算をちゃんと真面目にやる。 Close #119
2023-01-19 22:44:41 +09:00
d870b3b960 fix case 2023-01-19 22:28:23 +09:00
900ea49437 fix 2023-01-19 22:27:03 +09:00
cbdeee9891 かくのだいじ、をコーパスに追加 2023-01-19 22:20:50 +09:00
951fb7fb31 remove trash 2023-01-19 22:07:27 +09:00
94c8453e94 bug fix! テスト書くの大字! 2023-01-19 22:06:42 +09:00
09e68d693e hmm 2023-01-19 18:51:03 +09:00
75bc5edce6 oops 2023-01-19 18:45:48 +09:00
93c46fdc90 use word count for learning process 2023-01-19 18:43:14 +09:00
8e1e4b2d90 Update README.md 2023-01-19 14:36:12 +09:00
edb2d18416 Update README.md 2023-01-19 14:34:59 +09:00