remove some things. I will be transfer model related things to

akaza-default-model repo.
This commit is contained in:
Tokuhiro Matsuno
2023-01-20 21:58:58 +09:00
parent 57c6ccf8d8
commit 6c79a5d253
16 changed files with 0 additions and 11363 deletions

6
.gitmodules vendored
View File

@ -1,12 +1,6 @@
[submodule "model/skk-dev-dict"] [submodule "model/skk-dev-dict"]
path = model/skk-dev-dict path = model/skk-dev-dict
url = https://github.com/skk-dev/dict.git url = https://github.com/skk-dev/dict.git
[submodule "akaza-data/skk-dev-dict"]
path = akaza-data/skk-dev-dict
url = https://github.com/skk-dev/dict.git
[submodule "rx-sys/rx"] [submodule "rx-sys/rx"]
path = rx-sys/rx path = rx-sys/rx
url = git@github.com:yt76/rx.git url = git@github.com:yt76/rx.git
[submodule "akaza-data/aozorabunko_text"]
path = akaza-data/aozorabunko_text
url = git@github.com:aozorahack/aozorabunko_text.git

View File

@ -1,8 +0,0 @@
anthy-unicode に含まれる public domain のコーパスです。
akaza では評価用に利用します。
https://github.com/fujiwarat/anthy-unicode/tree/main/calctrans
# See also
* [統計的かな漢字変換システム Mozc](https://www.anlp.jp/proceedings/annual_meeting/2011/pdf_dir/C4-3.pdf)

View File

@ -1,11 +0,0 @@
#
# パラメータを更新する場合は次のコマンドを実行する
# $ make update_params
#
# corpus.0.txt デバッグ用のファイル
# corpus.1.txt メイン(候補割り当ても含む)
# corpus.2.txt テストセットに対する入力
# corpus.3.txt メイン(もらいもの)
# corpus.4.txt 誤変換
# corpus.5.txt 出どころ不明
#

File diff suppressed because it is too large Load Diff

View File

@ -1,82 +0,0 @@
#
#
# ./calctrans file -o ../src-splitter/transition.h
# ./proccorpus corpus.0.txt > file;
|あくせすできない|ばあいが|あります| |アクセスできない|場合が|あります|
|あした|とどくらしい| |明日|届くらしい|
|あじを|しめる| |味を|しめる|
|あつい|おちゃを|のみながら|あつい|ほんを|よむ| |熱い|お茶を|飲みながら|厚い|本を|読む|
|あまり|きにしない| |あまり|気にしない|
ありがたいです |ありがたいです|
|ある|がくもんの|し| |ある|学問の|死|
いったいいつになったら |いったい|いつに|なったら|
いったんはていしした |いったんは|ていしした|
いつでもつかえるいんたーねっと |いつでも|つかえる|いんたーねっと|
いまのところは |いまの|ところは|
いれたおぼえがないのにはいってるぐらいのものならば |いれた|おぼえが|ないのに|はいってる|ぐらいの|ものならば|
うってそう |うってそう|
|えーかー| |エーカー|
|おさんよりも|いたいかもです| |お産よりも|痛いかもです|
かすとはなんだ |かすとは|なんだ|
かなりあとのほうにでてくる |かなり|あとの|ほうに|でてくる|
かれはつまとこをあいしている |かれは|つまと|こを|あいしている|
かわないのも |かわないのも|
きょうだいはつのぎじゅつ |きょうだいはつの|ぎじゅつ|
|けっかを|まつ| |結果を|待つ|
げいじゅつをうみだすかれいなちから |げいじゅつを|うみだす|かれいな|ちから|
こうかいする |こうかいする|
こうかいはしたくない |こうかいは|したくない|
こうしんがないさいとは |こうしんが|ない|さいとは|
このなまえ |この|なまえ|
さいしょにこのなまえについてごぞんじないどくしゃのためにかく |さいしょに|この|なまえに|ついて|ごぞんじない|どくしゃの|ために|かく|
しましたができなかった |しましたが|できなかった|
じかんがかかりそうだが |じかんが|かかりそうだが|
じっそうようげんご |じっそうよう|げんご|
じょうほうしょりしんこうじぎょうきょうかい |じょうほう|しょり|しんこう|じぎょう|きょうかい| |情報|処理|振興|事業|協会|
せおりーどおりやるなら |せおりー|どおり|やるなら|
せっかくだからおれはこのあかのとびらをえらぶぜ |せっかくだから|おれは|この|あかの|とびらを|えらぶぜ|
ぜんぜんほうこうせいがわかりません |ぜんぜん|ほうこうせいが|わかりません|
そこにものをおかないでくださいね |そこに|ものを|おかないで|くださいね|
たいへいようせんそうはいぼくのひまで、3がつ10にちはりくぐんきねんびであった。 |たいへいようせんそう|はいぼくの|ひまで|、|3がつ|10にちは|りくぐん|きねんびであった|。|
ちょうかいする |ちょうかいする|
つかうほど |つかうほど|
てがかりにしんの |てがかりに|しんの|
とうこうする |とうこうする|
ところできられるのは |ところで|きられるのは|
どうさする |どうさする|
どうなるかかんがえて |どうなるか|かんがえて|
どんなきのう、APIがひつようかのどきゅめんと |どんな|きのう|、|APIが|ひつようかの|どきゅめんと| |どんな|機能|、|APIが|必要かの|ドキュメント|
にほんじんにとってしごととは |にほんじんに|とって|しごととは|
にほんじんのかんきょうならrubyはじめいなんでしょうけど |にほんじんの|かんきょうなら|rubyは|じめいなんでしょうけど|
にゅうりょくにたいしてじゅんにてきようする |にゅうりょくに|たいして|じゅんに|てきようする|
ねこ |ねこ|
ねんきゅうのしょうかりつがよい |ねんきゅうの|しょうかりつが|よい|
のうしはし |のうしは|し|
のうしはしですか |のうしは|しですか| |脳死は|死ですか|
ひきおこしがちだ |ひきおこしがちだ|
ひとつめ |ひとつめ|
ひゃくにんもの |ひゃくにんもの|
ひょうじょうする |ひょうじょうする|
ふかくかんがえてないです |ふかく|かんがえてないです| |深く|考えてないです|
ぶんせつのこうぞうをそーとする |ぶんせつの|こうぞうを|そーとする|
へこむ |へこむ|
ほんをかくためのときとばしょとじゆうをあたえてくれつねにはげましつづけてくれたからだ。 |ほんを|かくための|ときと|ばしょと|じゆうを|あたえてくれ|つねに|はげましつづけてくれたからだ|。|
|ぽっちゃりした|からだ| |ぽっちゃりした|体|
まいとしないようがかいていされている |まいとし|ないようが|かいていされている|
まだはやいといったのに |まだ|はやいと|いったのに|
まったくあたらしいでざいんときのうをじつげんする |まったく|あたらしい|でざいんと|きのうを|じつげんする|
|みおとしては|ならない| |見落としては|ならない|
みておためしください |みて|おためし|ください| |見て|お試し|ください|
みなさまはじめまして |みなさま|はじめまして|
|みせに|いかないので| |店に|行かないので|
|みにくい|あひるの|こを|よむ| |醜い|アヒルの|子を|読む|
|めが|はなせません| |目が|離せません|
もうしわけありません |もうしわけ|ありません|
もってかえって |もって|かえって| |持って|帰って|
|もんだいが|ないか|かくにんしていただけないでしょうか| |問題が|無いか|確認していただけないでしょうか|
よくかんがえてみる |よく|かんがえてみる|
よみたいとおもってます |よみたいと|おもってます|
|りょういき|かんりを|する| |領域|管理を|する|
れんぞくしたあきめもりりょういきのぶぶんにせいせいされるため |れんぞくした|あきめもり|りょういきの|ぶぶんに|せいせいされるため|
|わたしに|しあわせが|やってくるのでしょうか| |私に|幸せが|やってくるのでしょうか|
|よみは|ことなる| |読みは|異なる|

File diff suppressed because it is too large Load Diff

View File

@ -1,16 +0,0 @@
#
#
# ~は候補のミス
# !は文節区切りのミス
#
#
|それを|かくことは|かんたんだ| |それを|~各個とは|簡単だ|
|それを|かくには| |それを|~各には|
|ぶんるい| |~文類|
|きょうかい| |~今日かい|
|てきよう| |~的用|
|たいし| |~田井氏|
|きょうつう| |~今日通|
|さいえんす| |~再演す|
|ねん| |~寝ん|
|わたしの|なまえは|やまだです| |私の|~生枝は|山田です|

View File

@ -1,55 +0,0 @@
#
#
# corpus.5.txt 出どころ不明
# anthy wiki等
# 平凡な文であれば随時corpus.1.txtに移す
#
|しゅうに|いちどは|わたり| |週に|一度は|渡り|
|としより|わかいという|いんしょうだ| |年より|若いという|印象だ|
|やわらかく|ちゃくすいしたのは|みていて|おどろいた| |やわらかく|着水したのは|見ていて|驚いた|
|どう|ちがうかは|うまく|いえないが| |どう|違うかは|うまく|言えないが|
|ありえない|もの| |ありえない|物|
|そこから|とってこられたかもしれない| |そこから|取ってこられたかもしれない|
|その|てんから|すると| |その|点から|すると|
|ほんらい|おれの|すべき|ことは| |本来|俺の|すべき|事は|
|こう|かんがえれば|いい| |こう|考えれば|良い|
|そう|かんがえれば|いい| |そう|考えれば|良い|
|どう|かんがえれば|いい| |どう|考えれば|良い|
|108は|ぼんのうの|かずだから| |108は|煩悩の|数だから|
|2とうの|いぬが|たがいに|すごく|せっきんしていた| |2頭の|犬が|互いに|すごく|接近していた|
|10ねんまえの|やりかたを|もういちど|やろうと|おもったのだろう| |10年前の|やり方を|もう一度|やろうと|思ったのだろう|
|なんで|こんなに|たかい|ところ|なんだろう?| |何で|こんなに|高い|ところ|なんだろう?|
|11じごろ|おきた| |11時頃|起きた|
|2げんが|たいいくなんだから| |2限が|体育なんだから|
|ぼうぐらふは|たぶん|なにかの|ぜんたいを|あらわすのだろうとは|おもうのだが| |棒グラフは|多分|何かの|全体を|表すのだろうとは|思うのだが|
|16じからという|はやい|じかんから|のみ|はじめたため| |16時からという|早い|時間から|飲み|始めたため|
|おもてと|おくという|にじゅうこうぞうに|なって|いるという|てんが|ぽいんとかと|おもう| |表と|奥という|二重構造に|なっている|という|点が|ポイントかと|思う|
|1じすぎに|ねて|16じごろまで|ねていた| |1時過ぎに|寝て|16時頃まで|寝ていた|
|2つ|ならんで|いたような|きも|しないでは|ない| |2つ|並んで|いたような|気も|しないでは|ない|
|よこくへんが|なんか|いみを|もっているらしいが| |予告編が|何か|意味を|持っているらしいが|
|ここを|はなれることに|なっていたというのが|あったのに| |ここを|離れることに|なっていたというのが|あったのに|
|2かいに|じぶんの|へやが|あることからして| |2階に|自分の|部屋が|あることからして|
|くちぐせのように|こう|つぶやいている| |口癖のように|こう|つぶやいている|
|それを|じっさいに|やって|ためすという|かたちで| |それを|実際に|やって|試すという|形で|
|3つ|ひつようなのに| |3つ|必要なのに|
|3びきが|ならんで|かわを|ずっと|うえの|ほうまで|のぼって|いった| |3匹が|並んで|川を|ずっと|上の|方まで|登って|いった|
|そこから|とってこられたのかもしれない| |そこから|取ってこられたのかもしれない|
|ただ|たんに| |ただ|単に|
|したを|かむ| |舌を|噛む|
|だいぶ|らくだ| |だいぶ|楽だ|
|いんかんを|おす| |印鑑を|押す|
|ゆきの|ない|ひでも| |雪の|無い|日でも|
|おなじ|ひに|いっていた| |同じ|日に|行っていた|
#
#anthy-dev 3399
|ほしい|ものが|あって| |欲しい|物が|あって|
|あつくるしいのが|いやで| |暑苦しいのが|嫌で|
|あつくるしいのは|いやで| |暑苦しいのは|嫌で|
|みるのは|いいけど| |見るのは|いいけど|
|みるのは|いいが| |見るのは|いいが|
|あけることは|できず| |開けることは|できず|
|あけることが|できず| |開けることが|できず|
|くべつを|したいから| |区別を|したいから|
|くべつが|したいから| |区別が|したいから|
|きょくを|ききながら| |曲を|聞きながら|
|くらい|かんじからしても| |暗い|感じからしても|

View File

@ -1,13 +0,0 @@
# コーパスについて
このディレクトリに含まれるコーパスは Public Domain です。
追加したい場合は、自分が著作権をもっている文章をコーパスとして登録することができます。
Pull-Request を出していただければマージします。
コーパスファイルに書かれた単語はかな漢字辞書にも自動的に登録されますので、基本的にはこのファイルに Pull-Request を送ってください。
## ファイル種別
- must.txt - 必ず変換できなくてはならないもの。これが全部変換できないと出荷基準を満たさないと判断されます。
- should.txt - 変換できてほしいもの。基本的にはここに PR を送ってください。
- may.txt - これが変換できてほしいなぁというもの。たぶんできないだろうなぁという程度のものも登録して OK

View File

@ -1,4 +0,0 @@
;; 典型的な共起表現
夏/なつ は/は 暑い/あつい
板/いた が/が 厚い/あつい
お湯/おゆ が/が 厚い/あつい

View File

@ -1,13 +0,0 @@
;; ここに入っているものは、マストで変換できてほしい文章。
;; この中にあるもの同士でスコアがチャタリングすると無限にコストが上がる。
;; よって、本当に重要なものだけをこのファイルに書くこと。
渡せない/わたせない のね/のね
どうでしょうか/どうでしょうか
今日/きょう
僕/ぼく の/の 主観/しゅかん では/では そう/そう です/です
右/みぎ
洗濯物/せんたくもの を/を 干す/ほす の/の が/が 面倒/めんどう だ/だ
構造化/こうぞうか パーセプトロン/ぱーせぷとろん 面白い/おもしろい
誤変換/ごへんかん を/を 出来るだけ/できるだけ 少なく/すくなく したい/したい 。/。
私/わたし の/の 名前/なまえ は/は 中野/なかの です/です
既存/きぞん

View File

@ -1,8 +0,0 @@
;; これぐらいは一発で変換できてほしいが誤変換になったもの。
除外/じょがい 済み/ずみ
変換/へんかん したい/したい 文/ぶん
契約内容/けいやくないよう を/を 明確/めいかく に/に する/する 意義/いぎ
全部/ぜんぶ でてる/でてる 奴/やつ
災害/さいがい に/に 備えて/そなえて 、/、 情報/じょうほう を/を 集めましょう/あつめましょう
出せたら/だせたら いいよな/いいよな
書く/かく の/の 大事/だいじ

View File

@ -1,14 +0,0 @@
;; okuri-ari entries.
;; okuri-nasi entries.
ぶかわ /武川/
とくひろ /徳宏/徳大/徳寛/督弘/
きめつのやいば /鬼滅の刃/
ぷらいすてーかー /プライステーカー/
みんてぃあ /ミンティア/
きんとうわりがく /均等割額/
かそくせい /可測性/
だくせいけいやく /諾成契約/
だくせい /諾成/
とーかないず /トーカナイズ/
いしのうえにもさんねん /石の上にも三年/
かなにゅうりょく /かな入力/仮名入力/

View File

@ -1,3 +0,0 @@
令和,1288,1288,5904,名詞,固有名詞,一般,*,*,*,令和,レイワ,レイワ
既製品,1288,1288,5904,名詞,普通名詞,一般,*,*,*,既製品,キセイヒン,キセイヒン
洗濯物,1288,1288,5904,名詞,普通名詞,一般,*,*,*,洗濯物,センタクモノ,センタクモノ
1 令和 1288 1288 5904 名詞 固有名詞 一般 * * * 令和 レイワ レイワ
2 既製品 1288 1288 5904 名詞 普通名詞 一般 * * * 既製品 キセイヒン キセイヒン
3 洗濯物 1288 1288 5904 名詞 普通名詞 一般 * * * 洗濯物 センタクモノ センタクモノ