add license file to data directory

akaza-data/.gitignore

@@ -18,4 +18,3 @@
 t/00_systemlm
 .idea
 /work/
-/data/*

akaza-data/data/.gitignore

@@ -0,0 +1,2 @@
+*.model
+SKK-JISYO.akaza

akaza-data/data/LICENSE

@@ -0,0 +1,21 @@
+The MIT License (MIT)
+
+Copyright © 2023 Tokuhiro Matsuno, http://64p.org/ <tokuhirom@gmail.com>
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the “Software”), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in
+all copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED “AS IS”, WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
+THE SOFTWARE.

akaza-data/data/README.md

@@ -0,0 +1,29 @@
+# akaza-data
+
+これはなにか？
+
+akaza 用の言語モデル及びシステム辞書が含まれます。
+
+Wikipedia および青空文庫のデータを解析して得た結果を元に学習を実施しています。
+
+## このファイル自体のライセンスについて
+
+徳永拓之(2012) 『日本語入力を支える技術 ―変わり続けるコンピュータと言葉の世界 WEB+DB PRESS plus』技術評論社　でも述べられているとおり、
+
+> 一般的に、文章は書いた人に自動的に著作権が認められておりますが、そこから作った統計データにはその著作権は及びません。
+
+という理解でおります。
+
+よって、このファイルに含まれるデータは MIT License で配布いたします。
+
+## ソースの個別のライセンスについて
+
+上記の通りではありますが、感謝の意を込めて以下に著作権表示をします。
+
+Wikipedia日本語版は [CC-BY-SA 3.0](https://creativecommons.org/licenses/by-sa/3.0/ ) に基づいた再利用が認められております。
+
+https://ja.wikipedia.org/wiki/Wikipedia:%E3%82%A6%E3%82%A3%E3%82%AD%E3%83%9A%E3%83%87%E3%82%A3%E3%82%A2%E3%82%92%E4%BA%8C%E6%AC%A1%E5%88%A9%E7%94%A8%E3%81%99%E3%82%8B
+
+青空文庫に含まれるファイルのうち、creative commons でライセンスされているファイルを除外してファイルを生成しています。
+(これはねんのためのしょりです)
+

akaza-data/src/corpus_reader/aozora_bunko.rs

@@ -92,6 +92,11 @@ impl AozoraBunkoProcessor {
             return Ok(());
         }
 
+        if src.contains("creativecommons.org") {
+            info!("Skipping {} due to creativecommons.org", ifname.to_string_lossy());
+            return Ok(());
+        }
+
         // 「旧字、旧仮名で書かれた作品を、現代表記にあらためる際の作業指針」
         // について言及している文書はスキップする。
         //