mii/AzooKeyKanaKanjiConverter
1
0
Fork 0
mirror of https://github.com/mii443/AzooKeyKanaKanjiConverter.git synced 2025-12-03 02:58:27 +00:00
Code Issues Packages Projects Releases Wiki Activity

refactor: N-Best計算部分を切り出して共通化した

Browse Source
This commit is contained in:
Miwa / Ensan
2025-07-08 23:28:47 +09:00
parent a0f2ff71b6
commit 31a8ece9fc
3 changed files with 31 additions and 96 deletions
Download Patch File Download Diff File Expand all files Collapse all files

52
Sources/KanaKanjiConverterModule/ConversionAlgorithms/Core/FullInputProcessing.swift
View File

@@ -59,35 +59,37 @@ extension Kana2Kanji {
result.prevs.append(newnode)
}
} else {
// nodeの繋がる次にあり得る全てのnextnodeに対して
for nextnode in nodes[nextIndex] {
// この関数はこの時点で呼び出して、後のnode.registered.isEmptyで最終的に弾くのが良い。
if self.dicdataStore.shouldBeRemoved(data: nextnode.data) {
continue
}
// クラスの連続確率を計算する。
let ccValue: PValue = self.dicdataStore.getCCValue(node.data.rcid, nextnode.data.lcid)
// nodeの持っている全てのprevnodeに対して
for (index, value) in node.values.enumerated() {
let newValue: PValue = ccValue + value
// 追加すべきindexを取得する
let lastindex: Int = (nextnode.prevs.lastIndex(where: {$0.totalValue >= newValue}) ?? -1) + 1
if lastindex == N_best {
continue
}
let newnode: RegisteredNode = node.getRegisteredNode(index, value: newValue)
// カウントがオーバーしている場合は除去する
if nextnode.prevs.count >= N_best {
nextnode.prevs.removeLast()
}
// removeしてからinsertした方が速い (insertはO(N)なので)
nextnode.prevs.insert(newnode, at: lastindex)
}
}
self.updateNextNodes(with: node, nextNodes: nodes[nextIndex], nBest: N_best)
}
}
}
return (result: result, lattice: Lattice(nodes: nodes))
}
/// N-Best計算を高速に実行しつつ、遷移先ノードを更新する
func updateNextNodes(with node: LatticeNode, nextNodes: [LatticeNode], nBest: Int) {
for nextnode in nextNodes {
if self.dicdataStore.shouldBeRemoved(data: nextnode.data) {
continue
}
// クラスの連続確率を計算する。
let ccValue: PValue = self.dicdataStore.getCCValue(node.data.rcid, nextnode.data.lcid)
// nodeの持っている全てのprevnodeに対して
for (index, value) in node.values.enumerated() {
let newValue: PValue = ccValue + value
// 追加すべきindexを取得する
let lastindex: Int = (nextnode.prevs.lastIndex(where: {$0.totalValue >= newValue}) ?? -1) + 1
if lastindex == nBest {
continue
}
let newnode: RegisteredNode = node.getRegisteredNode(index, value: newValue)
// カウントがオーバーしている場合は除去する
if nextnode.prevs.count >= nBest {
nextnode.prevs.removeLast()
}
// removeしてからinsertした方が速い (insertはO(N)なので)
nextnode.prevs.insert(newnode, at: lastindex)
}
}
}
}

26
Sources/KanaKanjiConverterModule/ConversionAlgorithms/Core/PrefixCompletionProcessing.swift
View File

@@ -60,31 +60,9 @@ extension Kana2Kanji {
let nextIndex = node.inputRange.endIndex
// 文字数がcountと等しくない場合は先に進む
if nextIndex != count {
for nextnode in lattice.nodes[nextIndex] {
if self.dicdataStore.shouldBeRemoved(data: nextnode.data) {
continue
}
// クラスの連続確率を計算する。
let ccValue = self.dicdataStore.getCCValue(node.data.rcid, nextnode.data.lcid)
// nodeの持っている全てのprevnodeに対して
for (index, value) in node.values.enumerated() {
let newValue = ccValue + value
// 追加すべきindexを取得する
let lastindex = (nextnode.prevs.lastIndex(where: {$0.totalValue >= newValue}) ?? -1) + 1
if lastindex == N_best {
continue
}
let newnode = node.getRegisteredNode(index, value: newValue)
// カウントがオーバーしている場合は除去する
if nextnode.prevs.count >= N_best {
nextnode.prevs.removeLast()
}
// removeしてからinsertした方が速い (insertはO(N)なので)
nextnode.prevs.insert(newnode, at: lastindex)
}
}
// countと等しければ変換が完成したので終了する
self.updateNextNodes(with: node, nextNodes: lattice.nodes[nextIndex], nBest: N_best)
} else {
// countと等しければ変換が完成したので終了する
for index in node.prevs.indices {
let newnode = node.getRegisteredNode(index, value: node.values[index])
result.prevs.append(newnode)

49
Sources/KanaKanjiConverterModule/ConversionAlgorithms/Core/SuffixReplacementProcessing.swift
View File

@@ -57,29 +57,7 @@ extension Kana2Kanji {
}
// 変換した文字数
let nextIndex = node.inputRange.endIndex
for nextnode in addedNodes.nodes[nextIndex] {
if self.dicdataStore.shouldBeRemoved(data: nextnode.data) {
continue
}
// クラスの連続確率を計算する。
let ccValue: PValue = self.dicdataStore.getCCValue(node.data.rcid, nextnode.data.lcid)
// nodeの持っている全てのprevnodeに対して
for (index, value) in node.values.enumerated() {
let newValue: PValue = ccValue + value
// 追加すべきindexを取得する
let lastindex: Int = (nextnode.prevs.lastIndex(where: {$0.totalValue >= newValue}) ?? -1) + 1
if lastindex == N_best {
continue
}
let newnode: RegisteredNode = node.getRegisteredNode(index, value: newValue)
// カウントがオーバーしている場合は除去する
if nextnode.prevs.count >= N_best {
nextnode.prevs.removeLast()
}
// removeしてからinsertした方が速い (insertはO(N)なので)
nextnode.prevs.insert(newnode, at: lastindex)
}
}
self.updateNextNodes(with: node, nextNodes: addedNodes.nodes[nextIndex], nBest: N_best)
}
}
lattice.merge(addedNodes)
@@ -116,30 +94,7 @@ extension Kana2Kanji {
result.prevs.append(newnode)
}
} else {
for nextnode in terminalNodes.nodes[nextIndex] {
// この関数はこの時点で呼び出して、後のnode.registered.isEmptyで最終的に弾くのが良い。
if self.dicdataStore.shouldBeRemoved(data: nextnode.data) {
continue
}
// クラスの連続確率を計算する。
let ccValue = self.dicdataStore.getCCValue(node.data.rcid, nextnode.data.lcid)
// nodeの持っている全てのprevnodeに対して
for (index, value) in node.values.enumerated() {
let newValue = ccValue + value
// 追加すべきindexを取得する
let lastindex: Int = (nextnode.prevs.lastIndex(where: {$0.totalValue >= newValue}) ?? -1) + 1
if lastindex == N_best {
continue
}
let newnode: RegisteredNode = node.getRegisteredNode(index, value: newValue)
// カウントがオーバーしている場合は除去する
if nextnode.prevs.count >= N_best {
nextnode.prevs.removeLast()
}
// removeしてからinsertした方が速い (insertはO(N)なので)
nextnode.prevs.insert(newnode, at: lastindex)
}
}
self.updateNextNodes(with: node, nextNodes: terminalNodes.nodes[nextIndex], nBest: N_best)
}
}
}