コンセプトの概要

iKnow が提供しない機能

iKnow は検索ツールではありません。検索ツールでは、テキスト内にあると既に確信しているものだけを見つけることができます。インターシステムズは、SQL テーブルにある未構造化テキスト・データの検索ツールとして　iFind ツールを提供しています。iFind では、iKnow の機能を多く使用することにより、インテリジェントなテキスト検索を実現しています。

iKnow とは、コンテンツ分析ツールのことです。iKnow を使用すると、コンテンツがまったく未知のテキストを含めて、テキスト・データのコンテンツ全体を使用できます。

iKnow はディクショナリに基づいたコンテンツ・アナライザではありません。ディクショナリに基づいたツールとは異なり、個々の単語に文を区切ってからこれらの単語を “理解“ してコンテキストの再構成を試みることはありません。iKnow は単純にエンティティを意味的に識別します。iKnow がこれらのエンティティをディクショナリやオントロジで調べる必要はありません。このため、その言語モデルはコンパクトで安定し、多目的に使用できるものとなっており、分析するテキストの種類 (医療分野や法務分野など) に関する情報を指定したり、関連用語の別個のディクショナリを提供する必要はありません。iKnow は、用語のディクショナリやオントロジを関連付けることで拡張できますが、基本的な機能ではこれは必要とされません。したがって、iKnow では、ディクショナリの作成、カスタマイズ、または定期的な更新は必要とされません。

iKnow は、語幹解析をサポートしていますが、既定では語幹解析ツールではありません。既定では、語幹形式へのリレーションやコンセプトの縮小は行いません。その代わりに、各要素を別個のエンティティとして取り扱って、他の要素に対する類似性の程度を識別します。iKnow は、オプション機能として語幹解析をサポートします。この機能は、主にロシア語とウクライナ語のテキスト・ソースに使用することをお勧めします。"インターシステムズ・クラス・リファレンス" で説明されているように、Caché は、%TextOpens in a new tab パッケージという語幹解析の実行のために使用できる一連のクラスも提供します。%TextOpens in a new tab と %iKnow は、互いに完全に独立しており、異なる目的に使用されます。

文

iKnow は言語モデルを使用して、ソース・テキストを文に分割します。iKnowでは通常、文ターミネータ (通常は句読点記号) とそれに続く最低 1 つの空白または改行により終わるテキスト単位として文を定義します。次の文は、次の非空白文字で始まります。文の開始を示すための大文字と小文字の区別は不要です。

ほとんどの言語において、文ターミネータには、ピリオド (.)、疑問符 (?)、感嘆符 (!)、およびセミコロン (;) が使用されます。また、省略記号 (...) または強調句読点 (??? または !!!) など、ターミネータを複数使用することもできます。任意のターミネータの組み合わせ (...!?) も使用できます。文ターミネータ間の空白は新しい文を示すので、省略記号に空白が含まれていると (. . .)、実際には 3 つの文になります。文ターミネータの次には、空白文字 (スペース、タブ、または改行) が続くか、または一重引用符か二重引用符に空白文字が続くかのいずれかとなります。例えば、"Why?" he asked. は 2 つの文ですが、"Why?", he asked. は 1 つの文となります。

2 行改行は、文ターミネータ文字の有無とは関係なく、文ターミネータとして機能します。したがって、タイトルやセクション見出しは、空白行が続いた場合、個別の文と見なされます。また、ファイルの終わりも文ターミネータとして扱われます。したがって、ソースに 1 つでもコンテンツ (空白を除く) が含まれている場合、文ターミネータの存在とは無関係に、少なくとも 1 つの文が含まれることになります。同様に、ファイルの最後のテキストは、文ターミネータの存在とは関係なく、個別の文として扱われます。

通常、ピリオド (.) に空白が続く場合は文の区切りを示しますが、iKnow 言語モデルはこの規則の例外を認識します。例えば、英語モデルでは “Dr.“ や “Mr.“ などの一般的な省略形が認識され (大文字と小文字の区別なし)、文区切りを実行するのではなく、ピリオドを削除します。英語モデルでは、“No.“ は省略形として認識されますが、小文字の “no.“ は文ターミネータとして扱われます。

構成の UserDictionary オプションを使用して、特定の場合に文を終了させたり、文の終了を回避することができます。例えば、“Fr.” という Father または Friar の省略形は、英語モデルでは認識されません。これは文の区切りとして処理されます。UserDictionary を使用すると、ピリオドを削除するか、またはこのピリオドの使い方では文区切りが起こらないように指定できます。UserDictionary はソースがロードされるときに適用されます。既にロードされているソースは影響を受けません。

エンティティ

エンティティとは、テキストの最小限の論理ユニット (論理単位) です。エンティティは、単語または単語のグループです。単語のグループとは、1 つの概念または関係に iKnow が単語を論理的にまとめたものです。電話番号や電子メール・アドレスなどの他の論理ユニットも、エンティティと見なされます (そして概念として扱われます)。

iKnow は比較やカウントを行うことができるように、エンティティを正規化します。また、無関係な単語を除去します。そしてエンティティを小文字に変換します。さらに、ほとんどの句読点や一部の特殊文字をエンティティから除去します。

既定では、iKnow はエンティティの分析をコンセプトに制限します。既定では、リレーションは、コンセプトを連結するという役割によってのみ分析されます。この既定はオーバーライドすることが可能です。詳細は "iKnow クエリ" の章の “ポジションによる制限“ のセクションを参照してください。

CRC と CC

iKnow はコンセプト (C) とリレーション (R) に文を分割すると、こうした基本エンティティ間の「つながり」のタイプを判別できます。

• CRC は、コンセプト - リレーション - コンセプトのシーケンスです。CRC は、マスタ・コンセプト - リレーション - スレーブ・コンセプトのシーケンスとして扱われます。エンティティが、マスタ、リレーション、またはスレーブのいずれであるかは、ポジションと呼ばれます。場合によっては、CRC のシーケンス・メンバ (CR または RC) の 1 つの文字列値が空になることもあります。これは、例えば、“Robert slept“ など、CRC のリレーションが自動詞の場合に起こります。

• iKnow は各コンセプトのポジションを保持しますが、2 つのコンセプトのリレーションは無視します。CC は、2 つの関連付けられたコンセプトとして扱うことも、マスタ・コンセプト/スレーブ・コンセプトのシーケンスとして扱うことも可能です。CC ペアを使用して、マスタ/スレーブのポジションやリンクするリレーションにかかわらず、関連付けられたコンセプトを識別することができます。これはコンセプトのネットワーク、つまり、どのコンセプトが他のどのコンセプトとつながっているかを判断する際に特に役立ちます。また、CC ペアはマスタ/スレーブのシーケンスとしても使用できます。

パス

パスは、1 つの文におけるエンティティの意味のあるシーケンスです。西洋語では、一般に、パスは連続する CRC に基づいています。そのため、結果としてのパスには、原文の順序でエンティティ (コンセプトとリレーション) が含まれます。通常、これは、連続する CRC のシーケンスを形成します (例外もあります)。例えば、一般的なパスのシーケンスでは、1 つの CRC のスレーブ・コンセプトが、次の CRC のマスタ・コンセプトになります。この結果、C-R-C-R-C という 5 つのエンティティから成るパスが形成されます。コンセプトとリレーションの他の意味のあるシーケンスもパスとして扱われます。例えば、コンセプトの代役としてパス関係の代名詞を含むシーケンスなどです。

日本語の場合、パスは原文のエンティティのシーケンスに基づくことができません。それでも、iKnow は、日本語テキストで意味を持つエンティティのシーケンスとしてパスを識別します。日本語の iKnow 意味分析には、エンティティ・ベクトルを作成するためのエンティティ・ベクトル・アルゴリズムが使用されます。iKnow が日本語の文をエンティティ・ベクトルに変換するときは、どのエンティティが結び付いているのかと、その結び付きの強さを示すために、通常は原文と異なる順序でエンティティをリストします。その結果としてのエンティティ・ベクトルが、パスの解析に使用されます。

パスは少なくとも 2 つのエンティティを含んでいる必要があります。すべての文がパスであるわけではありません。非常に短い文は、パスと見なされるために必要な最小数のエンティティを含まない場合があります。

パスは常に 1 つの文の中に収まります。ただし、1 つの文に複数のパスが含まれる場合があります。これは、連続しないシーケンスが文中に識別された場合に起こります。パス・シーケンスを含むエンティティは、識別されると、区分けと正規化が施され、パスには一意の ID が割り当てられます。意味を持って関連付けられた一定エンティティを識別できるほど CRC のみの分析が大規模でない場合は、パスが役立ちます。特に、幅広いコンテキストの小さな言語単位が返される場合には、パスは有用となります。