InterSystems SQL Search ツール

SQL search_items 構文

基本インデックス search_items には、以下の構文を含めることができます。

単語検索 ：

同時単語検索 ：

位置句検索 ：

意味的インデックス search_items では、基本インデックス構文に加えて、以下の NLP エンティティ検索構文を含むことができます。

フル・エンティティ検索および部分エンティティ検索 ：

空白で区切ることにより、複数の search_items を指定することができます。これは暗黙的な AND テストとなります。例えば以下のようになります。

SELECT Narrative FROM Aviation.TestSQLSrch WHERE %ID %FIND 
search_index(NarrSemanticIdx,'<{plug electrode} "flight plan" instruct*',0,'en')

これは、Narrative テキストに、“plug electrode” で終わる 1 つ以上の SQL Search エンティティ、位置句 “flight plan”、ワイルドカード接尾辞が指定された単語 “instruct” (つまり、“instructor”、“instructors”、“instruction”、“instructed” などが可能) が含まれている必要があることを意味します。これらの項目のテキスト内での順序は任意です。

SQL 検索項目文字列の検証

%iFind.Utils.TestSearchString()Opens in a new tab メソッドを使用すると、search_items 文字列を検証できます。このメソッドを使用することで、論理演算子の構文エラーおよび曖昧な使用を検出できます。例えば、"word1 AND word2 OR word3" は、論理的に曖昧なため検証で不合格となります。括弧を追加し、"word1 AND (word2 OR word3)" または "(word1 AND word2) OR word3".のいずれかにしてこの文字列を明確にします。

次の例は、この SQL Search ユーティリティを SQL 関数として呼び出します。

SELECT %iFind.TestSearchString('orange AND (lemon OR lime)')

TestSearchString() は、%Status の値を返します。有効な search_items 文字列はステータス 1 を返します。無効な search_items 文字列の場合、0 で始まり、その後にエンコードされたエラー情報が続くオブジェクト式を返します。

ファジー検索

検索文字列と “おおまか“ に一致している要素 (単語またはエンティティ) を含むレコードを照合するファジー検索を InterSystems SQL Search はサポートしています。ファジー検索は、記述方法のわずかな違い (color と colour) や誤字 (collor と color)、および文法的に異なる形式 (color と colors) を見つけるために使用できます。

SQL Search では、2 つの単語間のレーベンシュタイン距離を比較して、ファジー一致を評価します。レーベンシュタイン距離とは、1 つの単語を他の単語に変更するために必要な単一文字編集の最小数 (挿入、削除または置換) です。必要な単一文字編集の最大数は、最大編集距離として知られています。InterSystems SQL Search の最大編集距離は、既定では 2 文字です。最大編集距離は検索文字列の各要素に個別に適用されます。SQL Search 基本インデックスでは、検索文字列の各単語に適用されます。SQL Search 意味的インデックスでは、検索文字列の各 NLP エンティティに適用されます (以下の例では、SQL Search 基本インデックスを想定しています)。

例えば、“analyse programme behaviour” という語句は、最大編集距離=2 の場合、ファジー検索で “analyze program behavior” と一致します。これは、検索文字列内の各単語が次のように、(最大) 2 文字の編集距離だけ異なるためです。analyse=analyze (1 文字置換)、programme=program (2 文字削除)、behaviour=behavior (1 文字削除)。

最大編集距離以下である単語の場合、最大編集距離の値以下の文字数を含むすべての単語がファジー検索で一致します。例えば、編集距離が 2 で、単語が “ab” の場合、任意の 2 文字の単語 (2 置換)、任意の 1 文字の語 (1 置換、1 削除)、“a” または “b” のいずれかを含む任意の 3 文字の単語 (1 置換、1 挿入)、“a” および “b” の両方をこの順序で含む任意の 4 文字の単語 (2 挿入) が一致することになります。

• ファジー検索は、基本、意味的、および分析のすべての SQL Search インデックス・タイプでサポートされています。基本インデックスでは、個別の単語に対してファジー検索が実行されます。意味的インデックスでは、個別の NLP エンティティに対してファジー検索が実行されます。

• ファジー検索はワイルドカード検索と組み合わせることはできません。

search_index() のファジー検索を有効にするには、既定の編集距離が 2 のファジー検索で search_option を 3 と指定します。または編集距離が n 文字と指定されているファジー検索では、3:n と指定します。以下の例は、編集距離が 4 のファジー検索が指定された SQL Search を示しています。

SELECT Narrative FROM Aviation.TestSQLSrch WHERE %ID %FIND 
search_index(NarrBasicIdx,'"color code" program','3:4','en')

3:1 と設定すると、編集距離=1 に設定されます。これにより、英語ではほとんど (すべてではありません) の単数および複数形の単語を照合できます。3:0 に設定すると、編集距離=0 に設定されます。これは、ファジー検索なしの SQL Search と同じです。

SQL Search メソッドのファジー検索を指定するには、pSearchOption = $$$IFSEARCHFUZZY と設定します。

語幹解析と複合語分解

語幹解析と複合語分解は、基本インデックス、意味的インデックス、および分析インデックスのすべてでサポートできます。語幹解析と複合語分解は単語ベースで、NLP エンティティベースの操作ではありません。SQL Search インデックスを定義する際に語幹解析と複合語分解を有効にする必要があります。インデックスで語幹解析対応の検索を使用できるようにするには、INDEXOPTION=1 を指定します。語幹解析対応の検索と複合語分解対応の検索の両方を使用できるようにするには、INDEXOPTION=2 を指定します。

語幹解析 (1) または語幹解析と複合語分解 (2) に対応するよう定義されている SQL Search インデックスの場合、search_option の値を設定することによって search_index() クエリでこれらの機能を使用することができます。

InterSystems IRIS 自然言語プロセッサでサポートされない言語

SQL Search 基本インデックスを使用すると、対応する NLP 言語モデルが存在しない言語のテキストにインデックスを作成して検索できます。

語幹解析は、NLP の意味的インデックス作成に依存しないため、語幹解析機能が使用できる場合は、単語の語幹形式に対する基本インデックスの単語検索も実行できます。語幹検索を実行するには、INDEXOPTION=1 または INDEXOPTION=2 を指定する必要があります。例えば、イタリア語は NLP でサポートされていない言語ですが、InterSystems IRIS にはイタリア語に対応した %Text 語幹解析機能が用意されています。

NLP でサポートされていない言語の SQL Search には、以下の制限と注意事項が適用されます。

• この機能を使用するには、InterSystems IRIS 自然言語プロセッサのライセンスが必要です。

• 言語は、スペースを使用して単語が区切られている必要があります。単語の区切り文字を使用しない言語は検索できません。ただし、日本語 (単語の区切り文字を使用しない言語) では NLP が日本語言語モデルを提供しているため、検索できます。

• アポストロフィでは、単語が区切られません。NLP は、短縮形 (“can’t” など) と動詞の短縮形 (“there’s” など) を認識して、2 つの単語に分割します。その一方で、所有を表す (“John’s”) など、その他の目的で使用されるアポストロフィは無視します。NLP のサポートがない場合、SQL Search は短縮形を別々の単語に分割できません。これは、テキストを前処理して、アポストロフィの前後に必要に応じて空白スペースを挿入することで補えます。

• SQL Search インデックス作成前に UserDictionary をテキストに適用することはできません。

詳細は、"InterSystems SQL の使用法" の “データベースの問い合わせ” の章にある "フリー・テキスト検索を呼び出すクエリ" を参照してください。

同義語テーブル

同義語テーブルを実装するには、iFind.Synonym 抽象クラスを拡張する永続クラスとしてそのテーブルを定義します。

このクラスでは、2 つのプロパティ FromTerm と ToTerm が定義されます。FromTerm プロパティと ToTerm プロパティのペアによって、ToTerm が FromTerm の同義語として定義されます。SQL Search では、クエリに FromTerm が含まれる場合、ToTerm を使用してそのクエリが拡張されます。

クエリでは、このクラスの GetMatch() メソッドを使用して、同義語テーブル内の同義語がクエリ用語に対して検索されます。

クエリの実行中、SQL Search は、単一の単語単位または位置検索句に対する同義語がないかどうか確認します。例えば、2 つの同義語ペア ("persons","people") および ("walk","run") が同義語テーブルに定義されていて、句 "persons walk" に対して SQL Search クエリを実行するとします。同義語テーブルがクエリに関連付けられている場合、SQL Search は元のクエリに一致するドキュメントだけでなく、"persons run"、"people walk"、および "people run" のいずれかのクエリに一致するドキュメントも返します。

ただし、search_items 文字列が '"persons walk"' の場合、クエリは拡張されません。SQL Search では、位置句検索内の単語が拡張されることはないからです。位置句自体は、クエリ拡張の最小単位です。ただし、("persons walk","persons walk and run") のような同義語ペアを定義した場合、SQL Search ではクエリ '"persons walk"' が '"persons walk and run"' に拡張されます。SQL Search は、ToTerm に複数の単語が含まれる場合、これを位置句として扱います。ToTerm には、あらゆる有効な位置句を指定でき、ワイルドカードの * または ? を含めることができます。