テキスト・カテゴリ化

実装インタフェース

テキスト分類モデルは、以下 2 つの方法のいずれかにより実装することができます。

• Caché 管理ポータルのユーザ・インタフェース (UI) ツールの使用。管理ポータルの [システム・エクスプローラ] オプションから、[iKnow] オプションを選択してから、[テキスト・カテゴリ化] を選択します。これにより、2 つのオプション [モデル・ビルダ] および [モデル・テスタ] が表示されます。

• プログラムにより、%iKnow.Classification パッケージ (%iKnow.Classification.BuilderOpens in a new tab、%iKnow.Classification.OptimizerOpens in a new tab、および %iKnow.Classification.ClassifierOpens in a new tab) が使用されます。

テキスト分類子の作成

テキスト分類子を作成するには、最初にビルダ・オブジェクトをインスタンス化して、これにトレーニング・セットのドメイン名と oref を指定します。さらに、テキスト分類子が使用することになる ClassificationMethod アルゴリズムを構成します。この最も使用が簡単なアルゴリズムは Naive Bayes の定理に基づいています。Naive Bayes では、トレーニング・セットの各カテゴリに対して個々のエンティティの確率を組み合わせて、各カテゴリに属する新しいテキストの全体的確率を計算します。

  SET tBuilder = ##class(%iKnow.Classification.IKnowBuilder).%New("mydomian",tTrainingSet)
  SET tBuilder.ClassificationMethod="naiveBayes"

さらに、テキスト分類子が使用することになるカテゴリを指定します。ソースがカテゴリ・ラベルをメタデータ・フィールドとして指定している場合、%LoadMetadataCategories()Opens in a new tab メソッドを 1 回呼び出すことができます。カテゴリ値またはカテゴリの数さえも指定する必要はありません。以下の例では、Aviation.Aircraft の AircraftCategory メタデータ・フィールドをカテゴリ・フィールドとして使用して、各レコードを 1 つのカテゴリ (“Airplane”、“Helicopter”、“Glider”、“Balloon” など) に割り当てています。

  SET myquery="SELECT TOP 100 E.ID,A.AircraftCategory,E.Type,E.NarrativeFull "_
  "FROM Aviation.Aircraft AS A,Aviation.Event AS E "_
  "WHERE A.Event=E.ID"
  SET idfld="ID"
  SET grpfld="Type"
  SET dataflds=$LB("NarrativeFull")
  SET metaflds=$LB("AircraftCategory")
  SET mstat=##class(%iKnow.Queries.MetadataAPI).AddField(domId,"AircraftCategory")
  IF mstat=1 { 
  SET stat=flister.AddListToBatch(myquery,idfld,grpfld,dataflds,metaflds) }
  .
  .
  .
  WRITE tBuilder.%LoadMetadataCategories("AircraftCategory")

レコードの大半のパーセンテージ (>80%) が “Airplane” に割り当てられている一方で、他のほとんどのラベルには割り当てられたレコードがほんの一握りしかないので、これは有益なカテゴリ・フィールドとなります (ただし、理想的ではない)。理想的には、各カテゴリ・ラベルがテキスト数とおよそ等しく対応する必要があります。各カテゴリがトレーニング・セットの最低 10% を示している限り、ほとんどの分類メソッドは正しく機能します。1 つのカテゴリ・ラベルは複数のソース・テキストと関連付ける必要があります。したがって、潜在的なカテゴリ値をごく少数のテキストと組み合わせて、“miscellaneous” などのカテゴリ・ラベルで、包括的カテゴリとしておくと役に立つ場合があります。

用語ディクショナリの生成

カテゴリを確立したら、テキスト分類子が各テキスト内を検索して、いずれのカテゴリ・ラベルを割り当てるか決めるために使用する用語を選択します。用語は個別に割り当てを行うか、または %PopulateTerms() を使用して、一定のメトリックに従いテキスト内にある複数用語を加えるかのいずれかとすることができます。

%PopulateTerms()Opens in a new tab を使用すれば、テキスト内での頻度に基づき、いくつもの用語を自動的に指定できます。既定では、Naive Bayes アルゴリズム (ほとんどがカテゴリごとの確率の差別化) を使用して、用語が選択されます。

  SET stat=tBuilder.%PopulateTerms(50)

Naive Bayes 以外のメトリックの実装は、サブクラスによって提供することができます。%PopulateTerms() を使用すれば、BM25 または TFIDF アルゴリズムを使って、トレーニング・セット・ドキュメントの上位 X 個の用語を指定できます。

一般的には、%PopulateTerms() および %AddEntity() メソッドの組み合わせを使用して、目的の用語セットを作成することになります。

個々の用語を指定して、テキスト分類子に含めるには、以下のように %AddEntity()、%AddCRC()、および %AddCooccurrence() メソッドを使用します。

%AddEntity()Opens in a new tab では、エンティティを単一用語として加えたり、またはエンティティを配列もしくはリストとして指定することで、複数エンティティを単一の複合用語として加えることができます。iKnow はこれらエンティティのカウントおよびスコアを集計して、用語の同義語やグループ変異形を取得できるようにします。

  DO tBuilder.%AddEntity("hang glider")
  DO tBuilder.%AddEntity("fixed wing aircraft","explicit","partialCount")
    SET tData(1)="helicopter",tData(2)="helicopters",tData(3)="twin-rotor helicopter"
  DO tBuilder.%AddEntity(.tData)

%AddEntity() は、否定および部分一致の取り扱い方法を必要に応じて指定できます。これは、前の例における 2 番目の %AddEntity() にて示しています。

%AddCRC()Opens in a new tab では、CRC を単一用語として加えることができます。テキスト分類はソース・テキストの一致頻度によって異なるので、CRC をテキスト分類子用語として役立てることは一般的ではありません。ただし、特定カテゴリに対する強力な指示子となる、きわめて特殊な順序のエンティティ (CRC) がある場合、CRC の追加は合理的となる可能性があります。

%AddCooccurrence()Opens in a new tab によって、単一用語として同一文内に 2 つの指定エンティティの出現を追加できます (順不同)。オプションにより、否定および部分一致の取り扱い方法を指定することもできます。

  WRITE tBuilder.%AddCooccurrence($LISTBUILD("landed","helicopter pad"))

これらの用語は特定カテゴリに関連付けされないことに注意してください。Builder は自動的にこれらの用語を含む各テキストが各カテゴリとどの程度関連しているか計算します。

分類オプティマイザの実行

テキスト分類子の開発時には、試行錯誤によって用語を追加/削除する必要はありません。%iKnow.Classification.OptimizerOpens in a new tab クラスのメソッドを使用すれば、予測精度に大きく影響する該当エンティティを含めることができます。

1. オプティマイザ・オブジェクトを作成して、そのビルダ・プロパティを使用することにより、関連付けのための %iKnow.Classification.Builder オブジェクトを指定します。オプションにより、ScoreMetric プロパティを設定して、パフォーマンスの測定方法を指定します (既定は MacroFMeasure)。

     SET tOpt = ##class(%iKnow.Classification.Optimizer).%New(domId,tBuilder)
     SET tOpt.ScoreMetric="MicroPrecision"
   

   

2. 配列から (LoadTermsArray()Opens in a new tab を使用)、または SQL クエリを使用すること (LoadTermsSQL()Opens in a new tab を使用) のいずれかによって、多数の候補用語を含めます。

3. Optimize()Opens in a new tab メソッドを実行します。これにより、用語の ScoreMetric 値に基づいて、自動的に用語の追加と削除が行われます。Optimize() では、潜在的に価値の高い用語の追加を指定回数実施して、それらの影響度を計算してから、価値の低い用語を削除します。

テキスト分類子の生成

カテゴリと用語を特定したら、テキスト分類子クラスを生成します。このテキスト分類子クラスには、ソースにある用語に基づいて、最適なカテゴリ・ラベルを特定するためのコードが組み込まれます。以下のように、テキスト分類子のクラス名を指定します。

   WRITE tBuilder.%CreateClassifierClass("User.MyClassifier")

このメソッドによって実行される操作は、指定した ClassificationMethod によって異なります。Naive Bayes では、実際のカテゴリについても把握されている各ソース・テキストの各用語に対する一致スコア/カウントを含んだマトリックスが最初に作成されます。これにより、割り当てられたカテゴリを指定用語がどの程度予測するものであるかについてのモデルを構築します。

ここで使用する例においては、カテゴリが AircraftCategory メタデータ・フィールド値より取得されたものとなります。各用語は各ソースと相関して、カテゴリの決定において、その用語の予測性がどの程度であるか判断します。例えば、用語 “helipad” の存在は AircraftCategory=helicopter を伴うソースを強く予測するものとなっています。用語 “engine” はいくつかのカテゴリ (airplane や helicopter ですが、glider や balloon ではない) を示しているので、単一カテゴリの予測としては弱くなります。ただし、このタイプの用語を含むことにより、一定カテゴリの排除には役立つことがあります。用語 “passenger” はいずれのカテゴリにとっても貧弱な予測に過ぎないので、テキスト分類子モデルには不向きな用語である可能性が高くなります。%AddEntity() および %RemoveTerm() を使用すれば、カテゴリ決定の貢献度に基づいて、用語ディクショナリに適合できます。

テスト結果の使用

トレーニング・セットの精度とテスト・セットの精度の間に重大な不一致がある場合、用語ディクショナリはトレーニング・セットに “重複適合” されていることになります。この問題を修正するには、ビルド・プロセスに戻り、用語ディクショナリを改訂します。個々の用語を用語配列で置き換えれば、用語ディクショナリを一般化することができます。

  SET stat=tBuilder.%RemoveTerm("Bell helicopter")
  SET tData(1)="Bell helicopter",tData(2)="Bell 206 helicopter",tData(3)="Bell 206A helicopter",
      tData(4)="Bell 206A-1 helicopter",tData(5)="Bell 206L helicopter",tData(6)="Bell 206L LongRanger"
  SET stat=tBuilder.%AddEntity(.tData)

また、個々の用語を変更することで、用語ディクショナリを一般化すれば、完全一致だけでなく、部分一致 ("partialCount") も認められるようになります。

UI に対するデータ・セットの定義

新規のテキスト分類子を作成するには、ドメインを作成して、トレーニング・セットとテスト・セットとして使用可能なデータ・ソースによりそのドメインを生成している必要があります。通常、これらのソースのデータは以下の指定が必要になります。

• テキスト分類子により分析されるテキストを含む 1 つ以上のデータ・フィールド。

• テキスト分類子により使用されるカテゴリを含むメタデータ・フィールド。データ・ソースには、可能性のある各カテゴリ値に対して最低 1 つのソースが必要となります。

• データ・ソースのトレーニング・セットとテスト・セットへの分割に使用可能な値を含むメタデータ・フィールド。このフィールドはデータの実際の内容とつながりを持つ必要がないので、ソースのランダム分割が可能になります。例えば、ソース ID 番号または日付や時間の値などがそれに当たります。多くの場合、< (より小さい) および > (より大きい) の演算子を指定して、セットへのソース分割を可能にする必要があります。

以下は、データ・ソース・フィールド定義の例です。

  SET myquery="SELECT TOP 200 E.ID,A.AircraftCategory,E.Type,E.NarrativeFull "_
     "FROM Aviation.Aircraft AS A,Aviation.Event AS E "_
     "WHERE A.Event=E.ID"
  SET idfld="ID"
  SET grpfld="Type"
  SET dataflds=$LB("NarrativeFull")
  SET metaflds=$LB("AircraftCategory","ID")
  DO ##class(%iKnow.Queries.MetadataAPI).AddField(domId,"AircraftCategory")
  DO ##class(%iKnow.Queries.MetadataAPI).AddField(domId,"ID",$LB("=","<=",">"))

テキスト分類子の構築

新規のテキスト分類子を作成するには、[新規] ボタンを選択します。これにより、[新規テキスト分類子の作成] ウィンドウが表示されます。テキスト分類子の新規 [クラス名] を作成します。既存ドメインのドロップダウン・リストから、iKnow の [ドメイン] を選択します。そのドメインに対して定義されたメタデータ・フィールドのドロップダウン・リストから、カテゴリ・ラベルを含む [カテゴリ・フィールド] を選択します。[トレーニング・セット] については、ドロップダウン・リストからメタデータ・フィールドを選択し、さらにドロップダウン・リストから演算子を選択して、値を指定します。例えば、EventDate <= 2004 となります。[テスト・セット] については、同じメタデータ・フィールドおよび補完的な演算子と値を選択します。例えば、EventDate > 2004 となります。また、SQL クエリで [SQL] を使用して、[トレーニング・セット] および [テスト・セット] を指定することができます。

[用語の生成] については、ドロップダウン・リストから派生用語のメソッドを選択して、派生用語の上位数を指定します。例えば、Naive Bayes (NB) に対しては、[NB 差別化による上位 n 個の用語] となります。その後、[作成] をクリックします。

これにより、以下の 3 つのパネルのスクリーンが表示されます。

右側のパネルに [モデルのプロパティ] が表示されます。通常は、これらの値を変更しません。データ・ソース・ドメイン名をクリックすれば、前の手順で指定した [カテゴリ・フィールド]、[トレーニング・セット]、または [テスト・セット] を変更することができます。ボタン・バーの [ギア] アイコンをクリックすれば、追加の高度制御がいくつか表示されます。

中央パネル ([選択された用語]) では、モデルの一部として選択済みの用語のツリー表示が現れます。左側のパネル ([用語の追加]) では、モデルに用語を追加することができます。

テキスト分類子の最適化

テキスト分類子の保存後には、オプティマイザを使用して、自動的に用語ディクショナリを最適化することができます。オプティマイザは追加候補用語のリストを取得して、各用語のテストを行い、テキスト分類子の精度に最高の影響度を備えた用語を加えます。

[最適化] ボタンをクリックします。これにより、[用語選択の最適化] ポップアップ・ウィンドウが表示されます。ドロップダウン・リストから、[関連メトリック] (BM25、TFIDF、または優位性) を選択します。該当のメトリックを使用し、候補用語の数を指定してから、[ロード] をクリックします。右側のパネルに [テスト用の候補用語] が一覧表示されます。[次へ] をクリックします。

これにより、既定値で [設定] パネルが表示されます。これらの既定値を受け入れて、[開始] をクリックできます。これにより、オプティマイザが実行され、用語の追加と削除が行われます。最適化プロセスが完了したら、[用語選択の最適化]　ポップアップ・ウィンドウを閉じることができます。中央パネルの [選択された用語] リストが変化していることに注意してください。[保存] ボタンをクリックして、用語ディクショナリへのこれらの追加を保存します。

オプティマイザは異なる設定にて複数回実行することができます。各最適化の後には、テキスト分類子をテストすることができます。これは、以下のセクションで説明します。

データのテスト・セットに対するテキスト分類子のテスト

[テスト] ボタンをクリックします。これにより、新しいブラウザ・タブに [モデル・テスタ] が表示されます。[モデル・テスタ] により、テスト・データに対してテキスト分類子をテストすることができます。テスト後、[モデル・ビルダ] ブラウザ・タブに戻り、手動で [用語の追加] を使用するかオプティマイザを実行 (あるいは再実行) して、用語の追加や削除ができます。

[モデル・テスタ] では、以下の 2 通りのテキスト分類子テスト方法が用意されています。

• [ドメイン] タブ： [ドメイン]、[カテゴリ・フィールド]、および [テスト・フィルタ] は [モデル・ビルダ] より値を取得する必要があります。[モデル・テスタ] にて、[実行] ボタンをクリックします。これにより、全体のテスト結果および各カテゴリの詳細テスト結果が表示されます。

• [SQL] タブ： SQL クエリを指定すれば、データ・ソースの SQL セクションのテスト・データを提供することができます。以下の例に示すように、_Text と _Category の列エイリアスを使用して、ソース・テキストとメタデータ・カテゴリの列を指定します。

  SELECT E.ID,A.AircraftCategory AS _Category,E.Type,E.NarrativeFull AS _Text 
  FROM Aviation.Aircraft AS A,Aviation.Event AS E WHERE A.Event=E.ID

  

  次に、[テスト] をクリックします。これにより、テキスト分類子によって決定したカテゴリと実際のカテゴリ値が比較されます。ここでは、全体のテスト結果および各カテゴリの詳細が表示されます。

未分類データに対するテキスト分類子のテスト

テキスト文字列についてテキスト分類子を使用すれば、その文字列がどの程度カテゴリを導き出すかテストすることができます。[テスト] ボタンを選択します。これにより、[テキスト入力] ウィンドウが表示されます。テキスト文字列を指定してから、[分類] を押します。

• [テキスト] タブでは、用語ディクショナリの用語をハイライトした形でテキストが表示されます。

• [カテゴリ] タブでは、各カテゴリのスコア・バーが表示されます (緑は「正」、茶は「誤」を表す)。

• [トレース情報] タブでは、入力テキストにある各用語に対する確率バーが表示されます。カテゴリのドロップダウン・リストに対してウェイトを使用すれば、すべてのカテゴリ (既定) または個々のカテゴリの各用語に対して、確率を求めることができます。

Th