特開 2024-171731 変状検出プログラム、変状検出装置、および変状検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024171731

(43)【公開日】2024-12-12

(54)【発明の名称】変状検出プログラム、変状検出装置、および変状検出方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241205BHJP

【ＦＩ】

G06T7/00 350B

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023088898

(22)【出願日】2023-05-30

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】河村 直輝

(72)【発明者】

【氏名】野田 玲子

(72)【発明者】

【氏名】伊藤 聡

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA01

5L096GA51

5L096HA11

5L096JA11

5L096KA04

5L096KA15

5L096MA07

(57)【要約】

【課題】任意の変状検出方法における変状検出精度の向上を図る。
【解決手段】変状検出装置１０で実行される変状検出プログラムは、特徴量算出部２４Ａによって実行される特徴量算出ステップと、第１選択部２４Ｂによって実行される第１選択ステップと、変状度データ算出部２４Ｃによって実行される変動度データ算出ステップと、を含む。特徴量算出ステップは、複数の教師データの各々の第１特徴量および検出対象データの第２特徴量を算出もしくは参照する。第１選択ステップは、複数の教師データの各々に対応する第１付加情報に基づいて、複数の第１特徴量の内の少なくとも１つ以上を選択する。変状度データ算出ステップは、選択された第１特徴量と、第２特徴量と、を用いて、検出対象データの変状度を表す変状度データを算出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の教師データの各々の第１特徴量および検出対象データの第２特徴量を算出もしくは参照する特徴量算出ステップと、
複数の前記教師データの各々に対応する第１付加情報に基づいて、複数の前記第１特徴量の内の少なくとも１つ以上を選択する第１選択ステップと、
選択された前記第１特徴量と、前記第２特徴量と、を用いて、前記検出対象データの変状度を表す変状度データを算出する変状度データ算出ステップと、
をコンピュータに実行させるための変状検出プログラム。

【請求項2】

前記第１選択ステップは、
互いに非類似の複数の前記第１付加情報に対応する複数の前記教師データの各々から算出された前記第１特徴量を選択する、
請求項１に記載の変状検出プログラム。

【請求項3】

前記第１選択ステップは、
複数の前記第１特徴量を、複数の前記第１特徴量の各々の算出元の複数の前記教師データの各々の前記第１付加情報が類似する複数のグループに分類し、複数の前記グループの各々ごとに、前記グループに属する前記第１特徴量を少なくとも１つ以上選択する、
請求項１に記載の変状検出プログラム。

【請求項4】

前記第１選択ステップは、
複数の前記教師データの各々に対応する前記第１付加情報に基づいて、複数の前記第１特徴量の内の一部を選択する、
請求項１に記載の変状検出プログラム。

【請求項5】

前記第１選択ステップで選択された複数の前記第１特徴量の内、
前記検出対象データの前記第２特徴量に類似、および、前記検出対象データに対応する第２付加情報に類似する前記第１付加情報に対応する複数の前記教師データの各々から算出、の少なくとも一方の条件を満たす前記第１特徴量を選択する第２選択ステップを含み、
前記変状度データ算出ステップは、
前記第２選択ステップで選択された前記第１特徴量と、前記第２特徴量と、を用いて、前記検出対象データの変状度を表す変状度データを算出する、
請求項１に記載の変状検出プログラム。

【請求項6】

前記変状度データを表示部へ表示する表示制御ステップを含む、
請求項１に記載の変状検出プログラム。

【請求項7】

前記表示制御ステップは、
前記変状度データを変状度に応じた表示形態で前記表示部へ表示する、
請求項６に記載の変状検出プログラム。

【請求項8】

前記表示制御ステップは、
前記変状度データと、前記検出対象データおよび前記教師データの少なくとも一方と、を前記表示部へ表示する、
請求項６に記載の変状検出プログラム。

【請求項9】

前記検出対象データおよび前記教師データは、画像データまたは音声データである、
請求項１に記載の変状検出プログラム。

【請求項10】

前記第１付加情報は、
前記教師データの取得条件を表す情報であり、
前記第２付加情報は、
前記検出対象データの前記取得条件を表す情報である、
請求項５に記載の変状検出プログラム。

【請求項11】

複数の教師データの各々の第１特徴量および検出対象データの第２特徴量を算出もしくは参照する特徴量算出部と、
複数の前記教師データの各々に対応する第１付加情報に基づいて、複数の前記第１特徴量の内の少なくとも１つ以上を選択する第１選択部と、
選択された前記第１特徴量と、前記第２特徴量と、を用いて、前記検出対象データの変状度を表す変状度データを算出する変状度データ算出部と、
をコンピュータに実行させるための変状検出装置。

【請求項12】

複数の教師データの各々の第１特徴量および検出対象データの第２特徴量を算出もしくは参照する特徴量算出ステップと、
複数の前記教師データの各々に対応する第１付加情報に基づいて、複数の前記第１特徴量の内の少なくとも１つ以上を選択する第１選択ステップと、
選択された前記第１特徴量と、前記第２特徴量と、を用いて、前記検出対象データの変状度を表す変状度データを算出する変状度データ算出ステップと、
を含む変状検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、変状検出プログラム、変状検出装置、および変状検出方法に関する。

【背景技術】

【0002】

画像などの検出対象データの変状を検出するシステムが知られている。例えば、正常なデータのみを教師データとして教示し、学習した自己符号器を用いて、画像内の対象領域の差分処理を行うことで、変状検出を行う技術が開示されている。また、例えば、事前学習したＣＮＮ（Convolution Neural Network）の特徴空間における差分を利用することで、変状検出を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１４２５８８号公報

【特許文献2】特開２０２０－１４４６２６号公報

【非特許文献】

【0004】

【非特許文献1】N. Cohen, Y. Hoshen. “Transformer-Based Anomaly Segmentation.” ArXiv.org, 2020.

【非特許文献2】K. Roth, L. Pemula, J. Zepeda, B. Scholkopf, T. Brox, & P. Gehler. “Towards total recall in industrial anomaly detection.” In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 14318-14328), 2022.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、従来技術では、類似する複数の教師データ、すなわち偏った複数の教師データを利用した変状検出が行われており、教師データに偏りがあることによって変状検出精度が低下する場合があった。また、従来技術では、教師データ自体の特徴量を用いてデータセットのサンプルを間引く処理や、教師データの特徴ベクトルの次元数を削減する処理を行っており、教師データの局所的な偏りが抑制されず、変状検出精度が低下する場合があった。すなわち、従来技術では、変状検出精度が低下する場合があった。

【0006】

本開示が解決しようとする課題は、任意の変状検出方法における変状検出精度の向上を図ることができる、変状検出プログラム、変状検出装置、および変状検出方法を提供することである。

【課題を解決するための手段】

【0007】

実施形態の変状検出プログラムは、複数の教師データの各々の第１特徴量および検出対象データの第２特徴量を算出もしくは参照する特徴量算出ステップと、複数の前記教師データの各々に対応する第１付加情報に基づいて、複数の前記第１特徴量の内の少なくとも１つ以上を選択する第１選択ステップと、選択された前記第１特徴量と、前記第２特徴量と、を用いて、前記検出対象データの変状度を表す変状度データを算出する変状度データ算出ステップと、をコンピュータに実行させるための変状検出プログラム。

【図面の簡単な説明】

【0008】

【図1】実施形態の変状検出装置の模式図。

【図2】情報処理の流れを示すフローチャート。

【図3】実施形態の変状検出装置の模式図。

【図4】情報処理の流れを示すフローチャート。

【図5】ハードウェア構成図。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、実施形態の変状検出プログラム、変状検出装置、および変状検出方法を詳細に説明する。

【0010】

（第１の実施形態）
図１は、本実施形態の変状検出プログラム、および変状検出方法を実行するための変状検出装置１０の一例を示す模式図である。

【0011】

変状検出装置１０は、検出対象データに変状を検出するコンピュータである。

【0012】

検出対象データとは、変状を検出する対象のデータである。変状とは、通常では見られない異常な様相や、正常から外れた状態を意味する。

【0013】

検出対象データは、例えば、画像データである。画像データは、カメラによる撮影画像データ、ＣＡＤ（Computer Aided Design）データ等のコンピュータ等によって作成された画像データ、等である。撮影画像データは、例えば、カメラにより撮影された被写体の画像データ、車載カメラで撮影された動画像データに含まれるフレーム画像データ、ＭＲＩ(Magnetic Resonance Imaging)装置等で撮影した患者の画像データ、等である。被写体は、例えば、工場製品、人体、風景等であるがこれに限定されない。本実施形態では、検出対象データが、カメラによって撮影された撮影画像データである形態を一例として説明する。また、以下では、撮影画像データを、単に画像データと称して説明する場合がある。

【0014】

変状検出装置１０は、記憶部２０と、通信部２２と、処理部２４と、表示部２６と、を備える。記憶部２０と、通信部２２と、処理部２４と、表示部２６とは、通信可能に接続されている。

【0015】

記憶部２０は、各種のデータを記憶する。記憶部２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部２０は、変状検出装置１０の外部に設けられた記憶装置であってもよい。また、記憶部２０は、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、ＬＡＮ（Local Area Network）やインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。また、記憶部２０を、複数の記憶媒体から構成してもよい。

【0016】

本実施形態では、記憶部２０は、教師データＤＢ（データベース）２０Ａを記憶する。

【0017】

教師データＤＢ２０Ａは、複数の教師データと、複数の教師データの各々に対応する第１付加情報と、を対応付けたデータベースである。教師データＤＢ２０Ａのデータ形式は、テーブル等であってもよく、データベースに限定されない。本実施形態では、教師データＤＢ２０Ａは、教師データの識別情報であるＩＤ（identification）と、教師データと、第１付加情報と、が対応付けて登録された形態を一例として説明する。

【0018】

教師データは、検出対象データより前もって取得したデータである。教師データは、例えば、画像データである。本実施形態では、教師データが、画像データである形態を一例として説明する。

【0019】

なお、本実施形態では、検出対象データおよび教師データが、画像データである形態を一例として説明する。しかし、変状検出装置１０は、画像データ以外の様々なデータの変状検出に適用可能である。例えば、検出対象データおよび教師データは、音声データ、時系列映像データ、人体の姿勢をグラフとして記述したスケルトンデータ、など、観測値をスカラー、ベクトルまたは多次元テンソルとして表現可能なデータであればよく、画像データに限定されない。

【0020】

教師データＤＢ２０Ａに登録されている複数の教師データには、検出対象データと同様のフォーマットの教師データが少なくとも１以上含まれていればよい。同様のフォーマットであるとは、データを予め定めた規則に従って複数のグループに分類したときに、同じ分類に属することを意味する。例えば、同じフォーマットであるとは、例えば、双方が画像データ、双方が時系列映像データ、双方が音声データ、双方がスケルトンデータ、などであることを表す。

【0021】

すなわち、本実施形態では、検出対象データおよび教師データが、画像データである形態を一例として説明する。

【0022】

教師データＤＢ２０Ａには、検出対象データと同じ被写体を撮影した撮影画像の画像データであって、且つ、変状箇所を含まない画像データが、教師データとして予め登録されていることが好ましい。

【0023】

例えば、検出対象データである撮影画像データの被写体が、欠損部を有する物体である場合を想定する。例えば、物体が歯車であり、欠損部を有する歯車の撮影画像が、検出対象データであった場合を想定する。この場合、教師データＤＢ２０Ａに登録されている複数の教師データの少なくとも１つ以上は、欠損部を有さず歯車に一致または歯車に類似する撮影画像データであることが好ましい。

【0024】

また、検出対象データである撮影画像の被写体が、ある場所の風景である場合を想定する。例えば、検出対象データが、ある場所の風景を撮影した映像の、１フレーム分の撮影画像であった場合を想定する。この場合、教師データＤＢ２０Ａに登録されている複数の教師データの少なくとも１つ以上は、検出対象データの風景に含まれる物体と同じまたは類似する物体であって、欠損部等の変状を有さない物体を含む風景の撮影画像データであることが好ましい。

【0025】

第１付加情報とは、教師データに関する情報であり、教師データ対する付加情報である。本実施形態では、第１付加情報は、教師データの取得条件を表す情報である。すなわち、第１付加情報は、教師データに関する情報であるが、教師データとは異なるセンサまたは異なる手法で得られるデータである。教師データの取得条件とは、教師データの、取得タイミング、取得環境、取得元、種類、の少なくとも１つである。

【0026】

取得タイミングとは、教師データの各々が取得されたタイミングを意味する。教師データが画像データである場合、取得タイミングは、例えば、撮影タイミングである。撮影タイミングは、例えば、撮影日時等によって表される。教師データが音声データである場合、取得タイミングは、例えば、音声の発生タイミングである。音声の発生タイミングは、例えば、音声の観測時刻、音声の発生日時、等によって表される。

【0027】

取得環境とは、教師データが取得されたときの環境を意味する。環境とは、場所、状況、明るさ、気象条件、などである。教師データが画像データである場合、取得環境は、画像データの撮影時の撮影環境を意味する。

【0028】

場所は、教師データの取得場所を表す。具体的には、教師データが画像データである場合、場所は、撮影位置を表す。撮影位置は、カメラによる画像データの撮影時に該カメラに付与されたＧＰＳ（Global Positioning System）等によって測定された位置座標によって表される。撮影位置は、例えば、撮影された場所を表すエリア名等によって表されてもよい。教師データが音声データである場合、場所は、音声の観測位置、または音声の集音位置、等の音声データの取得場所を表す。

【0029】

状況は、教師データの取得時の状況を表す。明るさは、教師データの取得時の環境の明るさを表す。気象条件は、教師データの取得時の天候、湿度、気温、気圧、風速、などの気象を表す。

【0030】

教師データの取得元とは、教師データの取得元の特定情報である。例えば、教師データが画像データである場合、教師データの取得元とは、教師データを撮影したカメラを特定可能な情報、および、教師データによって特定される要素に関する情報である。教師データによって特定される要素に関する情報は、教師データに含まれる被写体である患者等のユーザのプロフィール情報、カルテ情報、教師データに含まれる被写体である物品の製造または生産条件に関する情報、等である。教師データが音声データである場合、教師データの取得元は、音声の発生源を表す情報等である。

【0031】

教師データの種類とは、教師データのデータの種類を意味する。例えば、教師データが画像データである場合、教師データの種類は、画像フォーマットを表す情報である。教師データが音声データである場合、教師データの種類は、音声の言語を表す情報等である。

【0032】

第１付加情報には、少なくとも１種の上記取得条件を表す情報が含まれていればよく、複数種の上記取得条件を表す情報が含まれていてもよい。

【0033】

教師データＤＢ２０Ａには、複数の教師データの各々のＩＤと、ＩＤによって識別される教師データと、教師データの第１付加情報と、が対応付けて予め登録されている。

【0034】

なお、教師データおよび教師データに対応する第１付加情報は、互い対応付けて記憶されていればよく、１つの教師データＤＢ２０Ａに対応付けて登録された形態に限定されない。例えば、教師データおよび第１付加情報は、それぞれ異なる記憶領域、または異なる記憶媒体に記憶されていてもよい。具体的には、ＩＤとＩＤによって識別される教師データとを対応付けたデータセットと、ＩＤとＩＤによって識別される教師データの第１付加情報とを対応付けたデータセットと、を異なる記憶領域または記憶媒体に記憶した構成であってもよい。

【0035】

通信部２２は、ネットワークなどの公知の通信網を介して他の情報処理装置と通信する。

【0036】

処理部２４は、各種の情報処理を実行する。処理部２４の詳細は後述する。

【0037】

表示部２６は、各種の情報を表示する。表示部２６は、例えば、ディスプレイ、投影装置、などである。なお、変状検出装置１０は、ユーザによる操作指示を受付ける入力部を更に備えた構成であってもよい。入力部は、例えば、キーボード、マウス、マイクロフォン、などである。また、表示部２６と入力部とを一体的に構成し、タッチパネルとして構成してもよい。

【0038】

なお、記憶部２０および処理部２４の少なくとも一方を、ネットワークおよび通信部２２を介して接続されたサーバ装置などの外部の情報処理装置に搭載した構成としてもよい。また、記憶部２０に含まれる少なくとも一部の情報を、ネットワークおよび通信部２２を介して処理部２４に接続された、サーバ装置などの外部の情報処理装置に記憶した構成としてもよい。また、処理部２４に含まれる後述する機能部の少なくとも１つを、ネットワークおよび通信部２２を介して処理部２４に接続された、サーバ装置などの外部の情報処理装置に搭載してもよい。

【0039】

次に、処理部２４について詳細に説明する。

【0040】

処理部２４は、特徴量算出部２４Ａと、第１選択部２４Ｂと、変状度データ算出部２４Ｃと、表示制御部２４Ｄと、を有する。

【0041】

特徴量算出部２４Ａ、第１選択部２４Ｂ、変状度データ算出部２４Ｃ、および表示制御部２４Ｄ、の少なくとも１つは、例えば、１または複数のプロセッサにより実現される。例えば、上記各部は、ＣＰＵ（Central Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

【0042】

特徴量算出部２４Ａは、複数の教師データの各々の第１特徴量、および検出対象データの第２特徴量を算出もしくは参照する。

【0043】

本実施形態では、特徴量算出部２４Ａは、複数の教師データを取得する。例えば、特徴量算出部２４Ａは、教師データＤＢ２０Ａに登録されている全ての複数の教師データを読取ることで、複数の教師データを取得する。本実施形態では、特徴量算出部２４ＡがＮ個の教師データを読取る場合を想定して説明する。Ｎは２以上の整数である。そして、特徴量算出部２４Ａは、取得した複数の教師データの各々の第１特徴量を算出する。

【0044】

また、特徴量算出部２４Ａは、通信部２２を介して外部の情報処理装置から検出対象データを取得する。そして、特徴量算出部２４Ａは、検出対象データの第２特徴量を算出もしくは参照する。特徴量算出部２４Ａは、１つの検出対象データの第２特徴量を算出もしくは参照する。

【0045】

第１特徴量および第２特徴量は、データの特徴量を表す。特徴量は、例えば、特徴量マップ、および、特徴量ベクトル、の少なくとも一方を含む。本実施形態では、特徴量算出部２４Ａは、特徴量マップおよび特徴量ベクトルの双方を、第１特徴量および第２特徴量の各々として算出する形態を一例として説明する。

【0046】

特徴量マップとは、教師データおよび検出対象データの各々の位置、もしくは要素ごとの特徴値を、スカラーまたはベクトルとして抽出したものである。

【0047】

上述したように、本実施形態では、教師データおよび検出対象データが画像データである場合を一例として説明する。この場合、例えば、特徴量マップは、画像データを構成する画素の各々の画素値を、特徴値として表したマップである。また、特徴量マップは、例えば、画像データを事前学習済みＣＮＮに入力した時の、中間層で出力される特徴量マップである。

【0048】

また、例えば、教師データおよび検出対象データが音声データである場合、特徴量マップとして、音声データの各々の要素値を特徴値として表した波形データを用いればよい。この場合、例えば、特徴量マップは、音声データを構成する要素値の各々を特徴値として表したマップである。また、特徴量マップは、例えば、音声データを事前学習済みＣＮＮに入力した時の、中間層で出力される特徴量マップである。

【0049】

事前学習済みＣＮＮとは、任意の大規模なデータセットを利用して学習したＣＮＮである。事前学習済みＣＮＮとして、例えば、ＩｍａｇｅＮｅｔデータセットを利用して、画像分類タスクを学習したＣＮＮがある。

【0050】

特徴量ベクトルとは、教師データおよび検出対象データの各々が表す特徴を、ベクトルとして記述したものである。特徴量ベクトルには、例えば、画像データを事前学習済みＣＮＮに入力した時の、全結合層で出力される特徴量ベクトルがある。また、教師データおよび検出対象データが音声データである場合、特徴量ベクトルには、例えば、音声データを事前学習済みニューラルネットワークに入力した時の、全結合層で出力される特徴量ベクトルがある。

【0051】

特徴量算出部２４Ａは、Ｎ個の教師データの各々の第１特徴量を算出し、算出したＮ個の第１特徴量を第１選択部２４Ｂへ出力する。すなわち、このとき、特徴量算出部２４Ａは、Ｎ個の第１特徴量と、第１特徴量の算出元の教師データのＩＤと、を対応付けたデータを第１選択部２４Ｂへ出力する。また、特徴量算出部２４Ａは、検出対象データの第２特徴量を変状度データ算出部２４Ｃへ出力する。

【0052】

なお、特徴量算出部２４Ａは、算出した教師データの第１特徴量を、算出に用いた教師データに対応付けて教師データＤＢ２０Ａに更に記憶してもよい。この記憶処理により、特徴量算出部２４Ａは、既に第１特徴量を算出済の教師データについては、第１特徴量の算出を省略することができる。

【0053】

また、特徴量算出部２４Ａは、検出対象データと同じ分類の被写体を撮影した撮影画像の画像データであって、且つ、変状箇所を含まないＮ個の教師データを教師データＤＢ２０Ａから検索し、第１特徴量を算出してもよい。検出対象データと同じ被写体を撮影した撮影画像の検索には、公知の画像処理技術などを用いればよい。

【0054】

また、特徴量算出部２４Ａは、通信部２２を介して外部の情報処理装置からＮ個の（複数の）教師データを取得し、各々の第１特徴量を算出してもよい。また、特徴量算出部２４Ａは、記憶部２０に予め記憶された検出対象データを取得し、第２特徴量を算出してもよい。

【0055】

次に、第１選択部２４Ｂについて説明する。第１選択部２４Ｂは、複数の教師データの各々に対応する第１付加情報に基づいて、複数の第１特徴量の内の少なくとも１つ以上を選択する。

【0056】

例えば、第１選択部２４Ｂが特徴量算出部２４ＡからＮ個の第１特徴量を受付けた場面を想定する。第１選択部２４Ｂは、Ｎ個の第１特徴量の各々の算出元の教師データに対応する第１付加情報を用いて、Ｍ個の第１特徴量を選択する。Ｍは、Ｎ以下の整数である。

【0057】

詳細には、第１選択部２４Ｂは、互いに非類似の複数の第１付加情報に対応する複数の教師データの各々から算出された第１特徴量を選択する。非類似および類似の判断には、例えば、正規化相互相関や、ユークリッド距離等を使用すればよい。

【0058】

すなわち、第１選択部２４Ｂは、第１付加情報の類似する第１特徴量を間引くように、Ｎ個の第１特徴量からＭ個の第１特徴量を選択する。言い換えると、第１選択部２４Ｂは、Ｎ個の第１特徴量の各々の算出元の教師データに対応する第１付加情報同士の類似度が小さくなるように、Ｍ個の第１特徴量を選択する。または、第１選択部２４Ｂは、Ｎ個の第１特徴量の各々の算出元の教師データに対応する第１付加情報同士における互いに一致する一致要素が少なくなるように、Ｍ個の第１特徴量を選択する。

【0059】

例えば、Ｍ個の教師データが画像データであり、第１付加情報がＧＰＳ等によって測定された位置座標によって表される撮影位置である場合を想定する。この場合、第１選択部２４Ｂは、Ｎ個の第１特徴量の各々の算出元の教師データに対応する第１付加情報によって表される撮影位置が所定距離以上離れた距離となるように、Ｍ個の第１特徴量を選択する。該所定距離には、非類似の判定に用いる距離を予め設定すればよい。また、該所定距離は、ユーザによる操作指示等に応じて適宜変更可能としてもよい。

【0060】

詳細には、例えば、第１選択部２４Ｂは、Ｎ個（複数）の第１特徴量を、Ｎ個の第１特徴量の各々の算出元のＮ個の教師データの各々の第１付加情報が類似する複数のグループに分類する。そして、第１選択部２４Ｂは、複数のグループの各々ごとに、グループに属する第１特徴量を少なくとも１つ以上選択する。

【0061】

例えば、教師データが画像データであり、第１付加情報がＧＰＳ等によって測定された位置座標によって表される撮影位置である場合を想定する。この場合、第１選択部２４Ｂは、Ｎ個の第１特徴量を、Ｎ個の第１特徴量の各々の算出元の教師データに対応する第１付加情報を参照し、第１付加情報によって表される撮影位置が所定範囲内で類似する複数のグループに分類する。そして、第１選択部２４Ｂは、各グループに属する第１特徴量から、グループごとに１つの第１特徴量を選択する。第１選択部２４Ｂは、この選択処理を、選択した第１特徴量の全数がＭ個となるまで繰り返すことで、Ｍ個の第１特徴量を選択する。この場合、Ｍには、Ｎ未満の値を予め設定すればよい。

【0062】

このように、Ｎ個の第１特徴量の各々の算出元の教師データに対応する第１付加情報の各々が、互いに非類似である場合には、第１選択部２４ＢはＮ個の第１特徴量をＭ個の第１特徴量として選択する。また、Ｎ個の第１特徴量の各々の算出元の教師データに対応する第１付加情報の少なくとも一部が類似する場合には、第１選択部２４ＢはＮ個未満の数であるＭ個の第１特徴量を選択することとなる。すなわち、この場合、第１選択部２４Ｂは、複数の教師データの各々に対応する第１付加情報に基づいて、第１付加情報が互いに非類似となるように間引くことで、Ｎ個の第１特徴量の内の一部を選択し、Ｎ個未満のＭ個の第１特徴量を選択することとなる。

【0063】

そして、第１選択部２４Ｂは、選択したＭ個の第１特徴量を変状度データ算出部２４Ｃへ出力する。このとき、第１選択部２４Ｂは、選択したＭ個の第１特徴量と、Ｍ個の第１特徴量の各々の算出元の教師データのＩＤと、を対応付けたデータを変状度データ算出部２４Ｃへ出力する。

【0064】

変状度データ算出部２４Ｃは、選択された前記第１特徴量と、第２特徴量と、を用いて、検出対象データの変状度を表す変状度データを算出する。

【0065】

変状度データとは、検出対象データの変状度を表すデータである。詳細には、変状度データは、検出対象データを構成する要素ごとの変状度を表すデータである。例えば、検出対象データが画像データである場合、変状度データは、検出対象データの画素ごとに変状度を規定したデータである。また、検出対象データが音声データである場合、音声データを表す波形における要素ごとに変状度を表すデータである。

【0066】

変状度データ算出部２４Ｃは、第１選択部２４Ｂから受付けたＭ個の第１特徴量と、特徴量算出部２４Ａから受付けた検出対象データの第２特徴量と、を用いて、検出対象データの変状度を表す変状度データを算出する。

【0067】

変状度データ算出部２４Ｃは、任意の公知の方法で、変状度データを算出すればよい。例えば、変状度データ算出部２４Ｃは、特許文献１、特許文献２、非特許文献１、または非特許文献２と同様にして、変状度データを算出すればよい。

【0068】

具体的には、例えば、変状度データ算出部２４Ｃは、画像データである検出対象データの各画素の各々と、Ｍ個の教師データの各々を構成する対応する各画素の各々と、の第２特徴量と第１特徴量との差分を、変状度として算出すればよい。この画素ごとの変状度の算出処理によって、変状度データ算出部２４Ｃは、画素ごとに変状度を表す変状度データを算出すればよい。

【0069】

表示制御部２４Ｄは、変状度データを表示部２６へ表示する。このため、表示制御部２４Ｄは、検出対象データに含まれる変状箇所をユーザに可視化して提供することができる。

【0070】

なお、表示制御部２４Ｄは、変状度データを変状度に応じた表示形態で表示部２６へ表示することが好ましい。例えば、表示制御部２４Ｄは、変状度が高いほど、より注視を促す表示形態で表した、変状度データを表示する。例えば、表示制御部２４Ｄは、変状度データについて、変状度が高い箇所ほど赤く、変状度が低い箇所ほど青くなるように着色したヒートマップを、表示部２６へ表示する。このとき、表示制御部２４Ｄは、ヒートマップを透過表示し、検出対象データ上に重ねて表示してもよい。

【0071】

これにより、ユーザは、表示部２６を視認することで、検出対象データ中の各位置における変状度を容易に確認することができる。

【0072】

なお、表示制御部２４Ｄは、変状度データにおける変状度が閾値以上の箇所を、矩形などによって囲んで強調して表示してもよい。

【0073】

また、表示制御部２４Ｄは、変状度データと、検出対象データおよび教師データの少なくとも一方と、を、表示部２６へ表示してもよい。例えば、表示制御部２４Ｄは、変状度データと、検出対象データおよび教師データの少なくとも一方と、の双方を並べて表示部２６へ表示してもよい。また、表示制御部２４Ｄは、第１選択部２４Ｂで選択されたＭ個の第１特徴量の各々の算出元のＭ個の教師データの全てを表示部２６へ表示してもよいし、該Ｍ個の内の任意の１つの教師データを表示部２６へ表示してもよい。また、表示制御部２４Ｄは、該Ｍ個の教師データの内、検出対象データに最も類似または最も非類似の教師データを、表示部２６へ表示してもよい。

【0074】

変状度データと、検出対象データおよび教師データの少なくとも一方と、表示部２６へ表示することで、ユーザは、変状箇所を含む検出対象データと、該検出対象データが変状箇所を含まない正常な場合の様相と、を容易に確認することができる。

【0075】

なお、表示制御部２４Ｄは、変状度データについて、更に後処理を行ってもよい。例えば、表示制御部２４Ｄは、変状度データについて、予め定められた対象領域を強調して表示する補正処理を、後処理として実行してもよい。対象領域は、例えば、検出対象データに含まれる特定の物、特定の物体の領域、などであるが、これらに限定されない。

【0076】

次に、変状検出装置１０の処理部２４で実行される情報処理の流れを説明する。

【0077】

図２は、変状検出装置１０で実行される情報処理の流れの一例を示すフローチャートである。

【0078】

特徴量算出部２４Ａが、教師データＤＢ２０Ａ３０に含まれるＮ個の教師データの各々の第１特徴量を算出する（ステップＳ１００）。また、特徴量算出部２４Ａは、検出対象データの第２特徴量を算出する（ステップＳ１０２）。

【0079】

第１選択部２４Ｂは、Ｎ個の教師データの各々に対応する第１付加情報に基づいて、Ｎ個の教師データの各々からステップＳ１００で算出した第１特徴量の内の少なくとも１以上であるＭ個の第１特徴量を選択する（ステップＳ１０４）。

【0080】

変状度データ算出部２４Ｃは、ステップＳ１０４で選択されたＭ個の第１特徴量と、ステップＳ１０２で算出された第２特徴量と、を用いて変状データを算出する（ステップＳ１０６）。

【0081】

表示制御部２４Ｄは、ステップＳ１０６で生成された変状度データを、表示部２６へ表示する（ステップＳ１０８）。そして、本ルーチンを終了する。

【0082】

以上説明したように、本実施形態の変状検出装置１０で実行される変状検出プログラムは、特徴量算出部２４Ａによって実行される特徴量算出ステップと、第１選択部２４Ｂによって実行される第１選択ステップと、変状度データ算出部２４Ｃによって実行される変動度データ算出ステップと、を含む。特徴量算出ステップは、複数（Ｎ個）の教師データの各々の第１特徴量および検出対象データの第２特徴量を算出もしくは参照する。第１選択ステップは、複数の教師データの各々に対応する第１付加情報に基づいて、複数の第１特徴量の内の少なくとも１つ以上を選択する。変状度データ算出ステップは、選択された第１特徴量と、第２特徴量と、を用いて、検出対象データの変状度を表す変状度データを算出する。

【0083】

ここで、従来技術では、類似する複数の教師データ、すなわち偏った複数の教師データを利用した変状検出が行われており、教師データに偏りがあることによって、変状検出精度が低下する場合があった。これは、複数の教師データから構成されるデータセット内に互いに類似するデータが多数含まれている場合、特徴空間で差分を取る時に互いに類似する教師データのみが参照されることで、変状領域を過剰検出、もしくは検出見逃ししやすくなるためである。すなわち、変状検出に利用するデータセット内のデータの偏りが大きいほど、検出精度が低下しやすくなる。この問題は、深層ニューラルネットワークを学習する変状検出方法においても同様に、偏った複数の教師データに基づいて学習されたモデルを利用することで、変状検出精度が低下する可能性がある。また、従来技術では、教師データ自体の特徴量を用いてデータセットのサンプルを間引く処理や、教師データの特徴ベクトルの次元数を削減する処理を行っており、局所的なデータの偏りが抑制されず、変状検出精度が低下する場合があった。すなわち、従来技術では、変状検出精度が低下する場合があった。

【0084】

一方、本実施形態の変状検出プログラムでは、複数の教師データの各々に対応する第１付加情報に基づいて、複数の教師データの各々から算出された複数の第１特徴量の内の少なくとも１つ以上を選択する。すなわち、本実施形態の変状検出プログラムでは、複数の教師データ自体のみを用いるのではなく、複数の教師データの各々に対応する第１付加情報を用いて、複数の教師データの各々から算出された複数の第１特徴量の内の少なくとも１つ以上を選択する。そして、本実施形態の変状検出プログラムは、選択された第１特徴量と、検出対象データの第２特徴量と、を用いて変状度データを算出する。

【0085】

このため、本実施形態の変状検出プログラムでは、変状度データの算出に用いる複数の教師データの局所的な偏りが抑制され、変状検出精度の低下を抑制することができる。また、本実施形態の変状検出プログラムでは、教師データ自体ではなく教師データに対する第１付加情報に基づいて第１特徴量を選択することで、複数の第１特徴量の算出に用いた複数の教師データの偏りを抑制することができる。このため、変状度データの算出に用いる複数の教師データの局所的な偏りが抑制され、変状検出精度の低下を抑制することができる。

【0086】

従って、本実施形態の変状検出プログラムは、任意の変状検出方法における変状検出精度の向上を図ることができる。

【0087】

また、本実施形態の変状検出プログラムは、教師データ自体ではなく教師データに対する第１付加情報に基づいて第１特徴量を選択するため、教師データ自体のみを用いてサンプルを間引く処理を行う場合と比べて、高速かつ高精度に教師データの偏りを抑制できる可能性がある。詳細には、撮影タイミング等の取得タイミング、撮影位置などの取得環境、等の取得条件である第１付加情報を用いることで、高速かつ高精度に教師データの偏りを抑制可能となるように第１特徴量を選択することができる。

【0088】

また、本実施形態の変状検出プログラムでは、第１選択ステップで複数の第１特徴量の内の一部を選択することで、変状度データの算出に用いる第１特徴量の数の削減による軽量化、処理負荷軽減、および処理速度の高速化を図ることができる。

【0089】

（第２の実施形態）
本実施形態では、第１選択部２４Ｂで選択されたＭ個の第１特徴量から、更に特定の条件を満たす第１特徴量を選択する形態を説明する。

【0090】

本実施形態において、上記実施形態と同じ機能または構成については、同一の符号を付与し詳細な説明を省略する場合がある。

【0091】

図３は、本実施形態の変状検出プログラム、および変状検出方法を実行するための変状検出装置１１の一例を示す模式図である。変状検出装置１１は、検出対象データの変状を検出するコンピュータである。

【0092】

変状検出装置１１は、記憶部２０と、通信部２２と、処理部２５と、表示部２６Ｂと、を備える。変状検出装置１１は、処理部２４に替えて処理部２５を備える点以外は、上記実施形態の変状検出装置１０と同様である。

【0093】

なお、本実施形態では、上記実施形態と同様に、検出対象データおよび教師データが、画像データである形態を一例として説明する。

【0094】

処理部２５は、特徴量算出部２４Ａと、第１選択部２４Ｂと、変状度データ算出部２５Ｃと、表示制御部２４Ｄと、第２選択部２５Ｅと、を有する。

【0095】

特徴量算出部２４Ａ、第１選択部２４Ｂ、変状度データ算出部２５Ｃ、表示制御部２４Ｄ、および第２選択部２５Ｅの少なくとも１つは、例えば、１または複数のプロセッサにより実現される。例えば、上記各部は、ＣＰＵなどのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

【0096】

特徴量算出部２４Ａ、第１選択部２４Ｂ、および表示制御部２４Ｄは、上記実施形態と同様である。

【0097】

上記実施形態と同様に、特徴量算出部２４Ａは、複数の教師データとして、Ｎ個の教師データを教師データＤＢ２０Ａから取得し、Ｎ個の教師データの各々に対応する、Ｎ個の第１特徴量を算出する。第１選択部２４Ｂは、上記実施形態と同様に、Ｎ個の第１特徴量から、第１特徴量の算出元の教師データに対応する第１付加情報を用いてＭ個（Ｍ≦Ｎ）の第１特徴量を選択する。

【0098】

第２選択部２５Ｅは、第１選択部２４Ｂで選択されたＭ個の第１特徴量の内、Ｋ個の第１特徴量を選択する。Ｋは、Ｍ以下の整数である（Ｋ≦Ｍ）。

【0099】

詳細には、第２選択部２５Ｅは、第１選択部２４Ｂで選択されたＭ個の第１特徴量の内、検出対象データの第２特徴量に類似、および、検出対象データに対応する第２付加情報に類似する第１付加情報に対応する複数の教師データの各々から算出、の少なくとも一方の条件を満たすＫ個の第１特徴量を選択する。

【0100】

第１特徴量および第２特徴量は、上述したように、特徴量ベクトルおよび特徴量マップの少なくとも一方を意味する。

【0101】

第２選択部２５Ｅが、第１選択部２４Ｂで選択されたＭ個の第１特徴量の内、検出対象データの第２特徴量に類似するＫ個の第１特徴量を選択する場合を想定する。

【0102】

この場合、第２選択部２５Ｅは、ｋ近傍法（k-nearest neighbor algorithm,k-NN）を用いて、第１選択部２４Ｂで選択されたＭ個の第１特徴量の内、検索対象データの第２特徴量に類似する第１特徴量を、Ｋ個選択すればよい。Ｋは、上記Ｍ以下の値であればよく、予め定めればよい。

【0103】

また、第２選択部２５Ｅは、特徴量ベクトルとして、例えば、特徴量マップの一部を一次元のベクトルとして並べたものを利用して、Ｋ個の第１特徴量を選択してもよい。この場合、第２選択部２５Ｅは、Ｍ個の第１特徴量の各々によって表される特徴量マップと、第２特徴量によって表される特徴量マップと、を用いて、同じ要素位置の特徴値同士の類似度を比較する。要素位置とは、例えば、画素位置を意味する。そして、第２選択部２５Ｅは、類似度の降順にＫ個の第１特徴量を選択すればよい。類似度や距離としては、例えば、正規化相互相関や、ユークリッド距離を使用すればよい。

【0104】

なお、第２選択部２５Ｅは、Ｍ個の第１特徴量の内、第２特徴量との類似度が予め定めた閾値以上の、１または複数の第１特徴量を、Ｋ個の第１特徴量として選択してもよい。

【0105】

次に、第２選択部２５Ｅが、第１選択部２４Ｂで選択されたＭ個の第１特徴量の内、検出対象データに対応する第２付加情報に類似する第１付加情報に対応する複数の教師データの各々から算出されたＫ個の第１特徴量を選択する場合を想定する。

【0106】

第２付加情報とは、検出対象データに関する情報であり、検出対象データに対する付加情報である。本実施形態では、第２付加情報は、検出対象データの取得条件を表す情報である。取得条件は、上記と同様である。すなわち、第２付加情報は、教師データに替えて検出対象データに対する付加情報である点以外は、第１付加情報と同様である。

【0107】

第２選択部２５Ｅは、検出対象データに対応する第２付加情報を、通信部２２を介して外部の情報処理装置等から取得する。また、第２選択部２５Ｅは、検出対象データに対応する第２付加情報を記憶部２０から取得してもよい。

【0108】

第２選択部２５Ｅは、第１選択部２４Ｂから受付けたＭ個の第１特徴量の各々の算出元の教師データに対応する、Ｍ個の第１付加情報を取得する。第２選択部２５Ｅは、第１選択部２４Ｂから第１特徴量と共に受付けたＩＤに対応する第１付加情報を教師データＤＢ２０Ａから取得することで、Ｍ個の第１付加情報を取得すればよい。

【0109】

そして、第２選択部２５Ｅは、Ｍ個の第１付加情報の内、第２付加情報に類似するＫ個の第１付加情報を選択する。

【0110】

例えば、教師データおよび検出対象データが画像データであり、第１付加情報および第２付加情報がＧＰＳ等によって測定された位置座標によって表される撮影位置である場合を想定する。

【0111】

この場合、第２選択部２５Ｅは、取得したＭ個の第１付加情報の内、取得した第２付加情報によって表される撮影位置から所定距離未満の距離の撮影位置を表す第１付加情報を選択する。該所定距離には、類似の判定に用いる距離を予め設定すればよい。また、該所定距離は、ユーザによる操作指示等に応じて適宜変更可能としてもよい。

【0112】

また、第２選択部２５Ｅは、取得したＭ個の第１付加情報の内、取得した第２付加情報によって表される撮影位置から最も近い撮影位置を表すものから順に選択することでＫ個の第１付加情報を選択してもよい。

【0113】

また、第１付加情報および第２付加情報が取得タイミングの一例である撮影日時である場合を想定する。この場合、第２選択部２５Ｅは、取得したＭ個の第１付加情報の内、取得した第２付加情報によって表される撮影日時から所定期間未満の撮影日時を表す第１付加情報を選択する。該所定期間には、類似の判定に用いる期間を予め設定すればよい。また、該所定期間は、ユーザによる操作指示等に応じて適宜変更可能としてもよい。

【0114】

また、第２選択部２５Ｅは、取得したＭ個の第１付加情報の内、取得した第２付加情報によって表される撮影日時から最も近い撮影日時を表すものから順に選択することでＫ個の第１付加情報を選択してもよい。

【0115】

そして、第２選択部２５Ｅは、Ｍ個の第１特徴量の内、選択したＫ個の第１付加情報に対応する教師データから算出されたＫ個の第１特徴量を選択すればよい。

【0116】

第２選択部２５Ｅが、第１選択部２４Ｂで選択されたＭ個の第１特徴量の内、検出対象データの第２特徴量に類似し、且つ、検出対象データに対応する第２付加情報に類似する第１付加情報に対応する複数の教師データの各々から算出された第１特徴量を選択する場合を想定する。

【0117】

この場合、第２選択部２５Ｅは、第１選択部２４Ｂで選択されたＭ個の第１特徴量の内、検出対象データの第２特徴量に類似する第１条件、および検出対象データに対応する第２付加情報に類似する第１付加情報に対応する複数の教師データの各々から算出された第１特徴量である第２条件、の双方を満たすＫ個の第１特徴量を、Ｍ個の第１特徴量から選択すればよい。

【0118】

そして、第２選択部２５Ｅは、選択したＫ個の第１特徴量を変状度データ算出部２５Ｃへ出力する。このとき、第２選択部２５Ｅは、選択したＫ個の第１特徴量と、Ｋ個の第１特徴量の各々の算出元の教師データのＩＤと、を対応付けたデータを変状度データ算出部２５Ｃへ出力する。

【0119】

変状度データ算出部２５Ｃは、第１選択部２４Ｂから受付けたＭ個の第１特徴量に替えて、第２選択部２５Ｅから受付けたＫ個の第１特徴量を用いる点以外は、上記実施形態の変状度データ算出部２４Ｃと同様である。

【0120】

すなわち、変状度データ算出部２５Ｃは、第２選択部２５Ｅで選択されたＫ個の第１特徴量と、第２特徴量と、を用いて、検出対象データの変状度を表す変状度データを算出する。

【0121】

次に、変状検出装置１１の処理部２５で実行される情報処理の流れを説明する。

【0122】

図４は、変状検出装置１１で実行される情報処理の流れの一例を示すフローチャートである。

【0123】

特徴量算出部２４Ａが、教師データＤＢ２０Ａ３０に含まれるＮ個の教師データの各々の第１特徴量を算出する（ステップＳ２００）。また、特徴量算出部２４Ａは、検出対象データの第２特徴量を算出する（ステップＳ２０２）。

【0124】

第１選択部２４Ｂは、Ｎ個の教師データの各々に対応する第１付加情報に基づいて、Ｎ個の教師データの各々からステップＳ２００で算出した第１特徴量の内の少なくとも１以上であるＭ個の第１特徴量を選択する（ステップＳ２０４）。

【0125】

第２選択部２５Ｅは、ステップＳ２０４で選択されたＭ個の第１特徴量からＭ以下の数であるＫ個の第１特徴量を選択する（ステップＳ２０６）。

【0126】

変状度データ算出部２５Ｃは、ステップＳ２０６で選択されたＫ個の第１特徴量と、ステップＳ２０２で算出された第２特徴量と、を用いて変状データを算出する（ステップＳ２０８）。

【0127】

表示制御部２４Ｄは、ステップＳ２０８で生成された変状度データを、表示部２６へ表示する（ステップＳ２１０）。そして、本ルーチンを終了する。

【0128】

以上説明したように、本実施形態の変状検出装置１１で実行される変状検出プログラムは、第２選択部２５Ｅによって実行される第２選択ステップを更に含む。第２選択ステップは、第１選択ステップで選択されたＭ個の第１特徴量の内、検出対象データの第２特徴量に類似、および、検出対象データに対応する第２付加情報に類似する第１付加情報に対応する複数の教師データの各々から算出、の少なくとも一方の条件を満たす第１特徴量を選択する。変状度データ算出部２５Ｃによって実行される変状度データ算出ステップは、第２選択ステップで選択されたＫ個の第１特徴量と、検出対象データの第２特徴量と、を用いて、検出対象データの変状度を表す変状度データを算出する。

【0129】

このように、本実施形態の変状検出プログラムは、第１選択ステップで選択されたＭ個の第１特徴量の内、検出対象データの第２特徴量に類似、および第２付加情報に第１付加情報が類似、の少なくとも一方を満たすＫ個（Ｋ≦Ｍ）の第１特徴量を選択する。そして、変状度データ算出ステップは、選択されたＫ個の第１特徴量と、第２特徴量と、を用いて、検出対象データの変状度を表す変状度データを算出する。

【0130】

このため、本実施形態の変状検出プログラムは、上記実施形態の第１選択ステップで選択されたＭ個の第１特徴量の内、検出対象データの第２特徴量と類似および第２付加情報と第１付加情報が類似、の少なくとも一方を満たすＫ個の第１特徴量を更に選択する。そして、本実施形態の変状検出プログラムでは、選択されたＫ個の第１特徴量と、検出対象データの第２特徴量と、を用いて、検出対象データの変状度を表す変状度データを算出する。

【0131】

よって、本実施形態の変状検出プログラムは、上記実施形態の効果に加えて、より高精度に変状を表す変状度データを算出することができる。

【0132】

また、本実施形態の変状検出プログラムによれば、特徴量の差分を算出する工程を含むことで変状度データを算出する変状検出方法を利用する際に、差分算出時に参照するデータを第１付加情報および第２付加情報を基に探索することが可能となる。このため、本実施形態の変状検出ポログラムは、変状検出性能の改善および処理の高速化を図ることができる。

【0133】

（変形例１）
なお、上記実施形態では、教師データおよび検出対象データが画像データである場合を一例として説明した。

【0134】

しかし、上述したように、教師データおよび検出対象データは、音声データ、時系列映像データ、人体の姿勢をグラフとして記述したスケルトンデータ、など、観測値をスカラー、ベクトルまたは多次元テンソルとして表現可能なデータであれば、何れであってもよい。

【0135】

例えば、教師データおよび検出対象データが音声データである場合を想定する。音声データは、例えば、マイクロフォン等によって集音された音声のデータである。

【0136】

この場合、音声データである教師データの第１付加情報および音声データである検出対象データの第２付加情報の一例である取得タイミングは、上述したように、例えば、音声の発生タイミングである。音声の発生タイミングは、例えば、音声の発生日時、音声の観測時刻、等によって表される。また、該第１付加情報および該第２付加情報の一例である取得環境に含まれる場所は、音声の観測位置、または音声の集音位置、等の音声データの取得場所を表す。また、該第１付加情報および該第２付加情報の一例である取得環境に含まれる取得元は、音声の発生源を表す情報等である。また、該第１付加情報および該第２付加情報の一例である取得環境に含まれる種類は、音声の言語を表す情報等である。

【0137】

また、例えば、教師データおよび検出対象データが音声データである場合、特徴量マップとして、音声データの各々の要素値を特徴値として表した波形データを用いればよい。また、教師データおよび検出対象データが音声データである場合、特徴量ベクトルには、例えば、音声データを事前学習済みニューラルネットワークに入力した時の、全結合層で出力される特徴量ベクトルがある。また、変状度データは、検出対象データである音声データを表す波形データにおける、要素ごとの変状度を表すデータであればよい。

【0138】

これらの点以外は、変状検出装置１０および変状検出装置１１は、上記実施形態と同様にして、変状度データを算出すればよい。

【0139】

次に、上記実施形態の変状検出装置１０および変状検出装置１１のハードウェア構成の一例を説明する。

【0140】

図５は、上記実施形態の変状検出装置１０および変状検出装置１１の一例のハードウェア構成図である。

【0141】

上記実施形態の変状検出装置１０および変状検出装置１１は、ＣＰＵ８６などの制御装置と、ＲＯＭ（Read Only Memory）８８やＲＡＭ（Random Access Memory）９０やＨＤＤ（ハードディスクドライブ）９２などの記憶装置と、各種機器とのインターフェースであるＩ／Ｆ部８２と、出力情報などの各種情報を出力する出力部８０と、ユーザによる操作を受付ける入力部９４と、各部を接続するバス９６とを備えており、通常のコンピュータを利用したハードウェア構成となっている。

【0142】

上記実施形態の変状検出装置１０および変状検出装置１１では、ＣＰＵ８６が、ＲＯＭ８８からプログラムをＲＡＭ９０上に読み出して実行することにより、上記各部がコンピュータ上で実現される。

【0143】

なお、上記実施形態の変状検出装置１０および変状検出装置１１で実行される上記各処理を実行するためのプログラムは、ＨＤＤ９２に記憶されていてもよい。また、上記実施形態の変状検出装置１０および変状検出装置１１で実行される上記各処理を実行するためのプログラムは、ＲＯＭ８８に予め組み込まれて提供されていてもよい。

【0144】

また、上記実施形態の変状検出装置１０および変状検出装置１１で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施形態の変状検出装置１０および変状検出装置１１で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の変状検出装置１０および変状検出装置１１で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。

【0145】

また、本実施形態の変状検出装置１０および変状検出装置１１は、変状検知の過程で変状度データ４０を算出する任意の変状検出器に適用可能である。すなわち、変状度データ算出部２４Ｃおよび変状度データ算出部２５Ｃには、任意の変状検出器を設置してもよい。本実施形態の変状検出装置１０および変状検出装置１１の上記機能部をモジュールとして任意の変状検出器に適用することで、変状と間違えやすい正常な構造の過検出を抑制することができる。また、本実施形態の変状検出装置１０および変状検出装置１１における上記機能部のモジュールは、モジュール自体の学習も不要であり、容易にかつ効果的に任意の変状検出方法における変状検出精度の向上を図ることが出来る。

【0146】

なお、上記には、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0147】

１０、１１ 変状検出装置
２４Ａ 特徴量算出部
２４Ｂ 第１選択部
２４Ｃ、２５Ｃ 変状度データ算出部
２４Ｄ 表示制御部
２５Ｅ 第２選択部

【図1】

【図2】

【図3】

【図4】

【図5】