特開 2022-189200 計算プログラム、計算方法、および計算装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022189200

(43)【公開日】2022-12-22

(54)【発明の名称】計算プログラム、計算方法、および計算装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221215BHJP

   A61B 8/00 20060101ALI20221215BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 612

A61B8/00

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021097657

(22)【出願日】2021-06-10

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】酒井 彬

【テーマコード（参考）】

4C601

5L096

【Ｆターム（参考）】

4C601EE09

4C601EE10

4C601JC06

4C601JC16

5L096BA06

5L096BA13

5L096CA18

5L096FA33

5L096GA30

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

【課題】分散表現による異常判定は、検出部位の位置情報、大きさ情報、確度などの情報が一度に分散表現にエンコードされてしまうため、得られる圧縮情報が制御できず、どの部位の情報が分散表現のどの部分に影響を与えているかがわからないという問題がある。
【解決手段】計算プログラムは、複数の画像のそれぞれに含まれる検査対象物の特定部位に対応する領域の部分画像を用いて自己符号化器による機械学習を実行することで、特定部位に対応する部分画像についての第１の分散表現を、１つ以上の特定部位のそれぞれについて取得し、第１の分散表現と、複数の画像を用いた、自己符号化器による機械学習の結果とに基づいて、複数の画像についての第２の分散表現を取得する処理をコンピュータに実行させ、第１の分散表現と、第２の分散表現とに基づいて、判定対象画像に含まれる検査対象物の異常判定が実行される。
【選択図】図５

【特許請求の範囲】

【請求項1】

複数の画像のそれぞれに含まれる検査対象物の特定部位に対応する領域の部分画像を用いて自己符号化器による機械学習を実行することで、前記特定部位に対応する前記部分画像についての第１の分散表現を、１つ以上の特定部位のそれぞれについて取得し、
前記第１の分散表現と、前記複数の画像を用いた、前記自己符号化器による機械学習の結果とに基づいて、前記複数の画像についての第２の分散表現を取得する、
処理をコンピュータに実行させ、
前記第１の分散表現と、前記第２の分散表現とに基づいて、判定対象画像に含まれる前記検査対象物の異常判定が実行されることを特徴とする計算プログラム。

【請求項2】

前記部分画像を用いて前記自己符号化器による機械学習を実行する処理は、前記部分画像から取得される特徴量を、前記自己符号化器に入力する処理を含むことを特徴とする請求項１に記載の計算プログラム。

【請求項3】

前記部分画像から取得される特徴量を、前記自己符号化器に入力する処理は、前記複数の画像に対する時系列データのうち所定の時間幅の前記部分画像から取得される前記特徴量を、前記自己符号化器に入力する処理を含むことを特徴とする請求項２に記載の計算プログラム。

【請求項4】

前記第１の分散表現を取得する処理は、前記部分画像を用いて前記自己符号化器による機械学習を実行することで取得される第１の中間特徴量を、前記所定の時間幅ごとにグラフにプロットすることにより前記第１の分散表現を取得する処理を含み、
前記第２の分散表現を取得する処理は、前記第１の分散表現と前記結果とを用いて前記自己符号化器による機械学習を実行することで取得される第２の中間特徴量を、前記所定の時間幅ごとにグラフにプロットすることにより前記第２の分散表現を取得する処理を含むことを特徴とする請求項３に記載の計算プログラム。

【請求項5】

前記部分画像から取得される特徴量を、前記自己符号化器に入力する処理は、対応する前記特定部位が前記部分画像に存在する確率である確度、ならびに前記複数の画像全体に対する前記部分画像の位置および大きさの少なくとも１つを、前記特徴量として、前記自己符号化器に入力する処理を含むことを特徴とする請求項１乃至４のいずれか一項に記載の計算プログラム。

【請求項6】

前記検査対象物が正常状態である場合の特徴量を前記自己符号化器に入力する処理と、前記検査対象物が異常状態である場合の特徴量を前記自己符号化器に入力する処理との少なくとも１つを実行する
処理をコンピュータに実行させることを特徴とする請求項１に記載の計算プログラム。

【請求項7】

複数の画像のそれぞれに含まれる検査対象物の特定部位に対応する領域の部分画像を用いて自己符号化器による機械学習を実行することで、前記特定部位に対応する前記部分画像についての第１の分散表現を、１つ以上の特定部位のそれぞれについて取得し、
前記第１の分散表現と、前記複数の画像を用いた、前記自己符号化器による機械学習の結果とに基づいて、前記複数の画像についての第２の分散表現を取得する、
処理をコンピュータが実行し、
前記第１の分散表現と、前記第２の分散表現とに基づいて、判定対象画像に含まれる前記検査対象物の異常判定が実行されることを特徴とする計算方法。

【請求項8】

複数の画像のそれぞれに含まれる検査対象物の特定部位に対応する領域の部分画像を用いて自己符号化器による機械学習を実行することで、前記特定部位に対応する前記部分画像についての第１の分散表現を、１つ以上の特定部位のそれぞれについて取得し、
前記第１の分散表現と、前記複数の画像を用いた、前記自己符号化器による機械学習の結果とに基づいて、前記複数の画像についての第２の分散表現を取得する、
処理を実行する制御部を有し、
前記第１の分散表現と、前記第２の分散表現とに基づいて、判定対象画像に含まれる前記検査対象物の異常判定が実行されることを特徴とする計算装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計算プログラム、計算方法、および計算装置に関する。

【背景技術】

【0002】

対象を破壊することなく内部構造の異常の有無を検査する超音波検査が知られている。超音波検査では、例えば、検査対象に対して二次元走査断面を撮像し、当該走査断面の画像を確認することで検査を行う。走査断面の画像は、撮像に用いるプローブが、例えば人によって走査されるため、撮像環境の変化の影響を強く受ける。このため、走査断面の画像、つまり超音波検査画像の確認は、目視によって行われることが多い。また、診断に有用な情報を提供する技術としては、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）やＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）などでのスキャン結果から３次元モデルを生成し、任意の切断面の情報を提示する技術が知られている。

【0003】

また、画像にどの様な物体が映っているかを検知する物体検知技術が知られている。物体検知技術は、例えば、機械学習によって画像内の物体を検知する手法として、ＤＰＭ（Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔｓ Ｍｏｄｅｌ）やＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）が提案されている。

【0004】

また、画像に写った物体を物体検知技術により検知した結果を利用して、当該物体に異常があるか否かを判定する技術が知られている。このような技術は、超音波画像を使った診察や、工業製品の不良品の検査などに利用される。

【0005】

また、物体検知技術を利用した異常判定処理として、対象物を撮影した動画データに含まれる複数フレーム画像それぞれについて、複数種類の特徴量それぞれの検出結果と複数フレーム画像の時系列とを対応付けた検出マップ情報を用いるものがある。これは、検出マップ情報に設定された所定幅の区間領域の位置を時系列に沿って変更させた場合の検出結果の分布状態を低次元空間へ圧縮、射影した点の集合を示す分散表現を計算し、分散表現の軌跡から異常の有無を判定するものである。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０－０２８６８０号公報

【非特許文献】

【0007】

【非特許文献1】M.A.Sadeghi and D.Forsyth，”30Hz Object Detection with DPM V5”，In Computer Vision-ECCV 2014，pages 65-79，Springer，2014

【非特許文献2】Joseph Redmon，Santosh Divvala，Ross Girshick，Ali Farhadi，”You Only Look Once: Unified, Real-Time Object Detection”，arXiv:1506.02640v5 [cs.CV]，9 May 2016

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、分散表現による異常判定は、検出部位の位置情報、大きさ情報、確度などの情報が一度に分散表現にエンコードされてしまい、ブラックボックス性が高い。そのため、得られる圧縮情報が制御できず、どの部位の情報が分散表現のどの部分に影響を与えているかがわからないという問題がある。

【0009】

１つの側面では、物体検知技術を利用した検出部位の分散表現を用いた異常判定において、どの部位が分散表現に寄与したかを分析できる計算プログラム、計算方法、および計算装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

１つの態様において、計算プログラムは、複数の画像のそれぞれに含まれる検査対象物の特定部位に対応する領域の部分画像を用いて自己符号化器による機械学習を実行することで、特定部位に対応する部分画像についての第１の分散表現を、１つ以上の特定部位のそれぞれについて取得し、第１の分散表現と、複数の画像を用いた、自己符号化器による機械学習の結果とに基づいて、複数の画像についての第２の分散表現を取得する処理をコンピュータに実行させ、第１の分散表現と、第２の分散表現とに基づいて、判定対象画像に含まれる検査対象物の異常判定が実行される。

【発明の効果】

【0011】

１つの側面では、物体検知技術を利用した検出部位の分散表現を用いた異常判定において、どの部位が分散表現に寄与したかを分析できる。

【図面の簡単な説明】

【0012】

【図1】図１は、実施例１にかかる計算装置１０の構成例を示す図である。

【図2】図２は、実施例１にかかる検出マップ情報１３１の一例を示す図である。

【図3】図３は、実施例１にかかる部位検出マップの一例を示す図である。

【図4】図４は、実施例１にかかる分散表現の計算方法の一例を示す図である。

【図5】図５は、実施例１にかかるオートエンコーダの構成の一例を示す図である。

【図6】図６は、実施例１にかかる各部位の部分分散表現の一例を示す図である。

【図7】図７は、実施例１にかかる全体分散表現の一例を示す図である。

【図8】図８は、実施例１にかかる学習装置５０の構成例を示す図である。

【図9】図９は、実施例１にかかる検出処理の流れを示すフローチャートである。

【図10】図１０は、実施例１にかかる異常判定処理の流れを示すフローチャートである。

【図11】図１１は、実施例１にかかる機械学習処理の流れを示すフローチャートである。

【図12】図１２は、ハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0013】

以下に、本実施形態にかかる計算プログラム、計算方法、および計算装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例0014】

まず、図１を用いて、実施例に係る計算装置の構成を説明する。図１は、実施例１にかかる計算装置１０の構成例を示す図である。図１に示すように、計算装置１０は、センサ２１からデータの入力を受け付ける。また、計算装置１０は、ディスプレイ２２に対しデータを出力する。

【0015】

計算装置１０は、画像から分散表現を計算し、分散表現を基に画像に写っている対象物に異常があるか否かを判定する。特に、計算装置１０は、時系列上の複数の画像から分散表現を計算できる。このような時系列上の複数の画像は、動画データを構成する各フレームの画像であってもよい。

【0016】

センサ２１は、異常判定の対象の画像を生成するための信号を取得する装置である。例えば、センサ２１は、対象物に対して超音波を照射し、当該超音波の反射波を受信するプローブである。プローブは、例えば診察および物体の非破壊検査に使われるものであってもよい。また、例えば、センサ２１は、対象物を撮影するＲＧＢカメラであってもよい。

【0017】

なお、センサ２１は、収集した信号をそのまま計算装置１０に入力してもよいし、信号から生成した画像のデータを計算装置１０に入力してもよい。つまり、計算装置１０は、センサ２１から受け取った信号を基に画像を生成してもよいし、センサ２１から画像を受け取ってもよい。

【0018】

図１に示すように、計算装置１０は、入力部１１、出力部１２、記憶部１３、および制御部１４を有する。入力部１１は、データを入力するためのインタフェースである。例えば、入力部１１は、センサ２１からのデータの入力を受け付ける。また、入力部１１は、マウスおよびキーボードなどの入力装置を介してデータの入力を受け付けてもよい。また、出力部１２は、データを出力するためのインタフェースである。例えば、出力部１２は、ディスプレイ２２などの出力装置にデータを出力する。

【0019】

記憶部１３は、データや制御部１４が実行するプログラムなどを記憶する記憶装置の一例であり、例えばハードディスクやメモリなどである。記憶部１３は、検出マップ情報１３１、モデル情報１３２、および正常画像情報１３３を有する。

【0020】

検出マップ情報１３１は、対象物を撮影した動画データに含まれる複数フレーム画像それぞれについて、複数種類の特徴量それぞれの検出結果と複数フレーム画像の時系列とを対応付けた情報の一例である。例えば、検出マップ情報１３１は、フレーム画像のそれぞれに対応するｘｍｌデータの集合であるものとする。また、各ｘｍｌデータには、複数種類の特徴量が記載されていてよい。

【0021】

図２は、検出マップ情報の一例を示す図である。図２に示すように、検出マップ情報１３１は、ｘｍｌデータの集合である。ｘｍｌデータのfilename要素には、対応するフレーム画像のファイルのパスが記載される。

【0022】

ここで、センサ２１は、診察のためのプローブであってよい。また、検出マップ情報１３１は、超音波画像から得られる特徴量であってよい。特徴量には、フレーム画像にあらかじめ定められた各部位が写っている確率の高さに応じて算出される確度が含まれてよい。さらに、特徴量には、フレーム画像において各部位が存在すると推定される領域を表す矩形の、２つの頂点の座標が含まれてよい。

【0023】

ｘｍｌデータのname要素には、部位の名称が記載される。なお、ｘｍｌデータには、確度が０でない、または確度が一定値以上の部位の情報のみが記載されるようにしてもよい。また、probability要素は、name要素に記載された部位の確度を表している。対応する部位がフレーム画像の中に存在している確率が高いほど、確度は大きくなる。

【0024】

xmin要素およびymin要素は、矩形の１つの頂点の座標を表す。また、xmax要素およびymax要素は、xmin要素およびymin要素で表される頂点と辺を共有しない頂点の座標を表す。つまり、これらの２つの頂点の座標が決まれば、矩形の位置および大きさが決まる。例えば、xmin要素およびymin要素で表される座標は矩形の左上の頂点を表す。また、xmax要素およびymax要素で表される座標は矩形の右下の頂点を表す。

【0025】

図２に示されているｘｍｌデータの一例は、「frame001.jpg」という名前のフレーム画像のファイルに対応している。また、図２のｘｍｌデータの一例は、部位Ａが、点（384, 219）および点（517, 362）を頂点とする矩形領域に存在し、その確度が0.772151112556であることを示している。また、図２のｘｍｌデータの一例は、部位Ｃが、点（242, 94）および点（298, 174）を頂点とする矩形領域に存在し、その確度が0.101077094674であることを示している。なお、座標は、例えばピクセル単位で表されたものであってもよい。

【0026】

モデル情報１３２は、分散表現を計算するモデルを構築するためのパラメータなどの情報である。本実施例では、モデルはオートエンコーダ（自己符号化器）であるものとする。この場合、モデル情報１３２は、オートエンコーダの各ユニットに設定される重みなどのパラメータを含む。

【0027】

正常画像情報１３３は、正常な状態にある対象物のフレーム画像に関する情報である。正常画像情報１３３は、フレーム画像そのものであってもよいし、フレーム画像の特徴量であってもよいし、フレーム画像の特徴量から得られた分散表現であってもよい。

【0028】

なお、記憶部１３に記憶される上記情報はあくまでも一例であり、記憶部１３は、上記情報以外にも様々な情報を記憶できる。

【0029】

制御部１４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などによって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１４は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路により実現されるようにしてもよい。制御部１４は、生成部１４１、検出部１４２、設定部１４３、取得部１４４、計算部１４５、判定部１４６、および表示制御部１４７を有する。なお、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。

【0030】

生成部１４１は、センサ２１から入力されたデータを基にフレーム画像を生成する。センサ２１からフレーム画像が入力される場合は、生成部１４１はフレーム画像を生成しなくてもよい。

【0031】

検出部１４２は、フレーム画像から特徴量を抽出し、検出マップ情報１３１として記憶部１３に格納する。検出部１４２は、各部位の画像を学習済みの検出モデルを使って確度を含む特徴量の検出を行う。検出モデルは、例えば、ＹＯＬＯ、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、Ｆａｓｔｅｒ－ＲＣＮＮ（Ｒｅｇｉｏｎａｌ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの物体検出アルゴリズムを用いるものであってもよい。

【0032】

検出部１４２は、複数フレーム画像のそれぞれについて、あらかじめ定められた複数の物体のそれぞれが存在する確率の高さに応じた指標である確度を検出する。複数の物体は、検出対象の各部位に対応する。また、検出部１４２は、フレーム画像内の矩形領域であって、物体が存在する確率が所定の値以上である矩形領域の大きさおよび位置をさらに検出する。

【0033】

設定部１４３、取得部１４４、および計算部１４５は、分散表現の計算に関する処理を行う。ここで、検出マップ情報１３１に含まれる少なくとも一部の特徴量は、時系列に沿ってマッピングすることができる。図３は、実施例１にかかる部位検出マップの一例を示す図である。図３の部位検出マップ３０は、各部位の確度を時系列にマッピングしたものである。つまり、部位検出マップ３０は、複数種類の特徴量の種類を第１の軸とし、時系列を第２の軸とした２次元平面に検出結果をマッピングした２次元マップということができる。ここでは、このような図を、Ｂａｒｃｏｄｅ ｌｉｋｅ ｔｉｍｅｌｉｎｅと呼ぶ。また、Ｂａｒｃｏｄｅ ｌｉｋｅ ｔｉｍｅｌｉｎｅを単にタイムラインと呼ぶ場合がある。

【0034】

なお、部位検出マップ３０は、確度が大きいほどバーの色を濃くしてもよい。以降、分散表現を計算するオートエンコーダが学習済みであるものとして、分散表現の計算方法を説明する。オートエンコーダの学習方法については後述する。図４は、分散表現の計算方法を説明する図である。

【0035】

設定部１４３は、検出マップ情報１３１について、時系列における所定幅の区間領域を設定する。このような区間領域を、カーネルと呼ぶ。カーネルは、窓などと言い換えられてもよい。また、検出マップ情報１３１は、対象物を撮影した動画データに含まれる複数フレーム画像それぞれについて、複数種類の特徴量それぞれの検出結果と複数フレーム画像の時系列とを対応付けた情報の一例である。

【0036】

取得部１４４は、検出マップ情報１３１において、設定した区間領域の位置を時系列に沿って変更させた場合の、区間領域中の検出結果の分布状態を、区間領域の複数の位置それぞれについて取得する。確信度および矩形領域の座標は、分布状態の一例である。また、区間領域の複数の位置は、各時刻に対応する。つまり、取得部１４４は、各時刻に対応するフレーム画像における各部位の確信度、矩形領域の大きさおよび位置を、分布状態として検出マップ情報１３１から取得する。

【0037】

計算部１４５は、複数の位置それぞれの分布状態を低次元空間へ射影した点の集合を示す分散表現を計算する。図４に示すように、計算部１４５は、中間層が２つのユニットによって構成されるオートエンコーダ４０に、分布状態、すなわち、カーネル内の情報のすべてを入力することにより、２次元空間へ射影した点の集合を示す分散表現を計算する。オートエンコーダ４０は、モデル情報１３２を基に構築される。また、オートエンコーダ４０は、入力層４１０、中間ユニット４２１、中間ユニット４２２、および出力層４３０を有する。分散表現は、中間ユニット４２１および中間ユニット４２２によって出力される中間特徴量である。そして、表示制御部１４７は、各カーネルの中間特徴量（ｘ，ｙ）の値の推移をグラフにプロットすることで、分散表現の軌跡を描画する。

【0038】

判定部１４６は、取得した分散表現と、対象物を撮影した判定対象動画データから得られた分散表現との比較に基づいて、判定対象動画データが異常状態の対象物を撮影したものであるか否かを判定する。また、表示制御部１４７は、２次元空間へ射影した点の時系列に沿った軌跡を画面に表示する。このように、異常状態の判定は、判定部１４６によって自動的に行われるものであってもよいし、表示制御部１４７によって表示された画面を見たユーザによって手動で異常判定や分析などが行われてもよい。

【0039】

ここで、図４に示すような分散表現の計算方法の場合、カーネル内の確度や、部位の位置および大きさなどの情報が一度にオートエンコーダ４０に入力され、分散表現にエンコードされてしまうため、どの部位の情報が分散表現に寄与しているのかわからない。また、分散表現がどのように形成されるかが確率的に定まってしまい、正常または異常の分散表現ベクトルが表出する位置が特定されない。

【0040】

そこで、図５に示すようなオートエンコーダを用いて、Ｂａｒｃｏｄｅ ｌｉｋｅ ｔｉｍｅｌｉｎｅを部位ごとに、その集団ごとといった形で段階的に処理することで中間状態の分散表現も同時に獲得する。これにより、どの部位の情報が分散表現に寄与しているのか判断できるようにする。また、理想状態のサンプルに対応する分散表現ベクトルを１つに固定することで獲得される分散表現を制御できるようにする。なお、理想状態のサンプルとは、血管や心臓などの対象部位が全部写っている情報である。

【0041】

図５は、実施例１にかかるオートエンコーダの構成の一例を示す図である。図５に示すように、計算装置１０は、判定時に、部位ごと、例えば、重要部位である血管１および血管２の部分中間表現を取得する。図６は、実施例１にかかる各部位の部分分散表現の一例を示す図である。そして、計算装置１０は、判定時に、各部位の部分中間表現のデータを１つに統合して、全体を圧縮して、全体中間表現を得て、全体を復元する。これにより、部分中間表現でその部位の解析が可能になり、全体中間表現で心臓全体の解析が可能になる。

【0042】

また、学習時に、再構成に対する損失、図５の例では、血管１と血管１、血管２と血管２、血管１、血管２、および心臓１と血管１、血管２、および心臓１のそれぞれで損失が小さくなるように最適化されモデルが構築される。

【0043】

また、正常または異常状態に対する理想データが判明しているため、学習時に、再構成に対する損失のみでなく、図５に示す、入力から全体中間表現までの理想データに対する損失が小さくなるように最適化されモデルが構築されてよい。この場合、理想データが入力された時のみ、理想データに対する損失を小さくする処理、すなわち、全体中間表現を経由する処理を最適化する処理を実行するようにしてよい。なお、当該処理の意図は、全体中間表現が乱数によって色々な形、例えば、血管疾患状態の軌跡と、血管理想状態の軌跡とか近づき過ぎたりクロスしたりしてしまうことが発生するためであり、意図した全体中間表現得るために理想状態が入力され、最適化される。

【0044】

図７は、実施例１にかかる全体分散表現の一例を示す図である。学習時に、理想データを入力した時のみ、指定された理想状態の分散表現に対する損失を全体の再構成ロスに足し合わせることで、図７に示すように、全体中間表現の表出の仕方を制御できる。図７に示す全体中間表現では、例えば、判定時に、理想状態の時に特定箇所で理想状態の軌跡を描くように定め、学習時に、理想状態の軌跡に近いほど、損失がゼロに近づくようにモデルが構築される。また、判定時に、異常状態の時に理想状態の箇所とは異なる箇所で異常状態の軌跡を描くように定め、学習時に、理想状態の軌跡に近いほど、損失がゼロに近づくようにモデルが構築されてもよい。なお、モデルの構築は、計算装置１０とは別の装置で実行されてよい。

【0045】

図８を用いて、オートエンコーダ４０の学習を行う学習装置の構成について説明する。図８は、学習装置の構成例を示すブロック図である。図８に示すように、学習装置５０は、入力部５１、出力部５２、記憶部５３及び制御部５４を有する。入力部５１は、データを入力するためのインタフェースである。出力部５２は、データを出力するためのインタフェースである。

【0046】

記憶部５３は、データや制御部５４が実行するプログラムなどを記憶する記憶装置の一例であり、例えば、ハードディスクやメモリなどである。記憶部５３は、検出マップ情報５３１、モデル情報５３２を有する。

【0047】

検出マップ情報５３１は、検出マップ情報１３１と同様の形式のデータである。ただし、検出マップ情報５３１は、学習用に用意された正常な状態のフレーム画像から検出された特徴量などである。

【0048】

モデル情報５３２は、モデル情報１３２と同様に、オートエンコーダ４０を構築するためのパラメータなどである。ただし、モデル情報１３２が学習済みのパラメータであるのに対し、モデル情報５３２は、未学習または学習中のパラメータであってもよい。

【0049】

制御部５４は、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵなどによって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部５４は、例えば、ＡＳＩＣやＦＰＧＡなどの集積回路により実現されるようにしてもよい。制御部５４は、設定部５４１、取得部５４２、計算部５４３、および更新部５４４を有する。

【0050】

設定部５４１、取得部５４２、計算部５４３は、それぞれ設定部１４３、取得部１４４、および計算部１４５と同様の機能を有するものとする。更新部５４４は、計算部１４５による計算結果を基に、モデル情報５３２を更新する。

【0051】

［各処理の流れ］
次に、図９を用いて、計算装置１０による検出処理の流れを説明する。図９は、実施例１にかかる検出処理の流れを示すフローチャートである。検出処理は、主に計算装置１０の生成部１４１および検出部１４２によって行われる処理である。

【0052】

図９に示すように、まず、計算装置１０は、センサデータの入力を受け付ける（ステップＳ１０１）。次に、計算装置１０は、センサデータからフレームごとの画像を生成する（ステップＳ１０２）。そして、計算装置１０は、各画像における部位ごとの特徴量を検出し、検出した特徴量を検出マップ情報１３１として記憶部１３に格納する（ステップＳ１０３）。ステップＳ１０３の実行後、図９に示す検出処理は終了する。

【0053】

次に図１０を用いて、計算装置１０による異常判定処理の流れを説明する。図１０は、実施例１にかかる異常判定処理の流れを示すフローチャートである。異常判定処理は、主に計算装置１０の計算部１４５および判定部１４６によって行われる処理である。

【0054】

図１０に示すように、まず、計算装置１０は、カーネルに関するパラメータを設定する（ステップＳ２０１）。次に、計算装置１０は、カーネル内の各画像における各部位の特徴量を検出マップ情報１３１から取得する（ステップＳ２０２）。

【0055】

そして、計算装置１０は、モデルにより特徴量をエンコードして分散表現を計算する（ステップＳ２０３）。ここで、ステップＳ２０３では、分散表現の計算として、部分分散表現の計算と全体分散表現の計算とが実行される。部分分散表現の計算は、血管や心臓など重要部位ごとにカーネル内の特徴量をエンコードして計算するものである。全体分散表現の計算は、各部位の部分中間表現のデータを１つに統合して全体をエンコードして計算するものである。

【0056】

次に、計算装置１０は、未処理の画像があるか否かを判定する（ステップＳ２０４）。未処理の画像がある場合（ステップＳ２０４：Ｙｅｓ）、計算装置１０は、カーネルをスライドし（ステップＳ２０５）、ステップＳ２０２に戻り処理を繰り返す。

【0057】

一方、未処理の画像がなくなった場合（ステップＳ２０４：Ｎｏ）、計算装置１０は、分散表現の軌跡を描画し表示する（ステップＳ２０６）。なお、ステップＳ２０６では、分散表現の軌跡の描画として、ステップＳ２０３で計算された部分分散表現および全体分散表現の軌跡が描画され、図６や図７に示すような分散表現が描画される。

【0058】

そして、計算装置１０は、分散表現の軌跡から異常の有無を判定する（ステップＳ２０７）。ステップＳ２０７の実行後、図１０に示す異常判定処理は終了する。

【0059】

次に、図１１を用いて、学習装置５０による機械学習処理の流れを説明する。図１１は、実施例１にかかる機械学習処理の流れを示すフローチャートである。学習装置５０は、図５の部分中間表現の各々をデコードした結果から計算される各損失関数と、図５の全体中間表現の各々をデコードした結果から計算される損失関数とを全て足しこんでから、足しこんだ損失関数が小さくなるように最適化を実行する。

【0060】

図１１に示すように、まず、学習装置５０は、カーネルに関するパラメータを設定する（ステップＳ３０１）。次に、学習装置５０は、カーネル内の各画像における各部位の特徴量を検出マップ情報５３１から取得する（ステップＳ３０２）。そして、学習装置５０は、モデルにより特徴量をエンコードして分散表現を計算する（ステップＳ３０３）。また、学習装置５０は、モデルにより分散表現をデコードした結果から損失関数を計算する（ステップＳ３０４）。これは、例えば、図５の例では、再構成に対する損失関数である、入力側の血管１と出力側の血管１、入力側の血管２と出力側の血管２、入力側の血管１、血管２、および心臓１と出力側の血管１、血管２、および心臓１の各損失関数が計算され、足しこまれる。

【0061】

さらに、学習装置５０は、ステップＳ３０４で計算した損失関数が小さくなるようにモデルを更新する（ステップＳ３０５）。図５の例では、入力側の血管１と出力側の血管１、入力側の血管２と出力側の血管２、入力側の血管１、血管２、および心臓１と出力側の血管１、血管２、および心臓１の損失関数が小さくなるように最適化される。また、学習装置５０は、正常または異常状態に対する理想データが入力された場合は、図５を用いて上述したように、入力から全体中間表現までの理想データに対する損失が小さくなるようにモデルを更新することもできる。

【0062】

次に、学習装置５０は、未処理の画像があるか否かを判定する（ステップＳ３０６）。未処理の画像がある場合（ステップＳ３０６：Ｙｅｓ）、学習装置５０は、カーネルをスライドし（ステップＳ３０７）、ステップＳ３０２に戻り処理を繰り返す。一方、未処理の画像がなくなった場合（ステップＳ３０６：Ｎｏ）、学習装置５０は、学習処理の終了条件が充足されているか否かを判定する（ステップＳ３０８）。

【0063】

学習処理の終了条件が充足されていない場合（ステップＳ３０８：Ｎｏ）、学習装置５０は、ステップＳ３０１に戻り処理を繰り返す。例えば、学習処理の終了条件は、ステップＳ３０１からＳ３０７までの処理が規定回数だけ繰り返されたことなどである。一方、学習処理の終了条件が充足されている場合（ステップＳ３０８：Ｙｅｓ）、図１１に示す機械学習処理は終了する。

【0064】

［効果］
上述したように、計算装置１０は、複数の画像のそれぞれに含まれる検査対象物の特定部位に対応する領域の部分画像を用いて自己符号化器による機械学習を実行することで、特定部位に対応する部分画像についての第１の分散表現を、１つ以上の特定部位のそれぞれについて取得し、第１の分散表現と、複数の画像を用いた、自己符号化器による機械学習の結果とに基づいて、複数の画像についての第２の分散表現を取得する。また、第１の分散表現と、第２の分散表現とに基づいて、判定対象画像に含まれる検査対象物の異常判定が実行される。

【0065】

物体検知技術を利用した検出部位の分散表現の軌跡による異常判定において、オートエンコーダを用いて、部位ごとに段階的に処理することで中間状態の分散表現も同時に獲得し、どの部位が分散表現に寄与したかが分析可能になる。

【0066】

また、計算装置１０によって実行される、部分画像を用いて自己符号化器による機械学習を実行する処理は、部分画像から取得される特徴量を、自己符号化器に入力する処理を含む。

【0067】

これにより、分散表現の軌跡による異常判定において、部位ごとに、どの部位が分散表現に寄与したかが分析可能になる。

【0068】

また、計算装置１０によって実行される、部分画像から取得される特徴量を、自己符号化器に入力する処理は、複数の画像に対する時系列データのうち所定の時間幅の部分画像から取得される特徴量を、自己符号化器に入力する処理を含む。

【0069】

これにより、分散表現の軌跡を描画し、分散表現の軌跡による異常判定が実行可能になる。

【0070】

また、計算装置１０によって実行される、第１の分散表現を取得する処理は、部分画像を用いて自己符号化器による機械学習を実行することで取得される第１の中間特徴量を、所定の時間幅ごとにグラフにプロットすることにより第１の分散表現を取得する処理を含み、計算装置１０によって実行される、第２の分散表現を取得する処理は、第１の分散表現と結果とを用いて自己符号化器による機械学習を実行することで取得される第２の中間特徴量を、所定の時間幅ごとにグラフにプロットすることにより第２の分散表現を取得する処理を含む。

【0071】

これにより、分散表現の軌跡を描画し、分散表現の軌跡による異常判定が実行可能になる。

【0072】

また、計算装置１０によって実行される、部分画像から取得される特徴量を、自己符号化器に入力する処理は、対応する特定部位が部分画像に存在する確率である確度、ならびに複数の画像全体に対する部分画像の位置および大きさの少なくとも１つを、特徴量として、自己符号化器に入力する処理を含む。

【0073】

これにより、分散表現の軌跡による異常判定において、部位ごとに、どの部位が分散表現に寄与したかが分析可能になる。

【0074】

また、学習装置５０は、検査対象物が正常状態である場合の特徴量を自己符号化器に入力する処理と、検査対象物が異常状態である場合の特徴量を自己符号化器に入力する処理との少なくとも１つを実行する。

【0075】

これにより、学習装置５０は、分散表現において、理想状態の時に特定箇所で理想状態の軌跡を描くように、また、異常状態の時に理想状態の箇所とは異なる箇所で異常状態の軌跡を描くように定めることができる。

【0076】

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更できる。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更できる。

【0077】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成できる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0078】

［ハードウェア］
図１２は、ハードウェア構成例を説明する図である。図１２に示すように、計算装置１０は、通信インタフェース１０ａ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１２に示した各部は、バスなどで相互に接続される。なお、学習装置５０も同様の構成であってよい。

【0079】

通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図１に示した機能を動作させるプログラムやＤＢ（データベース）を記憶する。

【0080】

プロセッサ１０ｄは、図１に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図１などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、計算装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、生成部１４１および検出部１４２などと同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、生成部１４１および検出部１４２などと同様の処理を実行するプロセスを実行する。

【0081】

このように計算装置１０は、図１に示した各処理部と同様の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する計算装置として動作する。また、計算装置１０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上述した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、計算装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態を同様に適用できる。

【0082】

また、図１に示した各処理部と同様の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

【0083】

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0084】

（付記１）複数の画像のそれぞれに含まれる検査対象物の特定部位に対応する領域の部分画像を用いて自己符号化器による機械学習を実行することで、前記特定部位に対応する前記部分画像についての第１の分散表現を、１つ以上の特定部位のそれぞれについて取得し、
前記第１の分散表現と、前記複数の画像を用いた、前記自己符号化器による機械学習の結果とに基づいて、前記複数の画像についての第２の分散表現を取得する、
処理をコンピュータに実行させ、
前記第１の分散表現と、前記第２の分散表現とに基づいて、判定対象画像に含まれる前記検査対象物の異常判定が実行されることを特徴とする計算プログラム。

【0085】

（付記２）前記部分画像を用いて前記自己符号化器による機械学習を実行する処理は、前記部分画像から取得される特徴量を、前記自己符号化器に入力する処理を含むことを特徴とする付記１に記載の計算プログラム。

【0086】

（付記３）前記部分画像から取得される特徴量を、前記自己符号化器に入力する処理は、前記複数の画像に対する時系列データのうち所定の時間幅の前記部分画像から取得される前記特徴量を、前記自己符号化器に入力する処理を含むことを特徴とする付記２に記載の計算プログラム。

【0087】

（付記４）前記第１の分散表現を取得する処理は、前記部分画像を用いて前記自己符号化器による機械学習を実行することで取得される第１の中間特徴量を、前記所定の時間幅ごとにグラフにプロットすることにより前記第１の分散表現を取得する処理を含み、
前記第２の分散表現を取得する処理は、前記第１の分散表現と前記結果とを用いて前記自己符号化器による機械学習を実行することで取得される第２の中間特徴量を、前記所定の時間幅ごとにグラフにプロットすることにより前記第２の分散表現を取得する処理を含むことを特徴とする付記３に記載の計算プログラム。

【0088】

（付記５）前記部分画像から取得される特徴量を、前記自己符号化器に入力する処理は、対応する前記特定部位が前記部分画像に存在する確率である確度、ならびに前記複数の画像全体に対する前記部分画像の位置および大きさの少なくとも１つを、前記特徴量として、前記自己符号化器に入力する処理を含むことを特徴とする付記１乃至４のいずれか１つに記載の計算プログラム。

【0089】

（付記６）前記検査対象物が正常状態である場合の特徴量を前記自己符号化器に入力する処理と、前記検査対象物が異常状態である場合の特徴量を前記自己符号化器に入力する処理との少なくとも１つを実行する
処理をコンピュータに実行させることを特徴とする付記１に記載の計算プログラム。

【0090】

（付記７）複数の画像のそれぞれに含まれる検査対象物の特定部位に対応する領域の部分画像を用いて自己符号化器による機械学習を実行することで、前記特定部位に対応する前記部分画像についての第１の分散表現を、１つ以上の特定部位のそれぞれについて取得し、
前記第１の分散表現と、前記複数の画像を用いた、前記自己符号化器による機械学習の結果とに基づいて、前記複数の画像についての第２の分散表現を取得する、
処理をコンピュータが実行し、
前記第１の分散表現と、前記第２の分散表現とに基づいて、判定対象画像に含まれる前記検査対象物の異常判定が実行されることを特徴とする計算方法。

【0091】

（付記８）前記部分画像を用いて前記自己符号化器による機械学習を実行する処理は、前記部分画像から取得される特徴量を、前記自己符号化器に入力する処理を含むことを特徴とする付記７に記載の計算方法。

【0092】

（付記９）前記部分画像から取得される特徴量を、前記自己符号化器に入力する処理は、前記複数の画像に対する時系列データのうち所定の時間幅の前記部分画像から取得される前記特徴量を、前記自己符号化器に入力する処理を含むことを特徴とする付記８に記載の計算方法。

【0093】

（付記１０）前記第１の分散表現を取得する処理は、前記部分画像を用いて前記自己符号化器による機械学習を実行することで取得される第１の中間特徴量を、前記所定の時間幅ごとにグラフにプロットすることにより前記第１の分散表現を取得する処理を含み、
前記第２の分散表現を取得する処理は、前記第１の分散表現と前記結果とを用いて前記自己符号化器による機械学習を実行することで取得される第２の中間特徴量を、前記所定の時間幅ごとにグラフにプロットすることにより前記第２の分散表現を取得する処理を含むことを特徴とする付記９に記載の計算方法。

【0094】

（付記１１）前記部分画像から取得される特徴量を、前記自己符号化器に入力する処理は、対応する前記特定部位が前記部分画像に存在する確率である確度、ならびに前記複数の画像全体に対する前記部分画像の位置および大きさの少なくとも１つを、前記特徴量として、前記自己符号化器に入力する処理を含むことを特徴とする付記７乃至１０のいずれか１つに記載の計算方法。

【0095】

（付記１２）前記検査対象物が正常状態である場合の特徴量を前記自己符号化器に入力する処理と、前記検査対象物が異常状態である場合の特徴量を前記自己符号化器に入力する処理との少なくとも１つを実行する
処理をコンピュータが実行することを特徴とする付記７に記載の計算方法。

【0096】

（付記１３）複数の画像のそれぞれに含まれる検査対象物の特定部位に対応する領域の部分画像を用いて自己符号化器による機械学習を実行することで、前記特定部位に対応する前記部分画像についての第１の分散表現を、１つ以上の特定部位のそれぞれについて取得し、
前記第１の分散表現と、前記複数の画像を用いた、前記自己符号化器による機械学習の結果とに基づいて、前記複数の画像についての第２の分散表現を取得する、
処理を実行する制御部を有し、
前記第１の分散表現と、前記第２の分散表現とに基づいて、判定対象画像に含まれる前記検査対象物の異常判定を実行することを特徴とする計算装置。

【0097】

（付記１４）前記部分画像を用いて前記自己符号化器による機械学習を実行する処理は、前記部分画像から取得される特徴量を、前記自己符号化器に入力する処理を含むことを特徴とする付記１３に記載の計算装置。

【0098】

（付記１５）前記部分画像から取得される特徴量を、前記自己符号化器に入力する処理は、前記複数の画像に対する時系列データのうち所定の時間幅の前記部分画像から取得される前記特徴量を、前記自己符号化器に入力する処理を含むことを特徴とする付記１４に記載の計算装置。

【0099】

（付記１６）前記第１の分散表現を取得する処理は、前記部分画像を用いて前記自己符号化器による機械学習を実行することで取得される第１の中間特徴量を、前記所定の時間幅ごとにグラフにプロットすることにより前記第１の分散表現を取得する処理を含み、
前記第２の分散表現を取得する処理は、前記第１の分散表現と前記結果とを用いて前記自己符号化器による機械学習を実行することで取得される第２の中間特徴量を、前記所定の時間幅ごとにグラフにプロットすることにより前記第２の分散表現を取得する処理を含むことを特徴とする付記１５に記載の計算装置。

【0100】

（付記１７）前記部分画像から取得される特徴量を、前記自己符号化器に入力する処理は、対応する前記特定部位が前記部分画像に存在する確率である確度、ならびに前記複数の画像全体に対する前記部分画像の位置および大きさの少なくとも１つを、前記特徴量として、前記自己符号化器に入力する処理を含むことを特徴とする付記１３乃至１６のいずれか１つに記載の計算装置。

【0101】

（付記１８）前記検査対象物が正常状態である場合の特徴量を前記自己符号化器に入力する処理と、前記検査対象物が異常状態である場合の特徴量を前記自己符号化器に入力する処理との少なくとも１つを実行する
処理を実行する制御部を有することを特徴とする付記１３に記載の計算装置。

【0102】

（付記１９）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた計算装置であって、プロセッサは、
複数の画像のそれぞれに含まれる検査対象物の特定部位に対応する領域の部分画像を用いて自己符号化器による機械学習を実行することで、前記特定部位に対応する前記部分画像についての第１の分散表現を、１つ以上の特定部位のそれぞれについて取得し、
前記第１の分散表現と、前記複数の画像を用いた、前記自己符号化器による機械学習の結果とに基づいて、前記複数の画像についての第２の分散表現を取得する、
処理を実行し、
前記第１の分散表現と、前記第２の分散表現とに基づいて、判定対象画像に含まれる前記検査対象物の異常判定が実行されることを特徴とする計算装置。

【実施例0103】

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。