特許 7425406 画像検査装置、学習済みモデル生成装置、画像検査システム、画像検査用プログラム、学習済みモデル生成用プログラム、および学習済みモデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-23

(45)【発行日】2024-01-31

(54)【発明の名称】画像検査装置、学習済みモデル生成装置、画像検査システム、画像検査用プログラム、学習済みモデル生成用プログラム、および学習済みモデル

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240124BHJP

   G06N 20/00 20190101ALI20240124BHJP

【ＦＩ】

G06T7/00 350B

G06N20/00

【請求項の数】 7

(21)【出願番号】P 2020051679

(22)【出願日】2020-03-23

(65)【公開番号】P2021149852

(43)【公開日】2021-09-27

【審査請求日】2022-11-09

(73)【特許権者】

【識別番号】000003687

【氏名又は名称】東京電力ホールディングス株式会社

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】富木 洋一

(72)【発明者】

【氏名】中田 安彦

(72)【発明者】

【氏名】石毛 浩和

(72)【発明者】

【氏名】甘利 治雄

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】国際公開第０３／１０２７０６（ＷＯ，Ａ１）

【文献】特開２０１９－１３９６４２（ＪＰ，Ａ）

【文献】Sergio Cebollada et al.，Hierarchical Localization in Topological Models Under Varying Illumination Using Holistic Visual Descriptors，IEEE Access，米国，2019年，Vol.7，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8688396

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｎ ２０／００

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

複数のエリアからなる建物内で撮影された検査対象の画像データを受け付ける検査データ受付部と、
前記検査対象の画像データを入力として当該検査対象の画像データが撮影されたエリアを出力するようにコンピュータを機能させるための第１の学習済みモデルと、前記複数のエリアのそれぞれに対応した複数の第２の学習済みモデルであって、前記検査対象の画像データを入力として当該検査対象の画像データが撮影された前記エリア内の場所および方位を出力するようにコンピュータを機能させるための第２の学習済みモデルとを記憶する記憶部と、
前記記憶部に記憶された前記第１の学習済みモデルに基づいて、前記検査データ受付部によって受け付けた前記検査対象の画像データが撮影されたエリアを出力し、当該出力されたエリアに対応した第２の学習済みモデルに基づいて、前記検査データ受付部によって受け付けた前記検査対象の画像データが撮影された場所および方位を出力する撮影状態特定部と、
前記検査対象の画像データに所定の検出対象物が含まれるか否かを判定する検出対象判定部と、
を備え、
前記記憶部は、所定の検出対象物が含まれる画像データが撮影され得るエリア、場所、方位の組み合わせである検出対象判定用データをさらに記憶し、
前記検出対象判定部は、前記撮影状態特定部において出力されたエリア、場所、方位の組み合わせが前記検出対象判定用データに含まれる場合に、当該出力されたエリア、場所、方位の組み合わせにかかる検査対象の画像データに所定の検出対象物が含まれると判定する、
画像検査装置。

【請求項2】

請求項１に記載の画像検査装置において、
前記第１の学習済みモデルは、前記建物内で撮影された画像データに、当該画像データが撮影されたエリアを示す情報をラベリングして生成された複数の学習用画像データを機械学習することによって調整された学習済みパラメータを含み、
前記第２の学習済みモデルは、前記建物内で撮影された画像データに、当該画像データが撮影された場所および方位を示す情報をラベリングして生成された複数の学習用画像データを機械学習することによって調整された学習済みパラメータを含む、
画像検査装置。

【請求項3】

請求項１または２に記載の画像検査装置において、
前記検出対象判定部において所定の検出対象物が含まれると判定された検査対象の画像データを削除する画像データ削除部をさらに備える、
画像検査装置。

【請求項4】

複数のエリアからなる建物内で３６０度カメラによって撮影された３６０度撮像データから複数の倍率および複数の画角で切り出した複数の画像データに、撮影されたエリア、場所、方位をラベリングした複数の学習用画像データを生成する学習用画像データ生成部と、
前記画像データを入力として当該画像データが撮影されたエリアを出力するようにコンピュータを機能させるための第１の学習済みモデルを生成する第１の学習済みモデル生成部と、前記複数のエリアのそれぞれに対応した複数の第２の学習済みモデルであって、前記画像データを入力として当該画像データが撮影された前記エリア内の場所および方位を出力するようにコンピュータを機能させるための第２の学習済みモデルを生成する学習済みモデル生成部と、
検査対象の画像データを受け付ける検査データ受付部と、
前記第１の学習済みモデル生成部によって生成された前記第１の学習済みモデルに基づいて、前記検査データ受付部によって受け付けた前記検査対象の画像データが撮影されたエリアを出力し、当該出力されたエリアに対応して前記第２の学習済みモデル生成部によって生成された第２の学習済みモデルに基づいて、前記検査データ受付部によって受け付けた前記検査対象の画像データが撮影された場所および方位を出力する撮影状態特定部と、
前記検査対象の画像データに所定の検出対象物が含まれるか否かを判定する検出対象判定部と、
所定の検出対象物が含まれる画像データが撮影され得るエリア、場所、方位の組み合わせである検出対象判定用データを記憶した記憶部と、
を備え、
前記検出対象判定部は、前記撮影状態特定部において出力されたエリア、場所、方位の組み合わせが前記検出対象判定用データに含まれる場合に、当該出力されたエリア、場所、方位の組み合わせにかかる検査対象の画像データに所定の検出対象物が含まれると判定する、
画像検査システム。

【請求項5】

請求項４に記載の画像検査システムにおいて、
前記検出対象判定部において所定の検出対象物が含まれると判定された検査対象の画像データを削除する画像データ削除部をさらに備える、
画像検査システム。

【請求項6】

コンピュータを、
複数のエリアからなる建物内で撮影された検査対象の画像データを受け付ける検査データ受付部と、
前記検査対象の画像データを入力として当該検査対象の画像データが撮影されたエリアを出力するようにコンピュータを機能させるための第１の学習済みモデルと、前記複数のエリアのそれぞれに対応した複数の第２の学習済みモデルであって、前記検査対象の画像データを入力として当該検査対象の画像データが撮影された前記エリア内の場所および方位を出力するようにコンピュータを機能させるための第２の学習済みモデルとを記憶する記憶部と、
前記記憶部に記憶された前記第１の学習済みモデルに基づいて、前記検査データ受付部によって受け付けた前記検査対象の画像データが撮影されたエリアを出力し、当該出力されたエリアに対応した第２の学習済みモデルに基づいて、前記検査データ受付部によって受け付けた前記検査対象の画像データが撮影された場所および方位を出力する撮影状態特定部と、
前記検査対象の画像データに所定の検出対象物が含まれるか否かを判定する検出対象判定部として機能させ、
前記第１の学習済みモデルは、前記建物内で撮影された画像データに、当該画像データが撮影されたエリアを示す情報をラベリングして生成された複数の学習用画像データを機械学習することによって生成されており、
前記第２の学習済みモデルは、前記建物内で撮影された画像データに、当該画像データが撮影された場所および方位を示す情報をラベリングして生成された複数の学習用画像データを機械学習することによって生成されており、
前記記憶部は、所定の検出対象物が含まれる画像データが撮影され得るエリア、場所、方位の組み合わせである検出対象判定用データをさらに記憶し、
前記検出対象判定部は、前記撮影状態特定部において出力されたエリア、場所、方位の組み合わせが前記検出対象判定用データに含まれる場合に、当該出力されたエリア、場所、方位の組み合わせにかかる検査対象の画像データに所定の検出対象物が含まれると判定する、
画像検査用プログラム。

【請求項7】

請求項６に記載の画像検査用プログラムにおいて、
前記検出対象判定部において所定の検出対象物が含まれると判定された検査対象の画像データを削除する画像データ削除部をさらに備える、
画像検査用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像検査装置、学習済みモデル生成装置、画像検査システム、画像検査用プログラム、学習済みモデル生成用プログラム、および学習済みモデルに関し、例えば、学習済みモデルに基づいて所定の検出対象物が画像データに含まれるか否かについて検査する画像検査装置に関する。

【背景技術】

【0002】

特許文献１には、道路やトンネルなどを撮影した画像データについて、その正確な撮影地点が不明であっても、画像データから検査対象物の地理位置情報を特定する手法が記載されている。この手法では、地理位置を特定しようとする画像データ（対象画像）と地理位置情報が分かっている多数の画像データ（照合用画像）とを照合して類似度が高い場合に、照合用画像の地理位置情報を対象画像の位置情報としている。対象画像に写る検査対象物の位置を短時間でかつ精度よく特定するために、検査対象物の属性情報を絞り込み条件として、照合用画像を絞り込んでいる。

【0003】

特許文献２には、観測対象空間における位置、方位、撮影画像を関連付けた基準データに含まれる画像と、観測対象が撮影した画像とを照合することにより観測対象の位置および方位をより正確に特定することが記載されている。照合した結果、両者が一致または類似すると判定した画像に関連付けられた位置および方位を観測対象の位置および方位として特定している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－１０２６７２号公報

【文献】特開２０１８－１８５１８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１、２に記載の手法では、いずれも、識別対象の画像と照合用の画像との間で、特徴量マッチングを行うことによって類似度を判定している。特徴量マッチングは、識別対象の画像から特徴量を抽出し、照合用の画像から特徴量を抽出し、これらの抽出した特徴量の一致度合いから類似度を判定する処理である。

【0006】

特徴量マッチングによる手法では、識別対象の画像と照合用の画像とにおいて、同じ対象物の特徴量でも、大きさや解像度の不一致がある場合には、異なる特徴量であると判定されてしまう可能性がある。これを回避するために、大きさや解像度の異なる複数の照合用の画像を用いてマッチングを行うことも考えられる。

【0007】

しかしながら、１つの識別対象について大きさや解像度の異なる複数の画像を照合用の画像として用意した場合は、それだけマッチングに時間を要してしまう。このように、特徴量マッチングを行うことによって類似度を判定する場合に、判定精度とマッチング時間とはトレードオフの関係にあるといえる。

【0008】

さらに、特徴量マッチングでは、何を対象として特徴量として抽出するかがマッチングの精度に影響する。画像として変化がないようなロゴやマークなどを対象として特徴量を抽出する場合は、精度良くよく判定できるが、動きのあるものや経時的に変化があるものを対象として特徴量を抽出するのには用いられにくい。

【0009】

このように、経時的に変化がある風景を撮影した撮影画像に基づいてその撮影場所等を素早く特定することは容易なことではなかった。経時的に変化がある風景を撮影した撮影画像の場合、屋外であれば、ＧＰＳにより位置特定したその撮影場所の情報を撮影画像の属性情報として持たせれば、撮影画像に基づいてその撮影場所等を素早く特定することも考えられる。しかしながら、屋内（建物内）では、ＧＰＳによる位置特定は困難である。

【0010】

本発明は上記従来の問題に鑑みなされたものであって、本発明の課題は、ＧＰＳなどにより位置特定が困難な建物内でも、簡易な構成にもかかわらず、撮影画像に基づいてその撮影場所等を素早く特定することを目的とする。

【課題を解決するための手段】

【0011】

本発明の代表的な実施の形態に係る画像検査装置は、複数のエリアからなる建物内で撮影された検査対象の画像データを受け付ける検査データ受付部と、前記検査対象の画像データを入力として当該検査対象の画像データが撮影されたエリアを出力するようにコンピュータを機能させるための第１の学習済みモデルと、前記複数のエリアのそれぞれに対応した複数の第２の学習済みモデルであって、前記検査対象の画像データを入力として当該検査対象の画像データが撮影された前記エリア内の場所および方位を出力するようにコンピュータを機能させるための第２の学習済みモデルとを記憶する記憶部と、前記記憶部に記憶された前記第１の学習済みモデルに基づいて、前記検査データ受付部によって受け付けた前記検査対象の画像データが撮影されたエリアを出力し、当該出力されたエリアに対応した第２の学習済みモデルに基づいて、前記検査データ受付部によって受け付けた前記検査対象の画像データが撮影された場所および方位を出力する撮影状態特定部と、を備えることを特徴とする。

【発明の効果】

【0012】

本発明に係る画像検査装置によれば、ＧＰＳなどにより位置特定が困難な建物内でも、簡易な構成にもかかわらず、撮影画像に基づいてその撮影場所等を素早く特定することができる。

【図面の簡単な説明】

【0013】

【図1】本実施の形態１に係る画像検査システムの構成を示す図である。

【図2】実施の形態１に係る学習済みモデル生成装置２の機能ブロック構成を示す図である。

【図3】実施の形態１に係る学習済みモデル生成装置２のハードウェア構成を示す図である。

【図4】天頂補正を説明するための図である。

【図5】３６０度撮像データから複数の倍率および複数の画角の画像データを切り出すことを説明する図である。

【図6】分類について説明する図である。

【図7】第１の学習済みモデル２０４または第２の学習済みモデル２０５＿１～２０５＿ｎのアルゴリズムの一例を示す図である。

【図8】実施の形態１に係る画像検査装置３の機能ブロック構成を示す図である。

【図9】実施の形態１に係る画像検査装置３のハードウェア構成を示す図である。

【図10】第１の学習済みモデル３０５（２０４）の機能を説明する図である。

【図11】第２の学習済みモデル３０６＿１～３０６＿ｎ（２０５＿１～２０５＿ｎ）の機能を説明する図である。

【図12】画像検査システム１の学習済みモデル生成装置２による処理の流れを示すフロー図である。

【図13】画像データ生成処理の流れをより詳細に説明する図である。

【図14】画像検査システム１の画像検査装置３による第１の処理の流れを示すフロー図である。

【図15】画像検査システム１の画像検査装置３による第２の処理の流れを示すフロー図である。

【発明を実施するための形態】

【0014】

１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。なお、以下の説明では、一例として、発明の構成要素に対応する図面上の参照符号を、括弧を付して記載している。

【0015】

〔１〕代表的な実施の形態に係る画像検査装置（３）は、複数のエリアからなる建物内で撮影された検査対象の画像データを受け付ける検査データ受付部（３３）と、前記検査対象の画像データを入力として当該検査対象の画像データが撮影されたエリアを出力するようにコンピュータを機能させるための第１の学習済みモデル（３０５）と、前記複数のエリアのそれぞれに対応した複数の第２の学習済みモデル（３０６）であって、前記検査対象の画像データを入力として当該検査対象の画像データが撮影された前記エリア内の場所および方位を出力するようにコンピュータを機能させるための第２の学習済みモデル（３０６）とを記憶する記憶部（３８）と、前記記憶部（３８）に記憶された前記第１の学習済みモデル（３０５）に基づいて、前記検査データ受付部（３３）によって受け付けた前記検査対象の画像データが撮影されたエリアを出力し、当該出力されたエリアに対応した第２の学習済みモデル（３０６）に基づいて、前記検査データ受付部（３３）によって受け付けた前記検査対象の画像データが撮影された場所および方位を出力する撮影状態特定部（３４）と、を備える、ことを特徴とする。

【0016】

〔２〕上記〔１〕において、前記第１の学習済みモデル（３０５）は、前記建物内で撮影された画像データに、当該画像データが撮影されたエリアを示す情報をラベリングして生成された複数の学習用画像データを機械学習することによって調整された学習済みパラメータを含み、前記第２の学習済みモデル（３０６）は、前記建物内で撮影された画像データに、当該画像データが撮影された場所および方位を示す情報をラベリングして生成された複数の学習用画像データを機械学習することによって調整された学習済みパラメータを含んでいてもよい。
〔３〕上記〔１〕または〔２〕において、前記検査対象の画像データに所定の検出対象物が含まれるか否かを判定する検出対象判定部（３５）をさらに備え、前記記憶部（３８）は、所定の検出対象物が含まれる画像データが撮影され得るエリア、場所、方位の組み合わせである検出対象判定用データをさらに記憶し、前記検出対象判定部（３５）は、前記撮影状態特定部（３４）において出力されたエリア、場所、方位の組み合わせが前記検出対象判定用データに含まれる場合に、当該出力されたエリア、場所、方位の組み合わせにかかる検査対象の画像データに所定の検出対象物が含まれると判定してもよい。

【0017】

〔４〕上記〔３〕において、前記検出対象判定部（３５）において所定の検出対象物が含まれると判定された検査対象の画像データを削除する画像データ削除部（３６）をさらに備えていてもよい。

【0018】

〔５〕代表的な実施の形態に係る学習済みモデル生成装置（２）は、複数のエリアからなる建物内で３６０度カメラによって撮影された３６０度撮像データから複数の倍率および複数の画角で切り出した複数の画像データに、撮影されたエリア、場所、方位をラベリングした複数の学習用画像データを生成する学習用画像データ生成部（２２Ａ）と、前記画像データを入力として当該画像データが撮影されたエリアを出力するようにコンピュータを機能させるための第１の学習済みモデル生成部（２６Ａ）と、前記複数のエリアのそれぞれに対応した複数の第２の学習済みモデル生成部（２６Ｂ）であって、前記画像データを入力として当該画像データが撮影された前記エリア内の場所および方位を出力するようにコンピュータを機能させるための第２の学習済みモデル生成部（２６Ｂ）と、を備えることを特徴とする。

【0019】

〔６〕代表的な実施の形態に係る画像検査システム（１）は、複数のエリアからなる建物内で３６０度カメラによって撮影された３６０度撮像データから複数の倍率および複数の画角で切り出した複数の画像データに、撮影されたエリア、場所、方位をラベリングした複数の学習用画像データを生成する学習用画像データ生成部（２２Ａ）と、前記画像データを入力として当該画像データが撮影されたエリアを出力するようにコンピュータを機能させるための第１の学習済みモデル（２０４、３０５）を生成する第１の学習済みモデル生成部（２６Ａ）と、前記複数のエリアのそれぞれに対応した複数の第２の学習済みモデル（２０５、３０６）であって、前記画像データを入力として当該画像データが撮影された前記エリア内の場所および方位を出力するようにコンピュータを機能させるための第２の学習済みモデル（２０５、３０６）を生成する学習済みモデル生成部（２２Ｂ）と、検査対象の画像データを受け付ける検査データ受付部（３３）と、前記第１の学習済みモデル生成部（２６Ａ）によって生成された前記第１の学習済みモデル（３０５）に基づいて、前記検査データ受付部（３３）によって受け付けた前記検査対象の画像データが撮影されたエリアを出力し、当該出力されたエリアに対応して前記第２の学習済みモデル生成部（２６Ｂ）によって生成された第２の学習済みモデル（３０６）に基づいて、前記検査データ受付部（３３）によって受け付けた前記検査対象の画像データが撮影された場所および方位を出力する撮影状態特定部（３４）と、を備えることを特徴とする。

【0020】

〔７〕上記〔６〕において、前記検査対象の画像データに所定の検出対象物が含まれるか否かを判定する検出対象判定部（３５）と、所定の検出対象物が含まれる画像データが撮影され得るエリア、場所、方位の組み合わせである検出対象判定用データをさらに記憶した前記記憶部（３８）とをさらに備え、前記検出対象判定部（３５）は、前記撮影状態特定部（３４）において出力されたエリア、場所、方位の組み合わせが前記検出対象判定用データに含まれる場合に、当該出力されたエリア、場所、方位の組み合わせにかかる検査対象の画像データに所定の検出対象物が含まれると判定してもよい。

【0021】

〔８〕上記〔７〕において、前記検出対象判定部（３５）において所定の検出対象物が含まれると判定された検査対象の画像データを削除する画像データ削除部（３６）をさらに備えていてもよい。

【0022】

〔９〕代表的な実施の形態に係る画像検査用プログラムは、コンピュータを、複数のエリアからなる建物内で撮影された検査対象の画像データを受け付ける検査データ受付部（３３）と、前記検査対象の画像データを入力として当該検査対象の画像データが撮影されたエリアを出力するようにコンピュータを機能させるための第１の学習済みモデル（３０５）と、前記複数のエリアのそれぞれに対応した複数の第２の学習済みモデル（３０６）であって、前記検査対象の画像データを入力として当該検査対象の画像データが撮影された前記エリア内の場所および方位を出力するようにコンピュータを機能させるための第２の学習済みモデル（３０６）とを記憶する記憶部（３８）と、前記記憶部（３８）に記憶された前記第１の学習済みモデル（３０５）に基づいて、前記検査データ受付部（３３）によって受け付けた前記検査対象の画像データが撮影されたエリアを出力し、当該出力されたエリアに対応した第２の学習済みモデル（３０６）に基づいて、前記検査データ受付部（３３）によって受け付けた前記検査対象の画像データが撮影された場所および方位を出力する撮影状態特定部（３４）として機能させ、前記第１の学習済みモデル（３０５）は、前記建物内で撮影された画像データに、当該画像データが撮影されたエリアを示す情報をラベリングして生成された複数の学習用画像データを機械学習することによって生成されており、前記第２の学習済みモデル（３０６）は、前記建物内で撮影された画像データに、当該画像データが撮影された場所および方位を示す情報をラベリングして生成された複数の学習用画像データを機械学習することによって生成されていることを特徴とする。

【0023】

〔１０〕上記〔９〕において、前記検査対象の画像データに所定の検出対象物が含まれるか否かを判定する検出対象判定部（３５）をさらに備え、前記記憶部（３８）は、所定の検出対象物が含まれる画像データが撮影され得るエリア、場所、方位の組み合わせである検出対象判定用データをさらに記憶し、前記検出対象判定部（３５）は、前記撮影状態特定部（３４）において出力されたエリア、場所、方位の組み合わせが前記検出対象判定用データに含まれる場合に、当該出力されたエリア、場所、方位の組み合わせにかかる検査対象の画像データに所定の検出対象物が含まれると判定してもよい。

【0024】

〔１１〕上記〔１０〕において、前記検出対象判定部（３５）において所定の検出対象物が含まれると判定された検査対象の画像データを削除する画像データ削除部（３６）をさらに備えていてもよい。

【0025】

〔１２〕代表的な実施の形態に係る学習済みモデル生成用プログラムは、コンピュータを、複数のエリアからなる建物内で３６０度カメラによって撮影された３６０度撮像データから複数の倍率および複数の画角で切り出した複数の画像データに、撮影されたエリア、場所、方位をラベリングした複数の学習用画像データを生成する学習用画像データ生成部（２２Ａ）と、前記画像データを入力として当該画像データが撮影されたエリアを出力するようにコンピュータを機能させるための第１の学習済みモデル生成部（２６Ａ）と、前記複数のエリアのそれぞれに対応した複数の第２の学習済みモデル生成部（２６Ｂ）であって、前記画像データを入力として当該画像データが撮影された前記エリア内の場所および方位を出力するようにコンピュータを機能させるための第２の学習済みモデル生成部（２６Ｂ）として機能させることを特徴とする。

【0026】

〔１３〕代表的な実施の形態に係る学習済みモデルは、複数のエリアからなる建物内で撮影された画像データに、当該画像データが撮影されたエリアを示す情報をラベリングして生成された複数の学習用画像データを機械学習することによって調整された第１の学習済みパラメータを含み、入力された前記画像データに対して前記第１の学習済みパラメータに基づく演算を行い、前記画像データを入力として当該画像データが撮影されたエリアを出力するよう、コンピュータを機能させる第１の学習済みモデル（２０４、３０５）と、前記第１の学習済みモデル（２０４、３０５）において出力されたエリアに対応し、前記第１の学習済みモデル（２０４、３０５）において当該エリアが出力された画像データを入力として当該画像データが撮影された場所および方位を出力するようにコンピュータを機能させるための第２の学習済みモデル（２０５、３０６）であって、前記出力されたエリア内で撮影された画像データに、当該画像データが撮影された場所および方位を示す情報をラベリングして生成された複数の学習用画像データを機械学習することによって調整された第２の学習済みパラメータを含み、入力された前記画像データに対して前記第２の学習済みパラメータに基づく演算を行い、前記場所および方位を出力するよう、前記コンピュータを機能させる第２の学習済みモデル（２０５、３０６）とを含むことを特徴とする。

【0027】

２．実施の形態の具体例
以下、本発明の実施の形態の具体例について図を参照して説明する。なお、以下の説明において、各実施の形態において共通する構成要素には同一の参照符号を付し、繰り返しの説明を省略する。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。

【0028】

≪実施の形態１≫
図１は、本実施の形態１に係る画像検査システムの構成を示す図である。

【0029】

同図に示される画像検査システム１は、複数のエリアからなる建物内で撮影された画像データを機械学習によって学習して学習済みモデルを生成し、その学習済みモデルを用いて、入力された画像データが撮影されたエリア、場所、方位を特定し、特定されたエリア、場所、方位に基づいて所定の検出対象物が含まれているか否かを検査するためのシステムである。

【0030】

本実施の形態では、一例として、所定のエリア内の設置物である場合について説明する。本明細書において、設置物とは、建物内に固定的に配置され、通常はその配置位置が変わらない構造物をいう。例えば、掛け時計、天井照明、非常灯、防犯カメラ、扉、窓、階段などがあげられ、建物の構造自体をも含む概念である。

【0031】

図１に示すように、画像検査システム１は、ネットワーク４に接続可能に構成され、ネットワーク４を介して複数のクライアント端末装置５ａ、５ｂ、５ｃ、５ｄ・・・等の外部の情報処理装置と通信が可能となっている。

【0032】

ネットワーク４は、例えばインターネットに代表される広域ネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。画像検査システム１は、有線または無線通信によってネットワーク４と接続可能に構成されている。

【0033】

クライアント端末装置５ａ、５ｂ、５ｃ、５ｄ・・・は、サーバとしての画像検査システム１に対して所定の処理（サービス）を要求するためのクライアント側の情報処理装置である。クライアント端末装置５ａ、５ｂ、５ｃ、５ｄ・・・は、有線または無線通信によってネットワーク４と接続可能に構成され、ネットワーク４を介して画像検査システム１等の外部の情報処理装置と通信が可能となっている。

【0034】

クライアント端末装置５ａ、５ｂ、５ｃ、５ｄ・・・としては、パーソナルコンピュータ、タブレット端末、またはスマートフォン等の各種情報処理装置（コンピュータ）を例示することができる。

【0035】

また、クライアント端末装置５ａ、５ｂ、５ｃ、５ｄ・・・には、３６０度カメラなどの撮像装置５１が接続され、撮像した３６０度撮像データを、ネットワーク４を介して画像検査システム１に送信することができる。もちろん、クライアント端末装置５ａ、５ｂ、５ｃ、５ｄ・・・自体が３６０度カメラの撮像機能を有していてもよい。

【0036】

図１に示すように、画像検査システム１は、学習済みモデルに基づいて、入力された画像データの撮影状態（撮影したエリア、場所、方位）を特定し、特定した撮影状態に基づいて画像データが所定の検出対象物（例えば掛け時計）を含むか否かについて検査することができる画像検査装置３と、上記学習済みモデルを生成する学習済みモデル生成装置２とを備えている。

【0037】

学習済みモデル生成装置２と画像検査装置３とは、例えば、所定のネットワーク（例えば、ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して接続されており、互いにデータの送受信が可能となっている。

【0038】

以下、学習済みモデル生成装置２と画像検査装置３とについて、それぞれ詳細に説明する。

【0039】

まず、学習済みモデル生成装置２について説明する。

【0040】

図２は、実施の形態１に係る学習済みモデル生成装置２の機能ブロック構成を示す図である。

【0041】

図３は、実施の形態１に係る学習済みモデル生成装置２のハードウェア構成を示す図である。

【0042】

学習済みモデル生成装置２は、例えば、ＰＣやサーバ等の情報処理装置（コンピュータ）であって、インストールされた学習済みモデル生成用プログラムにしたがって学習用画像データを生成するとともに、生成した学習用画像データを機械学習によって学習して学習済みモデルを生成する装置である。このように、学習済みモデル生成装置２はコンピュータで動作する学習済みモデル生成用プログラムとして実装されてもよい。

【0043】

図２に示すように、学習済みモデル生成装置２は、学習済みモデルを生成するための機能ブロックとして、通信部２１、学習用画像データ生成部２２Ａ、記憶部２７、および学習済みモデル生成部２２Ｂを有している。これらの各機能ブロックは、学習済みモデル生成装置２としての情報処理装置を構成するハードウェア資源が、上記情報処理装置にインストールされたソフトウエア（学習済みモデル生成用プログラム）と協働することによって、実現される。

【0044】

図３に示すように、学習済みモデル生成装置２は、ハードウェア資源として、演算装置１０１、記憶装置１０２、入力装置１０３、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）装置１０４、出力装置１０５、およびバス１０６を備えている。

【0045】

記憶装置１０２に記憶されるプログラム１０２１は、コンピュータを本実施の形態に係る学習済みモデル生成装置２の各機能部として機能させる学習済みモデル生成用プログラムを含み、例えば、記憶装置１０２に予めインストールされている。

【0046】

また、データ１０２２は、後述する、３６０度撮像データ２０１＿１～２０１＿ｐ（ｐは２以上の整数）、画像データを格納した複数のエリアのフォルダ２０２＿１～２０２＿ｎ（ｎは２以上の整数）、画像データを格納した複数の場所および方位のフォルダ２０３＿１～２０３＿ｍ（ｍは２以上の整数）、第１の学習済みモデルである第１の学習済みモデル２０４、第２の学習済みモデルである第２の学習済みモデル２０５＿１～２０５＿ｎ（ｎは２以上の整数）等を少なくとも一つを含む。

【0047】

なお、プログラム１０２１およびデータ１０２２は、ネットワークを介して流通可能であってもよいし、ＣＤ－ＲＯＭ等のコンピュータが読み取り可能な記憶媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に書き込まれて流通可能であってもよい。

【0048】

以下、学習済みモデル生成装置２の各機能ブロックについて説明する。

【0049】

通信部２１は、外部の情報処理装置と通信を行うための機能部である。具体的に、通信部２１は、画像検査システム１内の画像検査装置３との間で、上述した所定のネットワーク（例えばＬＡＮ）を介してデータの送受信を行う。

【0050】

なお、通信部２１は、ネットワーク４に接続されて、ネットワーク４を介して複数のクライアント端末装置５ａ、５ｂ、５ｃ、５ｄ・・・等の外部の情報処理装置との間でデータの送受信が行えるように構成されていてもよい。

【0051】

学習用画像データ生成部２２Ａは、学習済みモデルを生成するための各種データを生成するための機能部である。具体的に、学習用画像データ生成部２２Ａは、建物内で撮影された画像データに、当該画像データが撮影されたエリアを示す情報をラベリングして生成された複数の学習用画像データ（教師データ）を生成し、当該画像データが撮影された場所および方位を示す情報をラベリングして生成された複数の学習用画像データ（教師データ）を生成する。本実施の形態の学習済みモデル生成装置２で学習の対象とする建物内で撮影された画像データには、最初の撮影時に撮影したエリアと場所とが付与されているものを用いることができる。学習用画像データ生成部２２Ａは、画像データに付与されているエリアと場所とを用いてラベリングすることができる。また、学習用画像データ生成部２２Ａは、撮影された画像データから複数の画角で複数の画像データを切り出すときに、撮影された画像データから切り出す画角から推定される方位を用いてラベリングすることができる。撮影された画像データは、特定の方位を基準として撮影されており、撮影された画像データ内の基準の位置からの画角によれば方位が推定できる。

【0052】

なお、本実施の形態では、画像データが撮影されたときの状態を示す情報としてエリアと場所および方位を例に挙げて説明するが、これに限定されない。

【0053】

図２に示すように、学習用画像データ生成部２２Ａは、機能ブロックとして、天頂補正部２３と、画像データ生成部２４と、第１の分類部２５Ａと、第２の分類部２５Ｂとを有する。

【0054】

天頂補正部２３は、３６０度撮像データ２０１＿１～２０１＿ｐ（ｐは２以上の整数）の天頂補正を行う機能部である。

【0055】

画像データ生成部２４は、３６０度撮像データ２０１＿１～２０１＿ｐから複数の倍率および複数の画角で複数の画像データを切り出す機能部である。ここで画角とは、３６０度のうち水平方向および垂直方向のそれぞれにおいて画像データの占める大きさを表す。

【0056】

第１の分類部２５Ａは、切り出した複数の画像データをエリアごとに分類する機能部である。画像データをエリアごとに分類することは、画像データにエリアを示す情報をラベリングすることを含む。具体的には、複数のエリアのフォルダ２０２＿１～２０２＿ｎ（ｎは２以上の整数）に分類して画像データを保存する。画像データは、保存されたフォルダに対応したエリアを示す情報がラベリングされることになる。

【0057】

第２の分類部２５Ｂは、切り出した複数の画像を場所および方位ごとに分類する機能部である。画像データを場所および方位ごとに分類することは、画像データに場所および方位を示す情報をラベリングすることを含む。具体的には、複数の場所および方位のフォルダ２０３＿１～２０３＿ｍ（ｍは２以上の整数）に分類して画像データを保存する。画像データは、保存されたフォルダに対応した場所および方位を示す情報がラベリングされることになる。複数の場所および方位のフォルダ２０３＿１～２０３＿ｍは、図２に示すように、その場所が含まれるエリアのフォルダ２０２＿１～２０２＿ｎのいずれかに格納されていてもよい。

【0058】

図４は天頂補正を説明するための図である。図５は３６０度撮像データから複数の倍率および複数の画角の画像データを切り出すことを説明する図である。図６は、分類について説明する図である。ここで、図２から６を参照しながら、学習用画像データ生成部２２Ａにおける画像データの生成について説明する。

【0059】

３６０度撮像データは、例えば、１８０度の撮影が可能な２つのレンズを表裏に備えた撮像装置によって、対象となる建物の中を移動しながら撮影することによって得ることができる。３６０度撮像データには、撮影したエリアと場所（エリア内の位置）の情報がメタデータとして関連づけられている。

【0060】

学習用画像データ生成部２２Ａは、３６０度撮像データが得られ、記憶部２７に格納されると天頂補正部２３において天頂補正を行う。天頂補正とは、図４に示すように、画像の上下水平方向がずれている場合に、画像を回転等させることにより上下水平方向を正しくする補正処理である。この機能により、３６０度撮像データの撮影時に、上下水平方向を調整することなく撮影を行うことができる。

【0061】

図５に示すように、画像データ生成部２４は、必要に応じて天頂補正がされた１つの３６０度撮像データから複数の画像データを切り出す。この切り出しは、撮像位置を中心とした半径の異なる複数の天球上が、切り出し後の画像データですべて埋め尽くされるようにできるだけ多くの画像データを切り出すことが好ましい。切り出した画像データはすぐに図６に示すように、第１の分類部２５Ａに渡され、エリアごとに分類され、第２の分類部２５Ｂによって、切り出した複数の画像を場所および方位ごとに分類される。分類する際のフォルダは、図２に示すように、入れ子状に構成されていてよいし、図６に示すように、エリア、場所、方位の組み合わせごとのフォルダとしてもよい。

【0062】

本実施の形態では、第１の学習済みモデルである第１の学習済みモデル２０４と第２の学習済みモデルである第２の学習済みモデル２０５＿１～２０５＿ｎ（ｎは２以上の整数）とが記憶部２７に記憶されている。

【0063】

学習済みモデル生成部２２Ｂは、学習用画像データ生成部２２Ａによって生成された複数の学習用画像データを機械学習することにより、画像データを入力として当該画像データが撮像されたエリア、場所、方位を出力するように情報処理装置（コンピュータ）を機能させるための第１の学習済みモデルおよび第２の学習済みモデルとしての第１の学習済みモデル２０４および第２の学習済みモデル２０５＿１～２０５＿ｎを生成する機能部である。

【0064】

第１の学習済みモデル２０４および第２の学習済みモデル２０５＿１～２０５＿ｎは、所定の技法（アルゴリズム）に基づく機械学習によるプログラムである。

【0065】

ここで、所定の技法（アルゴリズム）としては、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等のニューラルネットワーク、決定木、ランダムフォレスト、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）、ナイーブベイズ分類器、ｋ近傍法、ｋ平均法、アダブースト、マルコフ連鎖、のうちの少なくとも一つを含む。

【0066】

すなわち、第１の学習済みモデル２０４は、入力された画像データに対して、所定の学習済みパラメータに基づく演算を行い、当該画像データが撮影されたエリアを出力するように、情報処理装置（コンピュータ）を機能させるためのプログラムである。同様に、第２の学習済みモデル２０５＿１～２０５＿ｎは、入力された画像データに対して、所定の学習済みパラメータに基づく演算を行い、当該画像データが撮影された場所および方位を出力するように、情報処理装置（コンピュータ）を機能させるためのプログラムである。

【0067】

ここで、学習済みパラメータとは、所定のフォルダ２０２＿１～２０２＿ｎおよび２０３＿１～２０３＿ｎに格納された学習用画像データを学習用プログラム（上記所定のアルゴリズムに基づくプログラム）に対する入力として用いることにより、画像データが撮影されたエリアを出力するように機械的に調整されたパラメータである。例えば、ニューラルネットワークの場合、学習済みパラメータは、重み付け係数等の変数である。出力されるエリアには、そのエリアである確率を含むことができる。

【0068】

図７は第１の学習済みモデル２０４または第２の学習済みモデル２０５＿１～２０５＿ｎのアルゴリズムの一例を示す図である。図７は、ニューラルネットワークの場合の例を示す。第１の学習済みモデル２０４と第２の学習済みモデル２０５＿１～２０５＿ｎとはそれぞれ、複数のノードＮ１～Ｎ５・・・からなる入力層と複数のノードＭ１～Ｍ５・・・からなる出力層との間に、複数の層の中間層が存在し、それぞれのノードが隣接する層のノードと任意の重み付けパラメータにより接続された構成のアルゴリズムである。例えば、撮影されたエリアまたは場所および方位をラベリングした画像データをラスタスキャンして、ラスタスキャンした各ブロック（ピクセル）を入力層に入力すると、入力に対応した出力に基づいて重み付けパラメータの値を調整する。すなわち、学習済みモデル生成部２２Ｂは、学習に使用する画像データと正解データ（識別情報：ラベル化されたエリアまたは場所および方位）を用い、入力による結果と正解データとの誤差を誤差逆伝搬法により、上記学習済みパラメータを逐次更新して、学習済みモデルである第１の学習済みモデル２０４または第２の学習済みモデル２０５＿１～２０５＿ｎを生成する。

【0069】

第１の学習済みモデル２０４または第２の学習済みモデル２０５＿１～２０５＿ｎには、上述した学習済みパラメータに加えて、推論プログラムが含まれていてもよい。推論プログラムとは、上記学習済みパラメータを組み込んで、入力された画像データに対して一定の結果を出力するためのプログラムである。

【0070】

学習済みモデル生成部２２Ｂによって生成された第１の学習済みモデル２０４または第２の学習済みモデル２０５＿１～２０５＿ｎは、記憶部２７に記憶されるとともに、画像検査装置３の記憶部３８に第１の学習済みモデル２０４または第２の学習済みモデル２０５＿１～２０５＿ｎとして登録される。例えば、画像検査装置３が学習済みモデル生成装置２と通信を行うことにより、画像検査装置３が学習済みモデル生成装置２から第１の学習済みモデル２０４または第２の学習済みモデル２０５＿１～２０５＿ｎを取得し、第１の学習済みモデル３０５または第２の学習済みモデル３０６＿１～３０６＿ｎとして記憶部３８に記憶する。

【0071】

これにより、画像検査装置３は、記憶部３８に記憶された第１の学習済みモデル３０５または第２の学習済みモデル３０６＿１～３０６＿ｎ）を用いて、入力した画像データが撮影されたエリア、場所、位置を識別することが可能となる。

【0072】

なお、学習済みモデル生成装置２における学習用画像データ生成部２２Ａと学習済みモデル生成部２２Ｂとは、一つのプロセッサによるプログラム処理によって実現してもよいが、それぞれ別個のプロセッサのプログラム処理によって実現してもよい。すなわち、学習済みモデル生成装置２のハードウェア資源の一つである演算装置１０１として、学習用画像データの生成のためのデータ処理を実行する少なくとも一つのプロセッサと、学習済みモデルの生成のためのデータ処理を実行する少なくとも一つのプロセッサとを別々に設けてもよい。

【0073】

図８は、実施の形態１に係る画像検査装置３の機能ブロック構成を示す図である。

【0074】

図９は、実施の形態１に係る画像検査装置３のハードウェア構成を示す図である。

【0075】

画像検査装置３は、例えば学習済みモデル生成装置２と同様に、ＰＣ（パーソナルコンピュータ）やサーバ等の情報処理装置（コンピュータ）であって、インストールされた画像検査用プログラムにしたがって、学習済みモデルを用いて入力された画像データが撮影されたエリア、場所、方位を特定することによって、所定の検出対象物が含まれる画像データを検出する装置である。このように、画像検査装置３はコンピュータで動作する画像検査用プログラムとして実装されてもよい。

【0076】

図８に示すように、画像検査装置３は、機能ブロックとして、学習済みモデルを用いて入力された画像データについて所定の検出対象物が含まれる画像データを検出するための各種データ処理を行うための機能ブロックとして、通信部３１と、検査データ受付部３３、撮影状態特定部３４、検出対象判定部３５、画像データ削除部３６、および検査結果データ送信処理部３７を含む画像検査部３２と、記憶部３８とを有している。これらの各機能ブロックは、画像検査装置３としての情報処理装置を構成するハードウェア資源が、上記情報処理装置にインストールされたソフトウエア（画像検査用プログラム）と協働することによって、実現される。

【0077】

図９に示すように、画像検査装置３は、学習済みモデル生成装置２と同様に、ハードウェア資源として、演算装置１０１、記憶装置１０２、入力装置１０３、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）装置１０４、出力装置１０５、およびバス１０６を備えている。

【0078】

演算装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のプロセッサによって構成されている。記憶装置１０２は、演算装置１０１に各種のデータ処理を実行させるためのプログラム１０２３と、演算装置１０１によるデータ処理で利用されるパラメータや演算結果等のデータ１０２４とを記憶する記憶領域を有し、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ、およびフラッシュメモリ等から構成されている。

【0079】

ここで、プログラム１０２３は、コンピュータ（プロセッサ）を画像検査装置３に係る各機能部として機能させるための画像検査用プログラムを含み、例えば、記憶装置１０２に予めインストールされている。

【0080】

また、データ１０２４は、後述する検査対象画像データ３０１＿１～３０１＿ｑ（ｑは２以上の整数）、識別結果３０２＿１～３０２＿ｒ（ｒは２以上の整数）、削除対象判定用データ３０３、検査結果データ３０４＿１～３０４＿ｓ（ｓは２以上の整数）、第１の学習済みモデル３０５、および第２の学習済みモデル３０６＿１～３０６＿ｎ（ｎは２以上の整数）等を含む。

【0081】

なお、プログラム１０２３およびデータ１０２４は、ネットワークを介して流通可能であってもよいし、ＣＤ－ＲＯＭ等のコンピュータが読み取り可能な記憶媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に書き込まれて流通可能であってもよい。

【0082】

入力装置１０３は、外部から情報の入力を検出する機能部であり、例えばキーボード、マウス、ポインティングデバイス、ボタン、またはタッチパネル等から構成されている。Ｉ／Ｆ装置１０４は、外部との情報の送受を行う機能部であり、有線または無線によって通信を行うための通信制御回路や入出力ポート、アンテナ等から構成されている。

【0083】

出力装置１０５は、演算装置１０１によるデータ処理によって得られた情報等を出力する機能部である。出力装置１０５としては、ＳＳＤやＨＤＤ等の外部記憶装置や、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）および有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示装置を例示することができる。バス１０６は、演算装置１０１、記憶装置１０２、入力装置１０３、Ｉ／Ｆ装置１０４、および出力装置１０５を相互に接続し、これらの装置間でデータの授受を可能にする機能部である。

【0084】

画像検査装置３は、演算装置１０１が記憶装置１０２に記憶されたプログラム１０２３１に従って演算を実行して、記憶装置１０２、入力装置１０３、Ｉ／Ｆ装置１０４、出力装置１０５、およびバス１０６を制御することにより、図８に示した画像検査装置３の各機能ブロック（通信部３１と、検査データ受付部３３、撮影状態特定部３４、検出対象判定部３５、画像データ削除部３６、および検査結果データ送信処理部３７を含む画像検査部３２と、記憶部３８と）が実現される。

【0085】

以下、画像検査装置３の各機能ブロックについて説明する。

【0086】

通信部３１は、外部の情報処理装置と通信を行うための機能部である。

【0087】

具体的に、通信部３１は、ネットワーク４に接続されて、ネットワーク４を介して複数のクライアント端末装置５ａ、５ｂ、５ｃ、５ｄ・・・等の外部の情報処理装置との間でデータの送受信を行う。

【0088】

また、通信部３１は、画像検査システム１内の学習済みモデル生成装置２との間で、上述した所定のネットワーク（例えばＬＡＮ）を介してデータの送受信を行う。

【0089】

検査データ受付部３３は、検査対象となる画像データを受け付ける機能部である。ここで検査対象となる画像データを受け付けるとは、検査対象となる画像データを画像検査装置３に外部から入力されることを意味し、検査対象となる画像データを取得することも含む。検査対象となる画像データは、ネットワーク４を介して複数のクライアント端末装置５ａ、５ｂ、５ｃ、５ｄ・・・から入力することもできるし、画像検査装置３に直接入力することもできる。検査データ受付部３３は、受け付けた検査対象となる画像データを検査対象画像データ３０１＿１～３０１＿ｑとして記憶部３８に記憶する。

【0090】

撮影状態特定部３４は、記憶部３８に記憶された検査対象画像データ３０１＿１～３０１＿ｑを入力として、学習済みモデル生成装置２によって生成された第１の学習済みモデル３０５および第２の学習済みモデル３０６＿１～３０６＿ｎ（アルゴリズム）を用いて、検査対象画像データ３０１＿１～３０１＿ｑが撮影されたエリア、場所、方位の識別を行う機能部である。撮影状態特定部３４は、検査対象画像データと識別されたエリア、場所、方位をひもづけて識別結果３０２＿１～３０２＿ｒとして記憶部３８に記憶することができる。

【0091】

具体的に、撮影状態特定部３４は、第１の学習済みモデル３０５により検査対象画像データ３０１＿１～３０１＿ｑが撮影されたエリアを識別する。さらに第２の学習済みモデル３０６＿１～３０６＿ｎのうちで識別されたエリアに対応する第２の学習済みモデル３０６により検査対象画像データ３０１＿１～３０１＿ｑが撮影された場所と方位を識別する。

【0092】

ここで、記憶部３８に記憶されている第１の学習済みモデル３０５および第２の学習済みモデル３０６＿１～３０６＿ｎは、学習済みモデル生成装置２によって生成され、記憶部２７に記憶された第１の学習済みモデル２０４または第２の学習済みモデル２０５＿１～２０５＿ｎと同じものである。これは例えば、画像検査装置３の撮影状態特定部３４が学習済みモデル生成装置２と通信を行うことにより、学習済みモデル生成装置２の記憶部２７から第１の学習済みモデル２０４または第２の学習済みモデル２０５＿１～２０５＿ｎを取得し、第１の学習済みモデル３０５または第２の学習済みモデル３０６＿１～３０６＿ｎとして記憶部３８に記憶されたものである。

【0093】

図１０は第１の学習済みモデル３０５（２０４）の機能を説明する図であり、図１１は第２の学習済みモデル３０６＿１～３０６＿ｎ（２０５＿１～２０５＿ｎ）の機能を説明する図である。

【0094】

図１０、１１において、左右の矢符によって学習済みモデル生成装置２における機械学習を示し、上下の矢符によって画像検査装置３における識別を示している。図１０、１１の左右の矢符で示すように、学習済みモデル生成装置２における機械学習では、ラベリングされた画像データが入力され、パラメータが調整される。一方で、図１０、１１の上下の矢符で示すように、画像検査装置３における識別では、検査対象画像データが入力され、（第１の学習済みモデルの場合）その撮像エリアまたは（第２の学習済みモデルの場合）その撮像場所および方位が出力される。

【0095】

検出対象判定部３５は、識別結果３０２＿１～３０２＿ｒの画像データにかかるエリア、場所、方位の組み合わせが削除対象判定用データ３０３に含まれるエリア、場所、方位の組み合わせと一致するか否かに基づいて、所定の検出対象物が含まれる画像データの検出を行う機能部である。削除対象判定用データ３０３に含まれるエリア、場所、方位の組み合わせは、所定の検出対象物が含まれる画像データが撮影され得るエリア、場所、方位の組み合わせとしてあらかじめ記憶されている。

【0096】

画像データ削除部３６は、所定の検出対象物が含まれる画像データとして検出された画像データを削除する機能部である。画像データ削除部３６は、削除されなかった画像データを検査結果データ３０４＿１～３０４＿ｓとして記憶部３８に記憶する。

【0097】

検査結果データ送信処理部３７は、必要に応じて検査結果データ３０４＿１～３０４＿ｓをクライアント端末装置５ａ、５ｂ、５ｃ、５ｄ・・・に送信することができる。

【0098】

次に、画像検査システム１による処理の流れを説明する。

【0099】

図１２は、画像検査システム１の学習済みモデル生成装置２による処理の流れを示すフロー図である。図１３は、画像データ生成処理の流れをより詳細に説明する図である。

【0100】

先ず、図１２に示すように、画像検査システム１において、学習済みモデル生成装置２が３６０度撮像データを取得する（ステップＳ１０１）。３６０度撮像データは、ネットワーク４を介して取得しても良いし、学習済みモデル生成装置２自体に直接入力する態様で取得してもよい。

【0101】

３６０度撮像データが取得されると、学習用画像データ生成部２２Ａは、画像データを生成する（ステップＳ１０３）。画像データの生成は、図１３に示すように、天頂補正部２３における天頂補正処理（ステップＳ２０１）、画像データ生成部２４においてズーム倍率の異なる複数の倍率の画像の生成（ステップＳ２０３）、複数の画角での画像データの切り出し（ステップＳ２０５）を含む。

【0102】

切り出された画像データは、第１の分類部２５Ａによって、エリアごとに分類され（ステップＳ１０５）、第２の分類部２５Ｂによって、場所および方位ごとに分類される（ステップＳ１０７）。

【0103】

次いで、分類された画像データは、第１の学習済みモデル生成部２６Ａにより第１の学習済みモデル２０４において第１の学習（機械学習）がなされ（ステップＳ１０９）、第２の学習済みモデル生成部２６Ｂにより第２の学習済みモデル２０５＿１～２０５＿ｎにおいて第２の学習（機械学習）がなされる（ステップＳ１１１）。

【0104】

以上の処理により、画像検査システム１の学習済みモデル生成装置２において第１の学習済みモデル２０４および第２の学習済みモデル２０５＿１～２０５＿ｎが生成される。

【0105】

図１４は、画像検査システム１の画像検査装置３による第１の処理の流れを示すフロー図である。第１の処理流れは、検査対象画像データを受け付けてから識別するまでの処理である。

【0106】

図１４に示すように、画像検査装置３において、検査データ受付部３３は、検査対象画像データを受け付ける（ステップＳ３０１）。検査対象画像データを受け付けることは撮影画像を取得することを含むことができる。

【0107】

撮影状態特定部３４は、検査対象画像データを第１の学習済みモデル３０５に入力し（ステップＳ３０３）、エリアの出力（ステップＳ３０５）がなされるので、出力されたエリアに応じた第２の学習済みモデルに検査対象画像データをさらに入力する（ステップＳ３０７）。その結果、第２の学習済みモデルから場所および方位が出力される（ステップＳ３０９）。出力された画像データのエリア、場所、方位は画像データとひもづけて識別結果３０２＿１～３０２＿ｒとして記憶部３８に記憶される。

【0108】

図１５は、画像検査システム１の画像検査装置３による第２の処理の流れを示すフロー図である。第２の処理流れは、検査対象画像データを識別してから所定の検出対象物が含まれる画像データを削除するまでの処理である。

【0109】

図１４に示すように、画像検査装置３において、検出対象判定部３５は、識別結果３０２＿１～３０２＿ｒを取得し（ステップＳ４０１）。削除対象判定用データ３０３に含まれるエリア、場所、方位の組み合わせと照合する（ステップＳ４０３）。

【0110】

ステップＳ４０３の照合の結果、削除対象判定用データ３０３に含まれるエリア、場所、方位の組み合わせと一致すると判定された場合（ステップＳ４０５：Ｙｅｓ）、画像データ削除部３６は、一致と判定された画像データを識別結果３０２＿１～３０２＿ｒから削除する（ステップＳ４０７）。画像データ削除部３６は、削除されなかった画像データを検査結果データ３０４＿１～３０４＿ｓとして記憶部３８に記憶することができる。
画像検査装置３は、必要に応じて、記憶部３８に記憶された検査結果データ３０４＿１～３０４＿ｓをクライアント端末装置５ａ～５ｄ等に出力することができる。

【0111】

以上の実施の形態によれば、ＧＰＳなどにより位置特定が困難な建物内でも、簡易な構成にもかかわらず、撮影画像に基づいてその撮影場所等を素早く特定することができる。例えば、原子力発電所における建物内において、撮影されるべきでない設備を所定の検出対象物することができる。この場合、原子力発電所における建物内において撮影された画像データを検出対象の画像データとして、画像検査システム１の画像検査装置３に入力し、検出対象の画像データのエリア、場所、方位（撮影場所等）を識別し、識別したエリア、場所、方位の組み合わせ（撮影場所等）から、撮影されるべきでない設備が検出対象の画像データに含まれるか否かを判定し、撮影されるべきでない設備を含むと判定された画像データを削除することができる。

【0112】

（実施形態の変形例）
以上の実施形態においては、所定の検出対象物が含まれる画像データにもとづいて、画像データの削除を行っていたが、これに限定されず、所定の処理をすることができる。

【0113】

また、画像検査システム１、学習済みモデル生成装置２、画像検査装置３のそれぞれの構成も上記の構成は一例にすぎず、具体的構成はこれに限定されない。

【0114】

さらに、上述のフローチャートは、動作を説明するための一例を示すものであって、これに限定されない。すなわち、フローチャートの各図に示したステップは具体例であって、このフローに限定されるものではない。例えば、一部の処理の順番が変更されてもよいし、各処理間に他の処理が挿入されてもよいし、一部の処理が並列に行われてもよい。

【0115】

本実施の形態においては、第１の学習済みモデルと第２の学習済みモデルとをそれぞれ別の学習済みモデルとして記載しているが、第１の学習済みモデルの出力に応じて、複数の第２の学習済みモデルのうちの手適切な1つに再度入力をする構成を設けることによって、第１の学習済みモデルと第２の学習済みモデルとを備えた学習済みモデルとして構成してもよい。

【符号の説明】

【0116】

１…画像検査システム、２…学習済みモデル生成装置、３…画像検査装置、４…ネットワーク、５ａ…クライアント端末装置、５ｂ…クライアント端末装置、５ｃ…クライアント端末装置、５ｄ…クライアント端末装置、５１…撮像装置、２１…通信部、２２Ａ…学習用画像データ生成部、２２Ｂ…学習済みモデル生成部、２３…天頂補正部、２４…画像データ生成部、２５Ａ…第１の分類部、２５Ｂ…第２の分類部、２６Ａ…第１の学習済みモデル生成部、２６Ｂ…第２の学習済みモデル生成部、２７…記憶部、２０１…３６０度撮像データ、２０２…エリアフォルダ、２０３…場所、方位フォルダ、２０４…第１の学習済みモデル、２０５…第２の学習済みモデル、１０１…演算装置、１０２…記憶装置、１０２１…プログラム、１０２２…データ、１０３…入力装置、１０４…Ｉ／Ｆ装置、１０５…出力装置、１０６…バス、１０２３…プログラム、１０２４…データ、３１…通信部、３２…画像検査部、３３…検査データ受付部、３４…撮影状態特定部、３５…検出対象判定部、３６…画像データ削除部、３７…検査結果データ送信処理部、３８…記憶部、３０１…検査対象画像データ、３０２…識別結果、３０３…削除対象判定用データ、３０４…検査結果データ、３０５…第１の学習済みモデル、３０６…第２の学習済みモデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】