特開 2023-19684 画像処理装置、画像処理システム、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023019684

(43)【公開日】2023-02-09

(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230202BHJP

【ＦＩ】

G06T7/00 610C

G06T7/00 350C

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021124612

(22)【出願日】2021-07-29

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】大山 芽依

(72)【発明者】

【氏名】佐藤 陽介

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA09

5L096FA67

5L096GA08

5L096GA51

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

【課題】所定のステージ上とは異なる場所で撮影した対象物の撮影画像を用いて、３次元のＣＡＤモデルと対象物とを比較できる画像処理装置を提供する。
【解決手段】画像処理装置は、対象物の撮影画像に基づいて、前記対象物の姿勢情報を取得する情報取得部と、前記対象物の３次元データと前記姿勢情報とを用いて、前記対象物の基準画像を生成する基準画像生成部と、前記撮影画像に基づく比較画像と前記基準画像とを、対応点を合わせて重ね合わせたマッチング画像を出力する画像マッチング部と、を有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

対象物の撮影画像に基づいて、前記対象物の姿勢情報を取得する情報取得部と、
前記対象物の３次元データと前記姿勢情報とを用いて、前記対象物の基準画像を生成する基準画像生成部と、
前記撮影画像に基づく比較画像と前記基準画像とを、対応点を合わせて重ね合わせたマッチング画像を出力する画像マッチング部と、
を有する、画像処理装置。

【請求項2】

前記情報取得部は、前記撮影画像に基づいて、前記対象物の画像特徴量と前記姿勢情報とを取得し、
前記画像処理装置は、前記姿勢情報と前記画像特徴量とを用いて、前記比較画像を生成する画像生成部を有する、
請求項１に記載の画像処理装置。

【請求項3】

前記情報取得部は、前記撮影画像を、学習済の第１の深層学習モデルに入力して、前記対象物の前記姿勢情報と前記画像特徴量とを取得する、請求項２に記載の画像処理装置。

【請求項4】

前記第１の深層学習モデルは、前記対象物の３次元データを用いて作成した、複数の姿勢、及び撮影条件における前記対象物の学習用画像と、当該対象物の姿勢を示す正解姿勢情報とを用いて学習済の深層学習モデルである、請求項３に記載の画像処理装置。

【請求項5】

前記画像生成部は、前記姿勢情報と前記画像特徴量とを、学習済の第２の深層学習モデルに入力することにより、前記比較画像を生成する、請求項３又は４に記載の画像処理装置。

【請求項6】

前記第２の深層学習モデルは、前記第１の深層学習モデルが出力する前記姿勢情報及び前記画像特徴量と、前記対象物のレンダリング画像とを用いて、学習済の深層学習モデルである、請求項５に記載の画像処理装置。

【請求項7】

前記情報取得部は、前記対象物の３次元データに基づくワイヤフレーム画像と、前記対象物の撮影画像から抽出した線分画像とを比較して、前記姿勢情報を取得する、請求項１に記載の画像処理装置。

【請求項8】

前記画像マッチング部は、前記比較画像と前記基準画像との差分を表す前記マッチング画像を出力する、請求項１乃至７のいずれか一項に記載の画像処理装置。

【請求項9】

前記比較画像と前記基準画像との差分を数値化し、閾値と比較して前記対象物の良否を判定する判定部を有する、請求項１乃至８のいずれか一項に記載の画像処理装置。

【請求項10】

前記対象物、及び前記対象物の周辺を撮影した入力画像を取得し、前記入力画像から前記撮影画像を抽出するとともに、前記対象物の情報を取得する画像取得部を有する、請求項１乃至９のいずれか一項に記載の画像処理装置。

【請求項11】

請求項３又は４に記載の画像処理装置を含む画像処理システムであって、
前記対象物の３次元データを用いて作成した、複数の姿勢、及び撮影条件における前記対象物の学習用画像と、当該対象物の姿勢を示す正解姿勢情報とを用いて、前記第１の深層学習モデルの学習を制御する学習制御部を有する、画像処理システム。

【請求項12】

請求項５又は６に記載の画像処理装置を含む画像処理システムであって、
前記第１の深層学習モデルが出力する前記姿勢情報と前記画像特徴量と、前記対象物のレンダリング画像とを用いて、前記第２の深層学習モデルの学習を制御する学習制御部を有する、画像処理システム。

【請求項13】

対象物の撮影画像に基づいて、前記対象物の姿勢情報を取得する情報取得部と、
前記対象物の３次元データと前記姿勢情報とを用いて、前記対象物の基準画像を生成する基準画像生成部と、
前記撮影画像に基づく比較画像と前記基準画像とを、対応点を合わせて重ね合わせたマッチング画像を出力する画像マッチング部と、
を有する、画像処理システム。

【請求項14】

画像処理装置が、
対象物の撮影画像に基づいて、前記対象物の姿勢情報を取得する処理と、
前記対象物の３次元データと前記姿勢情報とを用いて、前記対象物の基準画像を生成する処理と、
前記撮影画像に基づく比較画像と前記基準画像とを、対応点を合わせて重ね合わせたマッチング画像を出力する処理と、
を実行する、画像処理方法。

【請求項15】

コンピュータに、
対象物の撮影画像に基づいて、前記対象物の姿勢情報を取得する処理と、
前記対象物の３次元データと前記姿勢情報とを用いて、前記対象物の基準画像を生成する処理と、
前記撮影画像に基づく比較画像と前記基準画像とを、対応点を合わせて重ね合わせたマッチング画像を出力する処理と、
を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

非破壊検査において、検査の対象となる対象物と設計値との差を確認するために、設計情報を有する３Ｄ（Three Dimensions）のＣＡＤ（Computer Aided Design）モデルを利用して、対象物の撮影画像との差分を比較することにより、検査を行うことが行われている。

【0003】

例えば、３ＤのＣＡＤモデルを方向付けし、試験対象物をステージ上においてＣＡＤモデルの方向とほぼマッチングする方向に配置し、ＣＡＤモデルと試験対象物とを、対応点を合わせて重ね合わせを行う技術が知られている（例えば、特許文献１参照）。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に開示された技術では、対象物を所定のステージ上で、３次元のＣＡＤモデルとほぼマッチングする方向に配置しないと、ＣＡＤモデルと対象物とを比較することができないという問題がある。

【0005】

本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、所定のステージ上とは異なる場所で撮影した対象物の撮影画像を用いて、３次元のＣＡＤモデルと対象物とを比較できる画像処理装置を提供する。

【課題を解決するための手段】

【0006】

上記の課題を解決するため、一実施形態に係る画像処理装置は、対象物の撮影画像に基づいて、前記対象物の姿勢情報を取得する情報取得部と、前記対象物の３次元データと前記姿勢情報とを用いて、前記対象物の基準画像を生成する基準画像生成部と、前記撮影画像に基づく比較画像と前記基準画像とを、対応点を合わせて重ね合わせたマッチング画像を出力する画像マッチング部と、を有する。

【発明の効果】

【0007】

本発明の一実施形態によれば、所定のステージ上とは異なる場所で撮影した対象物の撮影画像を用いて、３次元のＣＡＤモデルと対象物とを比較できる画像処理装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係る画像処理システムのシステム構成の例を示す図である。

【図2】一実施形態に係るコンピュータのハードウェア構成の例を示す図である。

【図3】一実施形態に係る画像処理装置の機能構成の例を示す図である。

【図4】第１の実施形態に係る比較画像生成部の機能構成の例を示す図（１）である。

【図5】第１の実施形態に係る画像マッチング処理の例を示すフローチャートである。

【図6】第１の実施形態に係る各画像のイメージを示す図である。

【図7】第１の実施形態に係る比較画像生成部の機能構成の例を示す図（２）である。

【図8】第１の実施形態に係る学習データについて説明するための図である。

【図9】第１の実施形態に係る学習処理の例を示すフローチャートである。

【図10】第２の実施形態に係る姿勢情報の取得処理について説明するための図である。

【図11】第２の実施形態に係る姿勢情報の取得処理の例を示すフローチャートである。

【図12】第２の実施形態に係る画像マッチング処理の例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
＜システム構成＞
図１は、一実施形態に係る画像処理システムのシステム構成の例を示す図である。画像処理システム１は、一例として、図１に示すように、組立作業者１１が組立を行う対象物１２を撮影するカメラ１１０と、検査担当者１３が利用する検査端末１２０と、画像処理装置１００とを含む。

【0010】

カメラ１１０は、組立作業中に対象物１２を撮影した画像を、通信ネットワーク１０を介して、画像処理装置１００に送信する。

【0011】

画像処理装置１００は、コンピュータ、又は複数のコンピュータを含むシステムである。画像処理装置１００は、通信ネットワーク１０を介してカメラ１１０から受信した入力画像に基づいて、３次元のＣＡＤモデルと対象物１２とを比較するマッチング画像を生成し、生成したマッチング画像を、通信ネットワーク１０を介して検査端末１２０へ送信する。

【0012】

検査端末１２０は、通信ネットワーク１０を介して、画像処理装置１００から受信したマッチング画像を、例えば、ディスプレイに表示する。検査担当者１３は、検査端末１２０がディスプレイに表示したマッチング画像から、組立作業者１１が組み立てた対象物の良否（良品であるか、不良品であるか）を判断する。

【0013】

別の一例として、画像処理装置１００は、３次元のＣＡＤモデルと対象物１２との差分を数値化して、閾値と比較して対象物１２の良否を判定し、判定結果をマッチング画像とともに検査端末１２０に送信しても良い。

【0014】

なお、図１に示す画像処理システム１のシステム構成は一例である。例えば、小規模なシステムでは、画像処理装置１００と検査端末１２０とは、同じ情報処理装置であっても良い。

【0015】

＜ハードウェア構成＞
図１の画像処理装置１００、及び検査端末１２０は、例えば、図２に示すようなコンピュータ２００のハードウェア構成を有している。なお、画像処理装置１００は、複数のコンピュータ２００によって構成されるものであっても良い。

【0016】

図２は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ２００は、例えば、図２に示されるように、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、ＨＤ（Hard Disk）２０４、ＨＤＤ（Hard Disk Drive）コントローラ２０５、ディスプレイ２０６、外部機器接続Ｉ／Ｆ（Interface）２０７、ネットワークＩ／Ｆ２０８、キーボード２０９、ポインティングデバイス２１０、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable)ドライブ２１２、メディアＩ／Ｆ２１４、ＧＰＵ（Graphics Processing Unit）２１５、及びバスライン２１６等を備えている。

【0017】

これらのうち、ＣＰＵ２０１は、コンピュータ２００全体の動作を制御する。ＲＯＭ２０２は、例えば、ＩＰＬ（Initial Program Loader）等のコンピュータ２００の起動に用いられるプログラムを記憶する。ＲＡＭ２０３は、例えば、ＣＰＵ２０１のワークエリア等として使用される。ＨＤ２０４は、例えば、ＯＳ（Operating System）、アプリケーション、デバイスドライバ等のプログラムや、各種データを記憶する。ＨＤＤコントローラ２０５は、例えば、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出し又は書き込みを制御する。

【0018】

ディスプレイ２０６は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。なお、ディスプレイ２０６は、コンピュータ２００の外部に設けられていても良い。外部機器接続Ｉ／Ｆ２０７は、コンピュータ２００に様々な外部装置を接続する、例えば、ＵＳＢ（Universal Serial Bus）等のインタフェースである。ネットワークＩ／Ｆ２０８は、例えば、通信ネットワーク１０等を利用して、他の装置と通信するためのインタフェースである。

【0019】

キーボード２０９は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス２１０は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行なう入力手段の一種である。なお、キーボード２０９、及びポインティングデバイス２１０は、コンピュータ２００の外部に設けられていても良い。ＤＶＤ－ＲＷドライブ２１２は、着脱可能な記憶媒体の一例としてのＤＶＤ－ＲＷ２１１に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷ２１１は、ＤＶＤ－ＲＷに限らず、他の記憶媒体であっても良い。

【0020】

メディアＩ／Ｆ２１４は、フラッシュメモリ等のメディア２１３に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＵ２１５は、例えば、３Ｄグラフィック処理、又は画像特徴量の抽出処理等の画像処理を、ＣＰＵ２０１よりも高速に実行するプロセッサである。バスライン２１６は、上記の各構成要素を電気的に接続するためのアドレスバス、データバス及び各種の制御信号等を含む。

【0021】

なお、図２に示すコンピュータ２００のハードウェア構成は一例である。コンピュータ２００は、例えば、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ネットワークＩ／Ｆ２０８、及びバスライン２１６を有していれば、他は任意の構成であって良い。

【0022】

＜機能構成＞
図３は、一実施形態に係る画像処理装置の機能構成の例を示す図である。画像処理装置１００は、ＣＰＵ２０１が所定のプログラムを実行することにより、例えば、画像取得部３０１、ＣＡＤデータ管理部３０２、比較画像生成部３０３、基準画像生成部３０４、画像マッチング部３０５、及び判定部３０６等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。

【0023】

画像取得部３０１は、カメラ１１０から、通信ネットワーク１０を介して受信した入力画像から、対象物１２の撮影画像と、対象物１２の情報を取得する画像取得処理を実行する。ここで、対象物１２の撮影画像は、例えば、入力画像から対象物１２が写っている領域をトリミングした画像である。画像取得部３０１は、入力画像から、例えば、物体位置種類推定技術等によって得られた領域を撮影画像からトリミングすることによって対象物１２の撮影画像を取得し、取得した対象物１２の撮影画像を比較画像生成部３０３に送信する。なお、画像取得部３０１は、例えば、一般的なパターンマッチング技術等を利用して、入力画像から対象物１２が写っている領域を特定し、特定した領域をトリミングすることにより対象物１２の撮影画像を取得しても良い。

【0024】

また、対象物１２の情報は、例えば、対象物１２を特定するための識別情報、又は名前等の情報である。画像取得部３０１は、例えば、対象物１２の画像から、深層学習等を用いた物体位置種類推定手法を利用して対象物１２を特定し、特定した対象物１２の情報をＣＡＤデータ管理部３０２に送信する。なお、画像取得部３０１は、例えば、一般的なパターンマッチング技術等を利用して対象物１２を特定しても良いし、画像処理装置１００に対象物１２の情報が予め設定されている場合には、対象物１２の情報を取得する処理を省略しても良い。

【0025】

ＣＡＤデータ管理部３０２は、対象物１２の３次元のＣＡＤデータ（３次元データ）を、例えば、画像処理装置１００が備えるストレージデバイス等に記憶して管理する。また、ＣＡＤデータ管理部３０２は、画像取得部３０１から対象物１２の情報を受信すると、当該対象物１２の３次元のＣＡＤデータを、例えば、比較画像生成部３０３、又は基準画像生成部３０４等に送信する。なお、ＣＡＤデータ管理部３０２は、対象物１２の３次元のＣＡＤデータを、画像処理装置１００が備えるストレージデバイスに代えて、通信ネットワーク１０を介して通信可能な外部サーバ、又はクラウドサービス等から取得しても良い。

【0026】

比較画像生成部３０３は、画像取得部３０１から受信した対象物１２の撮影画像に基づいて、対象物１２の比較画像、及び対象物１２の姿勢情報を生成する。ここで、比較画像は、一例として、対象物１２の撮影画像から、背景、及び光の反射等の撮影条件を補正した画像である。また、姿勢情報は、対象物１２の撮影画像において、対象物１２の３次元の向きを示すベクトル情報である。なお、対象物１２の比較画像と姿勢情報の生成方法については、複数の実施形態を例示して後述する。

【0027】

基準画像生成部３０４は、ＣＡＤデータ管理部３０２から受信した対象物１２の３次元のＣＡＤデータ（３次元データ）と、比較画像生成部３０３から受信した対象物１２の姿勢情報とを用いて、対象物１２の基準画像を生成する基準画像生成処理を実行する。例えば、基準画像生成部３０４は、姿勢情報を用いて、３次元のＣＡＤデータを回転させてレンダリングを行うことにより基準画像を生成し、生成した基準画像を画像マッチング部３０５に送信する。

【0028】

画像マッチング部３０５は、比較画像生成部３０３から受信した対象物１２の比較画像と、基準画像生成部３０４から受信した基準画像とを、対応点を合わせて重ね合わせたマッチング画像を出力する画像マッチング処理を実行する。このマッチング画像は、比較画像と基準画像との差分を表す画像であり、例えば、比較画像と基準画像の各画素値の差を算出し、算出した各画素値の差分をヒートマップとして表した画像等である。画像マッチング部３０５は、マッチング画像を、例えば、通信ネットワーク１０を介して、検査端末１２０へ送信（出力）する。或いは、画像マッチング部３０５は、マッチング画像を画像処理装置が備えるディスプレイ２０６等に表示（出力）しても良い。

【0029】

判定部３０６は、対象物１２の比較画像と基準画像との差分を数値化し、閾値と比較して対象物１２の良否を判定する判定処理を実行する。なお、判定部３０６はオプションであり、画像処理装置１００は、判定部３０６を有していなくても良い。

【0030】

続いて、比較画像生成部３０３について、複数の実施形態を例示して説明する。

【0031】

［第１の実施形態］
＜比較画像生成部の機能構成＞
（機能構成１）
図４は、第１の実施形態に係る比較画像生成部の機能構成の例を示す図（１）である。この図は、第１の実施形態に係る比較画像生成部３０３の最小構成を示している。図４の例では、比較画像生成部３０３は、情報取得部４１０、情報記憶部４０１、画像生成部４２０、及び比較画像記憶部４０２等を含む。

【0032】

情報取得部４１０は、画像取得部３０１から受信した対象物１２の撮影画像に基づいて、対象物１２の画像特徴量と姿勢情報とを取得する。例えば、情報取得部４１０は、画像取得部３０１から受信した対象物１２の撮影画像を、学習済の第１の深層学習モデル４１１に入力して、対象物１２の画像特徴量と姿勢情報とを取得する。ここで、第１の深層学習モデル４１１は、対象物１２の３次元のＣＡＤデータを用いて作成した、複数の姿勢、及び撮影条件における対象物１２の学習用画像と、当該対象物１２の正解姿勢情報とを用いて予め学習済の深層学習モデルである。なお、第１の深層学習モデルの学習処理については後述する。

【0033】

ここで、画像特徴量は、第１の深層学習モデル４１１によって抽出した画像の特徴を示すベクトルである。例えば、第１の深層学習モデル４１１の出力を２５６次元のベクトルとすると、最初の３次元のベクトルが姿勢情報であり、残りの２５３次元のベクトルが画像特徴量となる。情報取得部４１０は、取得した対象物１２の姿勢情報、及び画像特徴量を、例えば、情報記憶部４０１等に記憶する。

【0034】

情報記憶部４０１は、画像処理装置１００が備えるストレージデバイス等によって実現され、対象物１２の姿勢情報、及び画像特徴量を記憶する。比較画像生成部３０３は、情報記憶部４０１に記憶した対象物１２の姿勢情報を、基準画像生成部３０４に出力する。

【0035】

画像生成部４２０は、情報記憶部４０１に記憶した、対象物１２の姿勢情報と画像特徴量とを用いて、対象物１２の比較画像を生成する。例えば、画像生成部４２０は、対象物１２の姿勢情報と画像特徴量とを、学習済の第２の深層学習モデル４２１に入力することにより、対象物１２の比較画像を生成する。ここで、第２の深層学習モデル４２１は、生成した比較画像と、対象物１２の３次元のＣＡＤデータを用いて作成したレンダリング画像との誤差が、閾値以下となるように予め学習済の深層学習モデルである。

【0036】

ここで、レンダリング画像は、対象物１２の３次元のＣＡＤデータを用いて作成した、対象物１２を複数の姿勢から見た対象物１２の画像である。好ましくは、レンダリング画像には、対象物１２のパーツの一部が欠けていたり、取り付け位置がずれていたりする画像が含まれる。画像生成部４２０は、生成した比較画像を、例えば、比較画像記憶部４０２等に記憶する。

【0037】

比較画像記憶部４０２は、画像処理装置１００が備えるストレージデバイス等によって実現され、対象物１２の比較画像を記憶する。比較画像生成部３０３は、比較画像記憶部４０２に記憶した対象物１２の比較画像を、画像マッチング部３０５等に出力する。

【0038】

＜処理の流れ＞
続いて、第１の実施形態に係る画像処理方法の処理の流れについて説明する。
（画像マッチング処理）
図５は、第１の実施形態に係る画像マッチング処理の例を示すフローチャートである。この処理は、図１に示すように、画像処理装置１００が、カメラ１１０から受信した入力画像に基づいて、３次元のＣＡＤモデルと対象物１２とを比較するマッチング画像を生成し、検査端末１２０に出力する画像マッチング処理の例を示している。

【0039】

ステップＳ５０１において、画像取得部３０１は、通信ネットワーク１０を介して、カメラ１１０からの入力画像を取得する。

【0040】

ステップＳ５０２において、画像取得部３０１は、入力画像から対象物１２が写っている領域をトリミングした対象物１２の撮影画像を取得する。また、画像取得部３０１は、取得した対象物１２の撮影画像に基づいて、対象物１２の情報（例えば、対象物１２の識別情報）を取得する。

【0041】

画像取得部３０１は、取得した対象物１２の撮影画像を比較画像生成部３０３に出力する。また、画像取得部３０１は、取得した対象物１２の情報をＣＡＤデータ管理部３０２に出力する。これにより、ＣＡＤデータ管理部３０２は、対象物１２の３次元のＣＡＤデータを比較画像生成部３０３、及び基準画像生成部３０４等に出力する。

【0042】

ステップＳ５０３において、比較画像生成部３０３の情報取得部４１０は、画像取得部３０１から受け付けた対象物１２の撮影画像を用いて、対象物１２の姿勢情報と画像特徴量とを取得する。例えば、情報取得部４１０は、対象物１２の撮影画像を、学習済の第１の深層学習モデル４１１に入力して、第１の深層学習モデル４１１が出力する姿勢情報と画像特徴量とを取得し、取得した姿勢情報と画像特徴量を、情報記憶部４０１に記憶する。これにより、比較画像生成部３０３は、情報記憶部４０１に記憶した対象物１２の姿勢情報を、基準画像生成部３０４に出力する。

【0043】

ステップＳ５０４において、比較画像生成部３０３の画像生成部４２０は、情報記憶部４０１に記憶した対象物１２の姿勢情報と画像特徴量とを用いて、対象物１２の比較画像を生成する。例えば、画像生成部４２０は、対象物１２の姿勢情報と画像特徴量とを、学習済の第２の深層学習モデル４２１に入力して、第２の深層学習モデル４２１が出力する比較画像を取得し、取得した比較画像を比較画像記憶部４０２に記憶する。これにより、比較画像生成部３０３は、比較画像記憶部４０２に記憶した対象物１２の比較画像を、画像マッチング部３０５に出力する。

【0044】

また、ステップＳ５０４の処理と並行して、ステップＳ５０５において、基準画像生成部３０４は、ＣＡＤデータ管理部３０２から受け付けた３次元のＣＡＤデータと、比較画像生成部３０３から受け付けた対象物１２の姿勢情報とを用いて、対象物１２の基準画像を生成する。例えば、基準画像生成部３０４は、対象物１２の姿勢情報を用いて、対象物１２の３次元のＣＡＤデータを回転させてレンダリングを行うことにより基準画像を生成し、生成した基準画像を画像マッチング部３０５に出力する。

【0045】

ステップＳ５０６において、画像マッチング部３０５は、比較画像生成部３０３から受信した比較画像と、基準画像生成部３０４から受信した基準画像とを、対応点を合わせて重ね合わせたマッチング画像を生成する。

【0046】

ステップＳ５０７において、画像マッチング部３０５は、生成したマッチング画像を、例えば、検査端末１２０等に出力（送信）する。

【0047】

図６は、第１の実施形態に係る各画像のイメージを示す図である。入力画像６１０は、カメラ１１０が対象物１２、及び対象物１２の周辺を撮影した画像である。この入力画像６１０には、例えば、背景６１１、対象物１２を組み立てる作業台６１２、又は組立作業者等の対象物１２以外の物体が含まれ得る。また、入力画像６１０は、例えば、照明の位置等の撮影条件によって、影、又は反射した光等が映り込み、対象物１２の色等が均一でない場合がある。

【0048】

撮影画像６２０は、入力画像６１０から、対象物１２が映っている部分をトリミングした画像である。従って、撮影画像６２０には、背景６１１、又は撮影条件等の影響が残っている。

【0049】

比較画像６３０は、図５のステップＳ５０４で、比較画像生成部３０３が、対象物１２の画像特徴量と姿勢情報から生成する画像である。従って、比較画像６３０は、背景は削除され、また、一定の照明条件の下での画像となるため、撮影条件による色の不均一性等も削減された画像となる。

【0050】

基準画像６４０は、図５のステップＳ５０５で、基準画像生成部３０４が、対象物１２の基準となる３次元のＣＡＤデータを、対象物１２の姿勢情報を用いてレンダリングした画像である。従って、基準画像６４０は、不要な背景はなく、照明条件の影響もない画像となる。

【0051】

マッチング画像６５０は、図５のステップＳ５０６で、画像マッチング部３０５が、比較画像６３０と、基準画像６４０とを、対応点を合わせて重ね合わせて、比較画像６３０と基準画像６４０との差分を表す画像である。図６の例では、比較画像６３０と基準画像６４０とで、パーツ６５１の取り付け位置が異なっているため、差分となるパーツ６５１が、強調表示（例えば、色分け、又はハッチング等）されている。

【0052】

このように、第１の実施形態によれば、所定のステージ上とは異なる場所で撮影した対象物１２の撮影画像を用いて、３次元のＣＡＤモデルと対象物１２とを比較できる画像処理装置１００を提供することができる。

【0053】

（機能構成２）
図７は、第１の実施形態に係る比較画像生成部の機能構成の例を示す図（２）である。第１の深層学習モデル４１１、及び第２の深層学習モデル４２１は、図５に示した画像マッチング処理を実行する前に、深層学習モデルの学習が必要である。図７は、第１の深層学習モデル４１１、及び第２の深層学習モデル４２１の学習処理を実行する場合における比較画像生成部３０３の機能構成の一例を示している。

【0054】

第１の深層学習モデル４１１、及び第２の深層学習モデル４２１の学習処理を実行する場合、比較画像生成部３０３は、図４で説明した比較画像生成部３０３の機能構成に加えて、学習制御部７００を有している。なお、学習制御部７００は、比較画像生成部３０３の外部に設けられていても良い。

【0055】

学習制御部７００は、例えば、学習データ記憶部７０１、及び誤差計算部７０２等を含む。学習データ記憶部７０１は、例えば、画像処理装置１００が備えるストレージデバイス等によって実現され、第１の深層学習モデル４１１、及び第２の深層学習モデル４２１の学習処理で用いられる学習データを記憶する。学習データ記憶部７０１が記憶する学習データには、例えば、レンダリング画像、学習用画像、及び正解姿勢情報等が含まれる。

【0056】

図８は、第１の実施形態に係る学習データについて説明するための図である。学習データ記憶部７０１は、例えば、図８に示すように、複数のデータＩＤに対応付けて、レンダリング画像、学習用画像、及び正解姿勢情報を記憶した学習データ８００を記憶している。

【0057】

レンダリング画像は、対象物１２の３次元のＣＡＤデータを、正解姿勢情報を用いて回転させてレンダリングした画像である。このレンダリング画像には、例えば、パーツの一部が欠けている画像、パーツの取り付け位置がずれている画像、又は不要なパーツが取り付けられている画像等も含まれる。学習用画像は、レンダリング画像の背景、又は照明条件等を変化させた画像である。正解姿勢情報は、レンダリング画像、及び学習用画像の姿勢を表す姿勢情報である。

【0058】

ここで、図７に戻り、学習制御部７００の説明を続ける。学習制御部７００は、学習データ記憶部７０１に記憶した学習用画像を第１の深層学習モデルに入力する。また、情報取得部４１０は、第１の深層学習モデル４１１が出力する姿勢情報、及び画像特徴量を情報記憶部４０１に記憶する。

【0059】

誤差計算部７０２は、情報取得部４１０が情報記憶部４０１に記憶した姿勢情報と、正解姿勢情報とのベクトルの差である姿勢誤差情報を計算する。学習制御部７００（又は情報取得部４１０）は、姿勢誤差情報の値が、より小さくなるように第１の深層学習モデル４１１の重みを更新する。

【0060】

また、画像生成部４２０は、情報記憶部４０１に記憶した姿勢情報、及び画像特徴量を第２の深層学習モデル４２１に入力して、第２の深層学習モデル４２１が出力する比較画像を取得し、取得した比較画像を比較画像記憶部４０２に記憶する。

【0061】

誤差計算部７０２は、比較画像記憶部４０２に記憶した比較画像と、レンダリング画像との差（例えば、全画素値の差）である画像誤差情報を計算する。学習制御部７００（又は画像生成部４２０）は、画像誤差情報の値が、より小さくなるように第２の深層学習モデルの重みを更新する。

【0062】

（学習処理の流れ）
図９は、第１の実施形態に係る学習処理の例を示すフローチャートである。図９（Ａ）は、例えば、図７で説明した学習制御部７００を有する画像処理装置１００が、第１の深層学習モデル４１１、及び第２の深層学習モデル４２１を学習する学習処理の一例を示している。

【0063】

なお、図９（Ａ）に示す学習処理を実行する画像処理装置１００は、図５で説明した画像マッチング処理を実行する画像処理装置１００と同じ画像処理装置であっても良いし、異なる画像処理装置であっても良い。従って、図５で説明した画像マッチング処理を実行する画像処理装置１００は、図７で説明した学習制御部７００を、有していても良いし、有していなくても良い。

【0064】

ステップＳ９０１において、学習制御部７００は、学習データ記憶部７０１に記憶した学習データを、所定の出力先に出力する。例えば、学習制御部７００は、学習データ記憶部７０１に記憶した学習用画像を、情報取得部４１０に出力するとともに、学習データ記憶部７０１に記憶した正解姿勢情報、及びレンダリング画像を誤差計算部７０２に出力する。

【0065】

ステップＳ９０２において、情報取得部４１０は、第１の深層学習モデル４１１を用いて、姿勢情報と画像特徴量とを取得する。例えば、情報取得部４１０は、学習制御部７００から受け付けた学習用画像を第１の深層学習モデル４１１に入力して、第１の深層学習モデル４１１が出力する姿勢情報、及び画像特徴量を取得し、取得した姿勢情報、及び画像特徴量を情報記憶部４０１に記憶する。

【0066】

ステップＳ９０３において、画像生成部４２０は、第２の深層学習モデル４２１を用いて、比較画像を生成する。例えば、画像生成部４２０は、情報記憶部４０１に記憶した姿勢情報、及び画像特徴量を第２の深層学習モデル４２１に入力して、第２の深層学習モデルが出力する比較画像を取得し、取得した比較画像を比較画像記憶部４０２に記憶する。

【0067】

ステップＳ９０４において、学習制御部７００は、誤差計算部７０２で計算した誤差情報に基づいて、第１の深層学習モデル４１１、及び第２の深層学習モデル４２１の重みを、誤差情報が、より小さくなるように更新する。例えば、誤差計算部７０２は、情報記憶部４０１に記憶した姿勢情報と、正解姿勢情報との誤差である姿勢誤差情報を計算し、学習制御部７００（又は情報取得部４１０）は、姿勢誤差情報が、より小さくなるように、第１の深層学習モデル４１１の重みを更新する。また、誤差計算部７０２は、比較画像記憶部４０２に記憶した比較画像と、レンダリング画像との誤差である画像誤差情報を計算し、学習制御部７００（又は情報取得部４１０）は、画像誤差情報が、より小さくなるように、第２の深層学習モデル４２１の重みを更新する。

【0068】

ステップＳ９０５において、学習制御部７００は、ステップＳ９０１～Ｓ９０４の処理の繰り返し回数ｎが、予め定められた所定の回数Ｎに達したか否かを判断する。繰り返し回数ｎが、所定の回数Ｎに達していない場合、学習制御部７００は、処理をステップＳ９０１に戻して、ステップＳ９０１～Ｓ９０４の処理を再び実行する。一方、繰り返し回数ｎが、所定の回数Ｎに達している場合、学習制御部７００は、処理をステップＳ９０６に移行させる。

【0069】

ステップＳ９０６に移行すると、学習制御部７００は、第１の深層学習モデル４１１、及び第２の深層学習モデル４２１の重みを確定する。

【0070】

図９（Ｂ）は、例えば、図７で説明した学習制御部７００を有する画像処理装置１００が、第１の深層学習モデル４１１、及び第２の深層学習モデル４２１を学習する学習処理の別の一例を示している。なお、図９（Ｂ）に示す処理のうち、ステップＳ９０１～Ａ９０４、及びステップＳ９０６の処理は、図９（Ａ）で説明した処理と同様なので、ここでは説明を省略する。

【0071】

ステップＳ９１０において、学習制御部７００は、姿勢誤差情報、及び画像誤差情報の誤差が、閾値以下になったか否かを判断する。例えば、学習制御部７００は、姿勢誤差情報の誤差が予め設定された第１の閾値以下であり、かつ画像誤差情報の誤差が予め設定された第２の閾値以下である場合、誤差が閾値以下になったと判断する。

【0072】

誤差が閾値以下になっていない場合、学習制御部７００は、処理をステップＳ９０１に戻して、ステップＳ９０１～Ｓ９０４の処理を再び実行する。一方、誤差が閾値以下になった場合、学習制御部７００は、処理をステップＳ９０６に移行させる。

【0073】

図９（Ａ）、又は図９（Ｂ）の処理により、学習制御部７００は、第１の深層学習モデル４１１、及び第２の深層学習モデル４２１を学習することができる。

【0074】

［第２の実施形態］
第１の実施形態では、深層学習モデルを用いて、対象物１２の姿勢情報を取得する場合の処理の例について説明した。第２の実施形態では、３次元のＣＡＤデータから作成したワイヤフレーム画像と、対象物１２の撮影画像（又は入力画像）から抽出した線分とを比較して、対象物１２の姿勢情報を取得する場合の処理の例について説明する。

【0075】

（処理の概要）
図１０は、第２の実施形態に係る姿勢情報の取得処理について説明するための図である。なお、第２の実施形態に係る画像処理装置１００は、例えば、図３に示すような機能構成を有している。

【0076】

比較画像生成部３０３は、例えば、図１０の（Ａ）に示すような、対象物１２の３次元のＣＡＤデータを用いて、例えば、図１０の（Ｂ）に示すように、複数の視点１、２、３、・・・から見た、対象物１２のワイヤフレーム画像を作成する。好ましくは、比較画像生成部３０３は、３次元のＣＡＤデータからワイヤフレームを抽出し、陰線を除去した上でレンダリングしたワイヤフレーム画像を作成する。なお、隠線を除去したワイヤフレーム画像を作成する方法は公知であり、例えば、一般的なＣＡＤソフトウェア等を用いて実行可能である。

【0077】

また、比較画像生成部３０３は、例えば、図１０の（Ｃ）に示すように、複数の視点１、２、３、・・・ごとに、各頂点における線分間の角度を記録した第１の線分角度テーブル１００１を作成する。

【0078】

また、上記の（Ａ）～（Ｃ）の処理と並行して、比較画像生成部３０３は、例えば、図１０の（Ｄ）に示すような入力画像（又は対象物１２の撮影画像）から、直線を抽出して、例えば、図１０（Ｅ）に示すように、線分画像を作成する。なお、画像から直線を抽出する方法は公知であり、例えば、Ｈｏｕｇｈ変換による直線の検出方法が知られている。

【0079】

さらに、比較画像生成部３０３は、例えば、図１０の（Ｆ）に示すように、線分画像の各頂点における線分間の角度を記録した第２の線分角度テーブル１００２を作成する。

【0080】

続いて、比較画像生成部３０３は、第１の線分角度テーブル１００１に含まれる角度分布Ｔ＿ｖ｛１，２，３，・・・｝と、第２の線分角度テーブル１００２に含まれる角度分布Ｔ＿ｉｎｐｕｔとを比較してｖを絞り込むことにより、視点情報Ｖを推定する。これにより、比較画像生成部３０３は、複数の視点１、２、３、・・・のうち、入力画像上の対象物１２の映り方に近い視点情報を得ることができる。

【0081】

ここで、視点情報は、画像、又はＣＡＤデータ等の電子データ上の物体の基準点と、当該電子データ上の視点（例えば、複数の視点１、２、３、・・・等）との間の相対的な位置と回転で表現される。

【0082】

比較画像生成部３０３は、得られた視点情報Ｖを基準にして、Ｖに対応するワイヤフレーム画像Ｖ'に対して、例えば、平行移動、拡大縮小、回転、及びせん断等のアフィン変換Ａを施すことにより、線分画像Ｐ'に近い画像を得ることができる。

【0083】

この線分画像Ｐ'に対応する姿勢情報Ｐが、３次元のＣＡＤデータ、及び入力画像における対象物１２の相対姿勢を表す。ここで、姿勢情報は、基準となる視点情報Ｖと、アフィン変換Ａとの組み合わせを指すが、当該姿勢情報は、単一の視点情報と相互に変換することもできる。

【0084】

＜処理の流れ＞
（姿勢情報の取得処理）
図１１は、第２の実施形態に係る姿勢情報の取得処理の例を示すフローチャートである。なお、基本的な処理内容は、図１０で説明した処理の概要と同様なので、ここでは、同様の処理内容に対する詳細な説明は省略する。

【0085】

ステップＳ１００１において、比較画像生成部３０３は、ＣＡＤデータ管理部３０２から、対象物１２の３次元のＣＡＤデータを取得する。

【0086】

ステップＳ１００２において、比較画像生成部３０３は、対象物１２の３次元のＣＡＤデータから、ワイヤフレームを生成（抽出）する。

【0087】

ステップＳ１００３において、比較画像生成部３０３は、ワイヤフレームの間引きを行っても良い（行わなくても良い）。例えば、比較画像生成部３０３は、複雑なＣＡＤモデルにおいて、視点の推定を精度良く、かつ効率的に行うために、ワイヤフレームを、線分の長さ、及び３次元空間上の分布を考慮して、主要な線分を判別して抽出する間引き処理を行っても良い。

【0088】

ステップＳ１００４において、比較画像生成部３０３は、投影計算により、例えば、図１０の（Ｂ）で説明したように、複数の視点１、２、３、・・・から見た、隠線を除去したワイヤフレーム画像を作成する。

【0089】

ステップＳ１００５において、比較画像生成部３０３は、例えば、図１０の（Ｃ）で説明したように、第１の線分角度テーブル１００１を作成し、データベース（ＤＢ）に記憶する。

【0090】

ステップＳ１００６において、比較画像生成部３０３は、ステップＳ１００４で作成したワイヤフレーム画像をデータベースに記憶する。

【0091】

ステップＳ１０１１において、比較画像生成部３０３は、カメラ１１０からの入力画像（又は、画像取得部３０１からの対象物１２の撮影画像）を取得する。

【0092】

ステップ１０１２において、比較画像生成部３０３は、入力画像（又は対象物１２の撮影画像）から、直線成分を抽出して、例えば、図１０（Ｅ）で説明したように、線分画像を作成する。また、比較画像生成部３０３は、作成した線分画像に基づいて、例えば、図１０の（Ｆ）で説明したように、第２の線分角度テーブル１００２を作成する。

【0093】

ステップＳ１０１３、Ｓ１０１４において、比較画像生成部３０３は、データベースから取得した第１の線分角度テーブル１００１と、作成した第２の線分角度テーブル１００２とを比較して、例えば、図１０の（Ｇ）で説明したように視点を推定する。

【0094】

ステップＳ１０１５、Ｓ１０１６において、比較画像生成部３０３は、データベースから、ステップＳ１００６で記憶したワイヤフレーム画像を取得し、その中から、推定した視点のワイヤフレーム画像を取得する。

【0095】

ステップＳ１０１７において、比較画像生成部３０３は、ステップＳ１０１６で取得したワイヤフレーム画像Ｖ'に対して、アフィン変換Ａを施すことにより、ステップＳ１０１２で作成した線分画像Ｐ'に最も近い画像が得られるアフィン変換Ａを求める。

【0096】

ステップＳ１０１８において、比較画像生成部３０３は、例えば、基準となる視点情報Ｖと、基準となる視点からのアフィン変換Ａで表される姿勢情報を、基準画像生成部３０４等に出力する。

【0097】

上記の処理により、比較画像生成部３０３は、深層学習モデルによらずに、対象物１２の姿勢情報を取得することができる。

【0098】

（画像マッチング処理）
図１２は、第２の実施形態に係る画像マッチング処理の例を示すフローチャートである。なお、図１２に示す処理のうち、ステップＳ５０１、Ｓ５０２、Ｓ５０５～Ｓ５０７の処理は、図５で説明した第１の実施形態に係る画像マッチング処理と同様なので、ここでは説明を省略する。

【0099】

ステップＳ１２０１において、比較画像生成部３０３は、例えば、図１１に示すような姿勢情報の取得処理を実行する。

【0100】

ステップＳ１２０２において、比較画像生成部３０３は、対象物１２の比較画像を生成する。第２の実施形態では、比較画像生成部３０３は、深層学習モデルを用いずに、例えば、図６に示すような、対象物１２の撮影画像６２０を比較画像としても良い。或いは、比較画像生成部３０３は、例えば、図６に示すような、対象物１２の撮影画像６２０に対して、様々な画像処理（例えば、背景除去、ノイズ除去等）を行うことにより、対象物１２の比較画像を生成しても良い。

【0101】

上記の処理により、第２の実施形態によれば、画像処理装置１００は、深層学習モデルによらずに、姿勢情報の取得処理、及び画像マッチング処理を実行することができる。

【0102】

別の一例として、画像処理装置１００は、第１の実施形態に係る姿勢情報の取得処理に加えて、第２の実施形態に係る姿勢情報の取得処理を、同時、又は事前に行って結果を比較することにより、生成情報の取得精度を向上させるものであっても良い。

【0103】

以上、本発明の各実施形態によれば、所定のステージ上とは異なる場所で撮影した対象物１２の撮影画像を用いて、３次元のＣＡＤモデルと対象物１２とを比較できる画像処理装置１００、画像処理システム１、及び画像処理方法等を提供することができる。

【0104】

＜補足＞
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【0105】

また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものに過ぎない。ある実施形態では、画像処理装置１００は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。また、画像処理装置１００の各要素は、１つの情報処理装置にまとめられていても良いし、複数の情報処理装置に分けられていても良い。

【0106】

また、図３に示した画像処理装置１００は、例えば、図５、９、１１、１２に示した画像処理装置１００の処理を、様々な組み合わせで共有するように構成できる。例えば、画像処理装置１００が実行する処理のうち、少なくとも一部は、検査端末１２０が実行しても良い。また、画像処理装置１００が実行する処理のうち、少なくとも一部は、例えば、外部のサーバ装置、又はクラウドサービス等が実行しても良い。

【符号の説明】

【0107】

１ 画像処理システム
１２ 対象物
１００ 画像処理装置
１１０ カメラ
１２０ 検査端末
３０１ 画像取得部
３０４ 基準画像生成部
３０５ 画像マッチング部
３０６ 判定部
４１０ 情報取得部
４１１ 第１の深層学習モデル
４２０ 画像生成部
４２１ 第２の深層学習モデル
６２０ 撮影画像
６４０ 基準画像
６５０ マッチング画像

【先行技術文献】

【特許文献】

【0108】

【特許文献1】特表２０２０－５０９３７０号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】