特許 7549557 画像処理装置、展開画像生成システム、画像処理プログラム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-03

(45)【発行日】2024-09-11

(54)【発明の名称】画像処理装置、展開画像生成システム、画像処理プログラム及び画像処理方法

(51)【国際特許分類】

   H04N 23/698 20230101AFI20240904BHJP

   G06T 7/00 20170101ALI20240904BHJP

【ＦＩ】

H04N23/698

G06T7/00 610Z

【請求項の数】 15

(21)【出願番号】P 2021046232

(22)【出願日】2021-03-19

(65)【公開番号】P2022144996

(43)【公開日】2022-10-03

【審査請求日】2023-09-20

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100147304

【弁理士】

【氏名又は名称】井上 知哉

(74)【代理人】

【識別番号】100148493

【弁理士】

【氏名又は名称】加藤 浩二

(72)【発明者】

【氏名】大森 圭祐

(72)【発明者】

【氏名】徳井 圭

【審査官】吉川 康男

(56)【参考文献】

【文献】特開平１１－０８６１８５（ＪＰ，Ａ）

【文献】特開平１０－２１４３２５（ＪＰ，Ａ）

【文献】特開２００５－２２７０５５（ＪＰ，Ａ）

【文献】特開２０１０－０６６０７０（ＪＰ，Ａ）

【文献】ラインセンサカメラを用いたトンネル変状検査システム，画像ラボ 第２３巻 第１０号，2012年10月10日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６９８

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

撮像装置によって撮像された、前記撮像装置に対する被写体の相対位置が第一方向にそれぞれ異なる複数の入力画像を取得する画像取得部と、
前記複数の入力画像のうち前記被写体の領域を含む二以上の入力画像の各々から特定された二以上の選択画像領域を、前記第一方向又は前記第一方向とは反対方向である第二方向に並べた展開画像を生成する展開画像生成部と、
を備え、
前記展開画像では、前記被写体のうち前記第一方向又は前記第二方向を向く少なくとも一つの側面部分が死角となると共に、前記少なくとも一つの側面部分の各々は、前記展開画像に含まれる単一の基準位置から離れる方向を向く、画像処理装置。

【請求項2】

前記少なくとも一つの側面部分は複数の側面部分であり、
前記展開画像では、前記複数の側面部分が互いに同じ方向を向く、請求項１に記載の画像処理装置。

【請求項3】

前記複数の入力画像の各々は、前記相対位置が前記第一方向に順に変化し、
前記展開画像では、前記少なくとも一つの側面部分の各々が前記第二方向を向く、請求項１又は２に記載の画像処理装置。

【請求項4】

前記展開画像生成部は、互いに同一の前記被写体を撮影した二つの前記展開画像を生成し、
前記二つの前記展開画像のうち一方の展開画像では、前記少なくとも一つの側面部分が前記第一方向を向き、
前記二つの前記展開画像のうち他方の展開画像では、前記少なくとも一つの側面部分が前記第二方向を向く、請求項１又は２に記載の画像処理装置。

【請求項5】

前記二以上の選択画像領域は、前記二以上の入力画像の各々において所定の境界位置よりも前記第一方向側又は前記第二方向側にあり、
前記二以上の入力画像の各々では、前記被写体のうち前記死角となる前記少なくとも一つの側面部分の各々が、前記所定の境界位置から離れる方向を向く、請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

請求項１から５のいずれか１項に記載の画像処理装置と、
前記展開画像を表示部に表示させる出力部と、を備える展開画像生成システム。

【請求項7】

前記出力部は、前記複数の入力画像のうちの少なくとも一つの表示入力画像と、前記展開画像とを前記表示部に表示させる、請求項６に記載の展開画像生成システム。

【請求項8】

前記出力部は、前記少なくとも一つの表示入力画像に対応する前記展開画像上での位置を示す情報を、前記展開画像に重畳して前記表示部に表示させる、請求項７ に記載の展開画像生成システム。

【請求項9】

前記出力部は、前記少なくとも一つの表示入力画像に対応する前記展開画像上での位置に、前記少なくとも一つの表示入力画像を重畳して前記表示部に表示させる、請求項７に記載の展開画像生成システム。

【請求項10】

請求項４に記載の画像処理装置と、
前記展開画像を表示部に表示させる出力部と、
前記二つの前記展開画像の各々を切り替えて前記表示部に表示させる表示設定変更部とを備える展開画像生成システム。

【請求項11】

前記複数の入力画像のうち、選択された入力画像の画像処理結果に基づいて、前記被写体の検査結果を取得する検査部をさらに備え、
前記出力部は、前記選択された入力画像と前記検査結果とを前記表示部に表示させる、請求項６から１０のいずれか１項に記載の展開画像生成システム。

【請求項12】

請求項１から５のいずれか１項に記載の画像処理装置としてコンピュータを機能させる画像処理プログラム。

【請求項13】

請求項６から１１のいずれか１ 項に記載の展開画像生成システムとしてコンピュータを機能させる画像処理プログラム。

【請求項14】

請求項１２又は１３に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

【請求項15】

撮像装置によって撮像された、前記撮像装置に対する被写体の相対位置が第一方向にそれぞれ異なる複数の入力画像を取得するステップと、
前記複数の入力画像のうち前記被写体の領域を含む二以上の入力画像の各々から特定された二以上の選択画像領域を、前記第一方向又は前記第一方向とは反対方向である第二方向に並べた展開画像を生成するステップと、
を含み、
前記展開画像では、前記被写体のうち前記第一方向又は前記第二方向を向く少なくとも一つの側面部分が死角となると共に、前記少なくとも一つの側面部分の各々は、前記展開画像に含まれる単一の基準位置から離れる方向を向く、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、展開画像生成システム、画像処理プログラム及び画像処理方法に関する。

【背景技術】

【0002】

トンネルや橋梁、ビルなどの構造物について、安全管理の観点から、ひびの有無や漏水、変形の検査が実施されている。構造物の検査では、例えば、検査対象を撮像装置で撮像し、撮像した画像データを用いて検査する画像検査技術が用いられている。画像検査技術を用いることで、検査者による検査で生じる検査結果のばらつきを抑制するとともに、検査者の作業負担を軽減できる。

【0003】

構造物の画像検査技術として、例えば、特許文献１は、車両に搭載したラインセンサカメラでトンネル壁面を撮像し、ラインセンサカメラが出力するラインデータに基づいてトンネル壁面の展開画像を生成する技術を開示する。また、特許文献２は、車両に搭載したエリアセンサカメラでトンネル壁面を撮像し、必要最小限のフレームのみを重ね合わせて展開画像を生成する技術を開示する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００１－０４３３５３号公報

【文献】特開２００３－１１１０７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の技術では、順次取得したラインデータを、車両速度に基づいて車両の進行方向の伸縮を補正し、展開画像を生成する必要がある。しかし、車両速度を高精度に検出し、正確に伸縮を補正することは容易ではない。

【0006】

特許文献２に記載の技術では、同一撮影対象を異なる角度から撮像した画像を結合して展開画像を生成する。そのため、特許文献２に記載の技術では、検査対象のうち、車両の進行方向側から撮像可能な部分と、車両の進行方向とは反対方向側から撮像可能な部分とが生成された展開画像に現れるおそれがある。検査対象のうち、車両の進行方向側から撮像可能な部分は、車両の進行方向とは反対方向側から死角となるため、一視点から検査対象全体を撮像した場合、生成された展開画像は、撮像し得ない不自然な画像である。本開示の一態様は、違和感の少ない展開画像を生成できる画像処理装置、展開画像生成システム、画像処理プログラム及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の一態様に係る画像処理装置は、撮像装置によって撮像された、前記撮像装置に対する被写体の相対位置が第一方向にそれぞれ異なる複数の入力画像を取得する画像取得部と、前記複数の入力画像のうち前記被写体の領域を含む二以上の入力画像の各々から特定された二以上の選択画像領域を、前記第一方向又は前記第一方向とは反対方向である第二方向に並べた展開画像を生成する展開画像生成部と、を備え、前記展開画像では、前記被写体のうち前記第一方向又は前記第二方向を向く少なくとも一つの側面部分が死角となると共に、前記少なくとも一つの側面部分の各々は、前記展開画像に含まれる単一の基準位置から離れる方向を向く。

【0008】

本開示の一態様に係る展開画像生成システムは、撮像装置によって撮像された、前記撮像装置に対する被写体の相対位置が第一方向にそれぞれ異なる複数の入力画像を取得する画像取得部と、前記複数の入力画像のうち前記被写体の領域を含む二以上の入力画像の各々から特定された二以上の選択画像領域を、前記第一方向又は前記第一方向とは反対方向である第二方向に並べた展開画像を生成する展開画像生成部と、を備え、前記展開画像では、前記被写体のうち前記第一方向又は前記第二方向を向く少なくとも一つの側面部分が死角となると共に、前記少なくとも一つの側面部分の各々は、前記展開画像に含まれる単一の基準位置から離れる方向を向く画像処理装置と、前記展開画像を表示部に表示させる出力部と、を備える。

【0009】

本開示の一態様に係る画像処理プログラムは、撮像装置によって撮像された、前記撮像装置に対する被写体の相対位置が第一方向にそれぞれ異なる複数の入力画像を取得する画像取得部と、前記複数の入力画像のうち前記被写体の領域を含む二以上の入力画像の各々から特定された二以上の選択画像領域を、前記第一方向又は前記第一方向とは反対方向である第二方向に並べた展開画像を生成する展開画像生成部と、を備え、前記展開画像では、前記被写体のうち前記第一方向又は前記第二方向を向く少なくとも一つの側面部分が死角となると共に、前記少なくとも一つの側面部分の各々は、前記展開画像に含まれる単一の基準位置から離れる方向を向く画像処理装置としてコンピュータを機能させる。

【0010】

本開示の他の態様に係る画像処理プログラムは、撮像装置によって撮像された、前記撮像装置に対する被写体の相対位置が第一方向にそれぞれ異なる複数の入力画像を取得する画像取得部と、前記複数の入力画像のうち前記被写体の領域を含む二以上の入力画像の各々から特定された二以上の選択画像領域を、前記第一方向又は前記第一方向とは反対方向である第二方向に並べた展開画像を生成する展開画像生成部と、を備え、前記展開画像では、前記被写体のうち前記第一方向又は前記第二方向を向く少なくとも一つの側面部分が死角となると共に、前記少なくとも一つの側面部分の各々は、前記展開画像に含まれる単一の基準位置から離れる方向を向く画像処理装置と、前記展開画像を表示部に表示させる出力部と、を備える展開画像生成システムとしてコンピュータを機能させる。

【0011】

本開示の一態様に係る画像処理方法は、撮像装置によって撮像された、前記撮像装置に対する被写体の相対位置が第一方向にそれぞれ異なる複数の入力画像を取得するステップと、前記複数の入力画像のうち前記被写体の領域を含む二以上の入力画像の各々から特定された二以上の選択画像領域を、前記第一方向又は前記第二方向に並べた展開画像を生成するステップと、を含み、前記展開画像では、前記被写体のうち前記第一方向又は前記第二方向を向く少なくとも一つの側面部分が死角となると共に、前記少なくとも一つの側面部分の各々は、前記展開画像に含まれる単一の基準位置から離れる方向を向く。

【図面の簡単な説明】

【0012】

【図1A】第一実施形態に係る撮像装置とその被写体の一態様を示す図である。

【図1B】第一実施形態に係る異なる位置における撮像装置の撮影範囲の一例を示す図である。

【図2】第一実施形態に係る展開画像生成システムの機能的構成の一例を示す図である。

【図3】第一実施形態に係る展開画像生成システムの動作の一例を示すフローチャートである。

【図4A】第一実施形態に係る入力画像の一例を示す図である。

【図4B】図４Ａに示す入力画像が撮像される場合の撮像装置の位置と被写体の位置関係を示す図である。

【図5A】第一実施形態に係る展開画像の一例を示す図である。

【図5B】第一実施形態に係る展開画像の一例を示す図である。

【図5C】生成され得ない展開画像の一例を示す図である。

【図6A】第二実施形態に係る撮像装置とその被写体の一態様を示す図である。

【図6B】第二実施形態に係る被写体の斜視図の一例である。

【図7A】第二実施形態に係る入力画像の一例を示す図である。

【図7B】図７Ａに示す入力画像が撮像される場合の撮像装置の位置と被写体の位置関係を示す図である。

【図8A】第二実施形態に係る展開画像の一例を示す図である。

【図8B】第二実施形態に係る展開画像の一例を示す図である。

【図8C】第二実施形態に係る展開画像の一例を示す図である。

【図8D】生成され得ない展開画像の一例を示す図である。

【図9A】第三実施形態に係る撮像装置とその被写体の一例を示す図である。

【図9B】第三実施形態に係る被写体の斜視図の一例である。

【図10A】第三実施形態に係る被写体のうち、複数の撮影範囲の一例を示す図である。

【図10B】第三実施形態に係る被写体のうち、複数の撮影範囲の一例を示す図である。

【図10C】第三実施形態に係る被写体のうち、複数の撮影範囲の一例を示す図である。

【図10D】第三実施形態に係る入力画像の一例を示す図である。

【図11A】第四実施形態に係る展開画像の一例を示す図である。

【図11B】第四実施形態に係る展開画像の一例を示す図である。

【図11C】図１１Ａに示す展開画像を生成する場合の基準位置と、図１１Ｂに示す展開画像を生成する場合の基準位置と被写体との位置関係を示す図である。

【図12】第五実施形態に係る展開画像生成システムの機能的構成の一例を示す図である。

【図13】第五実施形態に係る表示画面の一例を示す図である。

【図14】第五実施形態に係る表示画面の一例を示す図である。

【発明を実施するための形態】

【0013】

（第一実施形態）
図１Ａから図５Ｃを参照して、第一実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。

【0014】

図１Ａから図２を参照して、撮像装置１０３とその被写体１０１の一態様、及び展開画像生成システム２００の機能的構成について説明する。

【0015】

図１Ａは、撮像装置１０３とその被写体１０１の一態様を示す図である。図１Ａは、トンネル内に設置された排煙設備である被写体１０１と、移動体１０２と、撮像装置１０３とを示す。移動体１０２は、撮像装置１０３を搭載し、例えば、車両等である。撮像装置１０３は、被写体１０１を撮像する。なお、被写体１０１は、トンネル内に設置された排煙設備に代えて、又は、トンネル内に設置された排煙設備に加えて、トンネル内に設置された排煙設備以外の構造物を含んでもよい。例えば、被写体１０１は、トンネル内に設置された排煙設備及びトンネル壁面であってもよい。

【0016】

図１Ｂは、異なる位置における撮像装置１０３の撮影範囲１０４の一例を示す図である。図１Ｂに例示するように、撮像装置１０３の撮影範囲１０４には、被写体１０１の全体が含まれないため、撮像装置１０３は、撮像装置１０３に対する被写体１０１の相対位置がそれぞれに異なる位置で被写体１０１を撮像する。つまり、撮像装置１０３は、移動しながら、異なる位置から被写体１０１を撮像する。

【0017】

図２は、展開画像生成システム２００の機能的構成の一例を示す図である。図２に例示するように、展開画像生成システム２００は、撮像装置１０３、操作部２０１、表示部２０２、出力部２０３、記憶部２０４、制御部２０５、画像処理装置２１０等を含む。画像処理装置２１０は、撮像装置１０３、操作部２０１、表示部２０２、出力部２０３、記憶部２０４、制御部２０５に接続されている。画像処理装置２１０は、画像取得部２１１、領域特定部２１２、展開画像生成部２１３、検査画像選択部２１４、検査部２１５等を含む。

【0018】

操作部２０１は、ユーザの操作の入力を受け付け、例えば、タッチパネル、マウス等により実現される。操作部２０１は、検査対象に対する各種検査処理に関する入力、画像の保存等の各種入力処理等を受け付ける。表示部２０２は、各種画像を表示し、例えば、液晶ディスプレイ等により実現される。表示部２０２は、撮像装置１０３によって撮像された複数の入力画像２２０、複数の入力画像２２０に基づいて展開画像生成部２１３によって生成された展開画像、検査画像選択部２１４によって複数の入力画像から選択された検査対象画像２２２、検査部２１５による検査対象画像２２２に対する検査結果等を表示する。また、表示部２０２と操作部２０１とは、タッチパネルディスプレイにより構成されてもよい。

【0019】

出力部２０３は、展開画像、検査対象画像２２２、検査結果等を表示部２０２に表示させる。

【0020】

記憶部２０４は、各種データ、プログラムを記録可能な記録媒体であり、例えば、ハードディスク、フラッシュメモリ等の不揮発性の記憶デバイスによって構成される。記憶部２０４には、例えば、入力画像２２０、展開画像、検査結果等が記憶される。さらに、記憶部２０４は、展開画像生成システム２００が動作するために必要な各種情報を記憶する。

【0021】

制御部２０５は、記憶部２０４に記憶されるプログラム及びデータに従って、各種処理を実行し、撮像装置１０３、操作部２０１、表示部２０２、出力部２０３、記憶部２０４を制御する。制御部２０５は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサによって構成される。

【0022】

画像処理装置２１０は、複数の入力画像２２０を取得し、取得した複数の入力画像２２０に基づいて展開画像を生成する。画像処理装置２１０は、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ等によって構成される。または、画像処理装置２１０は、制御部２０５を構成するＣＰＵによって構成されてもよい。

【0023】

画像取得部２１１は、撮像装置１０３によって撮像された、撮像装置１０３に対する被写体１０１の相対位置が第一方向にそれぞれ異なる複数の入力画像２２０を取得する。複数の入力画像２２０の各々には、それぞれ被写体１０１の異なる領域が撮影される。例えば、第一方向は、移動体１０２の進行方向である。

【0024】

領域特定部２１２は、複数の入力画像２２０のうち被写体１０１の領域を含む、二以上の入力画像の各々から選択画像領域２２１を特定する。二以上の選択画像領域２２１の各々には、それぞれ被写体１０１の異なる領域が撮影される。

【0025】

展開画像生成部２１３は、領域特定部２１２によって特定された二以上の選択画像領域２２１を第一方向又は第一方向とは反対方向の第二方向に並べた展開画像を生成する。

【0026】

検査画像選択部２１４は、複数の入力画像２２０から検査対象画像２２２を選択する。検査部２１５は、検査画像選択部２１４によって選択された検査対象画像２２２の画像処理結果に基づいて、被写体１０１の検査結果を取得する。検査部２１５は、画像処理結果に基づいて、被写体１０１のひび、剥離、歪み等の有無を検出し、検出結果を検査結果として取得する。また、検査部２１５は、画像処理結果に基づいて、被写体１０１の長さ、厚さ、体積等を算出し、算出結果を検査結果として取得してもよい。

【0027】

次に、図３から図５Ｃを参照し、本実施形態に係る画像処理装置２１０の動作について説明する。図３は、本実施形態に係る画像処理装置２１０の動作の一例を示すフローチャートである。

【0028】

ステップＳ３０１において、画像取得部２１１は、撮像装置１０３によって被写体１０１を撮像した複数の入力画像２２０を取得する。例えば、撮像装置１０３が、被写体１０１を撮像した複数の入力画像２２０を画像処理装置２１０に送信し、画像取得部２１１は、撮像装置１０３から送信された複数の入力画像２２０を取得する。または、撮像装置１０３は、被写体１０１を撮像した複数の入力画像２２０を記憶部２０４に記憶してもよい。その場合、画像取得部２１１は、記憶部２０４に記憶された複数の入力画像２２０を取得する。または、画像取得部２１１は、ネットワークを介して、被写体１０１を撮像した複数の入力画像２２０を取得してもよい。または、画像取得部２１１は、取り外し可能な記憶デバイスに記憶された複数の入力画像２２０を取得してもよい。

【0029】

ステップＳ３０２において、領域特定部２１２は、取得された複数の入力画像２２０から被写体１０１の重複する領域を含む二以上の入力画像を選択する。重複する領域を含む二つの入力画像の各々に含まれる境界位置は、当該二つの入力画像において重複する領域内であり、且つ、当該重複する領域内の同一の特徴点の位置であるものとする。これにより、重複する領域を含む二つの入力画像の各々から特定された二つの選択画像領域２２１は、連続する領域を含むものとなる。例えば、領域特定部２１２は、被写体１０１の表面のキズ、ひび等の位置を、特徴点の位置として探索する。または、領域特定部２１２は、入力画像に撮影されるトンネル壁面のキズ、ひび等を、特徴点として探索してもよい。例えば、被写体１０１の表面の付帯物は、被写体１０１の表面に取り付けられたボルトである。

【0030】

または、領域特定部２１２は、撮像装置１０３との移動速度と、撮像装置１０３のフレームレートとに基づいて、一の入力画像と、当該一の入力画像に連続する他の入力画像との重複する領域を算出してもよい。そして、領域特定部２１２は、複数の入力画像２２０のうちの被写体１０１の領域が、互いに重複する割合が所定割合以下である二以上の入力画像を選択してもよい。

【0031】

ステップＳ３０３において、領域特定部２１２は、選択された二以上の入力画像の各々から二以上の選択画像領域２２１を特定する。選択画像領域２２１は、二以上の入力画像の各々において所定の境界位置よりも第一方向側又は第二方向側にあるものとする。さらに、領域特定部２１２は、二以上の選択画像領域２２１の各々において、被写体１０１のうち撮像装置１０３の死角となる少なくとも一つの側面部分の各々が、所定の境界位置から離れる方向を向くように、二以上の選択画像領域２２１を特定する。つまり、領域特定部２１２は、被写体１０１のうち所定の境界位置から離れる方向を向く側面部分が死角となるように境界位置を決定して、二以上の選択画像領域を決定する。

【0032】

ステップＳ３０４において、展開画像生成部２１３は、特定された二以上の選択画像領域２２１を第一方向又は第二方向に並べた展開画像を生成する。二以上の選択画像領域２２１の各々には、それぞれ被写体１０１の異なる領域が撮影されるため、展開画像生成部２１３が、二以上の選択画像領域２２１を並べた展開画像を生成することで、展開画像では、一の入力画像に含まれる被写体１０１の領域よりも被写体１０１の広範な領域が現れる。

【0033】

さらに、展開画像では、被写体１０１のうち撮像装置１０３の死角となる少なくとも一つの側面部分の各々が選択画像領域の境界位置から離れる方向を向くため、展開画像では、当該側面部分の各々が単一の基準位置から離れる方向を向く。つまり、単一の基準位置から見た像である展開画像では、当該側面部分の各々は、被写体１０１の他の部分に隠れて現れない。被写体１０１が一の視点から観察される場合、被写体１０１のうちで、当該一の視点側を向く部分は見えるが、当該一の視点側とは反対方向を向く部分は、被写体１０１の他の部分に隠れて見ることができないものである。そのため、展開画像では、単一の基準位置を視点とし、且つ自然な見え方である被写体１０１の領域が現れる。

【0034】

ステップＳ３０５において、検査画像選択部２１４は、複数の入力画像２２０から検査対象画像２２２を選択する。例えば、検査画像選択部２１４は、操作部２０１に対するユーザの操作により、複数の入力画像２２０から検査対象画像２２２を選択する。

【0035】

ステップＳ３０６において、検査部２１５は、選択された検査対象画像２２２に対する画像処理結果に基づいて、検査結果を取得する。検査部２１５は、検査対象画像２２２に撮影される被写体１０１の領域の特徴を検出するために、検査対象画像２２２に対して画像処理を実行する。例えば、検査部２１５は、検査対象画像２２２に含まれる物体の領域のエッジを検出する画像処理を実行してもよい。または、検査部２１５は、検査対象画像２２２に含まれる被写体１０１の色、明るさ等の分布を算出する画像処理を実行してもよい。そして、検査部２１５は、選択された検査対象画像２２２に対する画像処理結果に基づいて、検査対象である被写体１０１の異常検知、測定、計測等の処理を実行する。これにより、展開画像生成システム２００は、検査者の負担を低減できる。

【0036】

ステップＳ３０７において、出力部２０３は、ステップＳ３０４で生成された展開画像と、ステップＳ３０６で取得された検査結果を出力する。さらに、出力部２０３は、被写体１０１における異常の有無を示す情報を出力してもよい。また、出力部２０３は、検査結果が被写体１０１に異常があることを示す場合、警告音をスピーカ（図示せず）に出力させてもよい。これにより、出力部２０３は、被写体１０１に異常があることをユーザに通知できる。

【0037】

次に、図４Ａから図５Ｃを参照して、展開画像を生成する処理の一例について説明する。図４Ａは、入力画像４００から入力画像４０３の一例を示す図である。入力画像４００から入力画像４０３は、撮像装置１０３に対する被写体１０１の相対位置がそれぞれ第一方向に異なる位置で撮像された画像である。本例では、撮像装置１０３が移動することで、撮像装置１０３によって入力画像４００から入力画像４０３が順に生成されたものとする。図４Ａから図４Ｂにおいては、紙面左側、紙面右側をそれぞれ第一方向、第二方向とする。図４Ｂは、図４Ａに示す入力画像４００から入力画像４０３が撮像される場合の、撮像装置１０３の位置（基準位置）と被写体１０１の位置関係を示す図である。

【0038】

入力画像４００には、被写体１０１のうち、第一方向を向く側面部分４０４と側面部分４０５とが撮影される。基準位置４１１から被写体１０１が観察される場合、側面部分４０４と側面部分４０５とが見えるものである。そのため、例えば、撮像装置１０３が基準位置４１１から被写体１０１を撮像した場合、入力画像４００が生成される。また、入力画像４００には、入力画像４００の第二方向側の端部にある境界位置４２１よりも第一方向側に領域４２２が含まれる。

【0039】

入力画像４０１には、被写体１０１のうち、第一方向を向く側面部分４０４と側面部分４０５とが撮影されていない。基準位置４１２から被写体１０１が観察される場合、側面部分４０４と、側面部分４０５とは見えないものである。そのため、例えば、撮像装置１０３が基準位置４１２から被写体１０１を撮像した場合、入力画像４０１が生成される。また、入力画像４０１には、入力画像４０１内の第二方向側の端部にある境界位置４２３よりも第一方向側に領域４２４が含まれる。さらに、入力画像４０１には、入力画像４０１内の境界位置４３１よりも第二方向側に領域４３２が含まれる。境界位置４３１は、被写体１０１において、入力画像４００の境界位置４２１と同一の位置に対応するものとする。

【0040】

入力画像４０２には、被写体１０１のうち、第二方向を向く側面部分４０６と側面部分４０７とが撮影されていない。基準位置４１３から被写体１０１が観察される場合、側面部分４０６と側面部分４０７とは見えないものである。そのため、例えば、撮像装置１０３が基準位置４１３から被写体１０１を撮像した場合、入力画像４０２が生成される。また、入力画像４０２には、入力画像４０２内の境界位置４２５よりも第二方向側に領域４２６が含まれる。

【0041】

入力画像４０３には、被写体１０１のうち、第二方向を向く側面部分４０６と側面部分４０７とが撮影される。基準位置４１４から被写体１０１が観察される場合、側面部分４０６と側面部分４０７とが見えるものである。そのため、例えば、撮像装置１０３が基準位置４１４から被写体１０１を撮像した場合、入力画像４０３が生成される。また、入力画像４０３には、入力画像４０３の第一方向側の端部にある境界位置４２７よりも第二方向側に領域４２８が含まれる。入力画像４０３には、被写体１０１のうち、第二方向を向く側面部分４０６と側面部分４０７とが撮影される。

【0042】

入力画像４００から入力画像４０３のうちの一の入力画像と、当該一の入力画像に連続する他の入力画像には、被写体１０１のうち、少なくとも一部の重複する領域が撮影される。さらに、入力画像４００から入力画像４０３には、被写体１０１の互いに異なる領域が撮影される。そのため、展開画像生成部２１３は、入力画像４００から入力画像４０３から選択された選択画像領域２２１を並べることで、被写体１０１の広範な領域が現れた展開画像を生成できる。

【0043】

図５Ａおよび図５Ｂは、展開画像生成部２１３によって生成される展開画像５００及び展開画像５０１の一例を示す。図５Ｃは、図５Ａおよび図５Ｂに対する比較例として、展開画像生成部２１３によって生成され得ない展開画像５０２の一例を示す。図５Ａから図５Ｃにおいては、紙面左側、紙面右側をそれぞれ第一方向、第二方向とする。

【0044】

例えば、展開画像生成システム２００が、図４Ｂに例示する基準位置４１１を視点とする展開画像を生成する指示を、ユーザの操作により受け付けた場合、領域特定部２１２は、指定された基準位置４１１よりも第二方向側に第一方向を向く側面部分が撮影された領域４２２と、当該領域の境界位置４２１よりも第二方向側では境界位置よりも第二方向側の領域４２６とを、選択画像領域２２１として特定する。そして、図５Ａに例示するように、展開画像生成部２１３は、領域４２２と領域４２６とを第二方向に並べた展開画像５００を生成する。または、展開画像生成部２１３は、領域４２６と領域４２２とを第一方向に並べることで展開画像５００を生成してもよい。

【0045】

図５Ａに例示するように、展開画像５００では、指定された基準位置４１１よりも第二方向側に、被写体１０１のうちの第一方向を向く側面部分４０４と側面部分４０５とが現れ、且つ第二方向を向く側面部分４０６と側面部分４０７とが死角となる。つまり、展開画像５００では、側面部分４０４と側面部分４０５とが現れ、側面部分４０６と側面部分４０７とが被写体１０１の他の部分に隠れて現れない。指定された基準位置４１１から被写体１０１が観察される場合、側面部分４０４と側面部分４０５とは見えるが、側面部分４０６と側面部分４０７とは被写体１０１の他の部分に隠れて基準位置４１１から見ることができないものである。そのため、展開画像５００では、被写体１０１の側面部分４０４及び側面部分４０５よりも第一方向側の単一の基準位置４１１を視点とし、且つ自然な見え方である被写体１０１の領域が現れている。

【0046】

また、例えば、展開画像生成システム２００が、図４Ｂに例示する基準位置４１４を視点とする展開画像を生成する指示を、ユーザの操作により受け付けた場合、領域特定部２１２は、図４Ａに例示する入力画像４０１と入力画像４０３とから、領域４２４と領域４２８とを選択画像領域２２１として特定する。そして、図５Ｂに例示するように、展開画像生成部２１３は、選択画像領域２２１である領域４２４と領域４２８とを第二方向に並べた展開画像５０１を生成する。または、展開画像生成部２１３は、領域４２８と領域４２４とを第一方向に並べることで展開画像５０１を生成してもよい。

【0047】

図５Ｂに例示するように、展開画像５０１では、指定された基準位置４１４よりも第一方向側に、被写体１０１のうちの第二方向を向く側面部分４０６と側面部分４０７とが現れ、且つ第一方向を向く側面部分４０４と側面部分４０５とが死角となる。つまり、展開画像５０１では、側面部分４０６と側面部分４０７とが現れ、側面部分４０４と側面部分４０５とが被写体１０１の他の部分に隠れて現れない。指定された基準位置４１４から被写体１０１が観察される場合、側面部分４０６と側面部分４０７とは見えるが、側面部分４０４と側面部分４０５とは被写体１０１の他の部分に隠れて基準位置４１４から見ることができないものである。そのため、展開画像５０１では、被写体１０１の側面部分４０６及び側面部分４０７よりも第二方向側の単一の基準位置４１４を視点とし、且つ自然な見え方である被写体１０１の領域が現れている。

【0048】

一方、図５Ｃに例示する展開画像５０２は、入力画像４００に含まれる領域４２２と、入力画像４０１に含まれる境界位置４３１よりも第二方向側の領域４３２と、入力画像４０３に含まれる領域４２８とを第二方向側に並べた画像である。展開画像５０２では、第一方向を向く側面部分４０４と側面部分４０５が現れるとともに、第二方向を向く側面部分４０６と側面部分４０７とが現れる。撮像装置１０３が如何なる位置から被写体１０１を撮像しても、被写体１０１のうちの相反する方向を向く両側面は撮影され得ない。従って、展開画像５０２では、不自然な見え方である被写体１０１の領域が現れている。

【0049】

しかし、領域特定部２１２は、被写体１０１のうちで撮像装置１０３の死角となる少なくとも一つの側面部分の各々が所定の境界位置から離れる方向を向くように、二以上の入力画像の各々から二以上の選択画像領域２２１を特定する。つまり、領域特定部２１２は、少なくとも一つの側面部分は被写体１０１の他の部分に隠れて見えなくなるように、二以上の選択画像領域２２１を特定する。一方、領域４２２には、第一方向を向く側面部分４０４と側面部分４０５が撮影され、且つ領域４２８には第一方向を向く側面部分４０４と側面部分４０５が撮影されている。そのため、展開画像生成システム２００は、領域４２２と領域４３２と領域４２８との組み合わせを選択画像領域２２１として特定し得ない。従って、領域４２２と領域４３２と領域４２８とを並べた展開画像５０２を生成し得ない。

【0050】

以上の通り、展開画像生成システム２００は、自然な見え方であり、且つ違和感の少ない展開画像を生成できる。

【0051】

（変形例１）
本実施形態に係る展開画像生成システム２００の変形例１として、検査部２１５は、ユーザにより指定された位置、領域等に対する検査処理を実行してもよい。例えば、ユーザが表示部２０２に表示された展開画像上の二点を選択した場合、検査部２１５は、選択された二点間の距離を算出する。また、ユーザが表示部２０２に表示された展開画像上に現れるひびの始点と終点とを特定した場合、検査部２１５は、選択されたひびの始点と終点とに基づいて、ひびの長さを算出してもよい。また、ユーザが表示部２０２に表示された展開画像上の領域を選択した場合、検査部２１５は、選択された領域の平均画素値を算出してもよい。このように、本変形例に係る展開画像生成システム２００は、表示部２０２に表示された展開画像上でユーザにより選択された位置、領域等に関して検査処理を実行する。これにより、展開画像生成システム２００は、ユーザが検査を望む部分について検査処理を実行でき、ユーザの利便性を向上できる。

【0052】

（第二実施形態）
図６Ａから図８Ｄを参照して、第二実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。第一実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、第一実施形態と異なる点を説明する。

【0053】

図６Ａは、本実施形態に係る撮像装置６０１とその被写体６０２の一態様を示す図である。図６Ｂは、被写体６０２の斜視図の一例である。図６Ｂに例示するように、被写体６０２には、加工穴６０５～加工穴６０７が形成されている。本実施形態に係る展開画像生成システム２００は、撮像装置１０３に代えて撮像装置６０１を備える。

【0054】

本実施形態においては、固定された設置位置の撮像装置６０１が、回転するベルトコンベア６０３上の被写体６０２を撮像する。撮像装置６０１は、撮像装置６０１の撮影範囲６０４に位置する被写体６０２の一部を撮像可能であり、ベルトコンベア６０３が回転して被写体６０２が移動することで、撮像装置６０１によって生成される複数の入力画像の各々には、それぞれ被写体６０２の異なる領域が撮影される。

【0055】

図７Ａは、ベルトコンベア６０３の回転に伴い、撮像装置６０１によって被写体６０２が撮像された入力画像７００から入力画像７０３の一例を示す図である。本例では、ベルトコンベア６０３の回転に伴い、撮像装置６０１によって入力画像７００から入力画像７０３が順に生成されたものとする。図７Ａにおいて、加工穴６０５から加工穴６０７の濃色部分は、撮像装置６０１の撮影範囲内に撮影された加工穴６０５から加工穴６０７の側面部分を示すものとする。図７Ａにおいては、紙面左側、紙面右側をそれぞれ第一方向、第二方向とする。図７Ｂは、図７Ａに示す入力画像７００から入力画像７０３が撮像される場合の、撮像装置６０１の位置（基準位置）と被写体６０２の位置関係を示す図である。基準位置７４１は加工穴６０５と加工穴６０６間の位置し、基準位置７４２は加工穴６０７より第二方向側に位置し、基準位置７４３は加工穴６０５より第一方向側に位置している。

【0056】

入力画像７００には、入力画像７００の第二方向側の端部にある境界位置７２１よりも第一方向側に領域７２２が含まれる。領域７２２には、第一方向を向く加工穴６０５の側面部分が撮影され、第二方向を向く加工穴６０５の側面部分が死角となる。

【0057】

入力画像７０１には、入力画像７００内の境界位置７２３よりも第一方向側に領域７２４が含まれる。境界位置７２３は、被写体６０２において、入力画像７００の境界位置７２１と同一の位置に対応している。領域７２４には、第二方向を向く加工穴６０５の側面部分が撮影され、第一方向を向く加工穴６０５の側面部分が死角となる。また、入力画像７０１には、入力画像７０１内の境界位置７２３よりも第二方向側に領域７２５が含まれる。領域７２５には、第一方向を向く加工穴６０６の側面部分が撮影され、第二方向を向く加工穴６０６の側面部分が死角となる。また、領域７２４と領域７２５を合わせた領域を領域７３２とする。

【0058】

入力画像７０２には、入力画像７０２内の境界位置７２６よりも第一方向側に領域７２７が含まれる。境界位置７２６は、被写体６０２において、入力画像７０１の境界位置７３１と同一の位置に対応している。領域７２７には、第二方向を向く加工穴６０６の側面部分が撮影され、第一方向を向く加工穴６０６の側面部分が死角となる。また、入力画像７０２には、入力画像７０２内の境界位置７２６よりも第二方向側に領域７２８が含まれる。領域７２８には、第一方向を向く加工穴６０７の側面部分が撮影され、第二方向を向く加工穴６０７の側面部分が死角となる。

【0059】

入力画像７０３には、入力画像７０３の第一方向側の端部にある境界位置７２９よりも第二方向側に領域７３０が含まれる。領域７３０には、第二方向を向く加工穴６０７の側面部分が撮影され、第一方向を向く加工穴６０７の側面部分が死角となる。

【0060】

図８Ａから図８Ｃは、入力画像７００から入力画像７０３から選択された二以上の入力画像に基づいて、展開画像生成部２１３によって生成される展開画像８００から展開画像８０３の一例を示す。図８Ｄは、図８Ａから図８Ｃに対する比較例として、展開画像生成部２１３によって生成され得ない展開画像８０３の一例を示す。図８Ａから図８Ｄにおいては、紙面左側、紙面右側をそれぞれ第一方向、第二方向とする。

【0061】

例えば、展開画像生成システム２００が、被写体６０２の加工穴６０５と加工穴６０６間の単一の基準位置７４１を視点とする展開画像を生成する指示を、ユーザの操作により受け付けた場合、領域特定部２１２は、指定された基準位置７４１よりも第一方向側に第二方向を向く側面部分が撮影される領域７３２を、選択画像領域２２１として選択する。さらに、領域特定部２１２は、境界位置７３１に対応する境界位置７２６よりも第二方向側の領域では、領域７２８を、選択画像領域２２１として特定する。具体的には、領域特定部２１２は、図７Ａに例示する入力画像７０１及び入力画像７０２から、領域７３２と、領域７２８とを選択画像領域２２１として特定する。そして、図８Ａに例示するように、展開画像生成部２１３は、領域７３２と、領域７２８とを第二方向に並べた展開画像８００を生成する。または、展開画像生成部２１３は、領域７２８と、領域７３２とを、第一方向に並べることで展開画像８００を生成してもよい。

【0062】

これにより、図８Ａに例示するように、展開画像８００では、第二方向を向く加工穴６０５の側面部分と、第一方向を向く加工穴６０６の側面部分と、第一方向を向く加工穴６０７の側面部分が現れる。さらに、展開画像８００では、第一方向を向く加工穴６０５の側面部分と、第二方向を向く加工穴６０６の側面部分と、第二方向を向く加工穴６０７の側面部分とが死角となる。

【0063】

従って、展開画像８００では、加工穴６０５から加工穴６０７の側面部分のうち、基準位置７４１に近づく方向を向く側面部分が現れ、基準位置７４１から離れる方向を向く加工穴６０５から加工穴６０７の側面部分は死角となる。指定された基準位置７４１から被写体６０２が観察される場合、第二方向を向く加工穴６０５の側面部分と第一方向を向く加工穴６０６の側面部分および加工穴６０７の側面部分が見えるが、第一方向を向く加工穴６０５の側面部分と第二方向を向く加工穴６０６の側面部分および加工穴６０７の側面部分は、被写体６０２の他の部分の死角となり見ることができない。その結果、展開画像８００では、被写体６０２の加工穴６０５と加工穴６０７間の単一の基準位置７４１を視点とし、且つ自然な見え方である被写体６０２の領域が現れている。

【0064】

また、例えば、展開画像生成システム２００が、被写体６０２の加工穴６０７よりも第二方向側の単一の基準位置７４２を視点とする展開画像を生成する指示を、ユーザの操作により受け付けた場合、領域特定部２１２は、図７Ａに例示する入力画像７０１から入力画像７０３の各々から、領域７２４と、領域７２７と、領域７３０とを選択画像領域２２１として特定する。そして、図８Ｂに例示するように、展開画像生成部２１３は、領域７２４と、領域７２７と、領域７３０とを第二方向に並べた展開画像８０１を生成する。または、展開画像生成部２１３は、領域７３０と、領域７２７と、領域７２４とを、第一方向に並べることで展開画像８０１を生成してもよい。

【0065】

これにより、図８Ｂに例示するように、展開画像８０１では、加工穴６０５から加工穴６０７の側面部分のうち、第二方向を向く側面が現れ、第一方向を向く側面部分は死角となる。

【0066】

従って、展開画像８０１では、加工穴６０５から加工穴６０７の側面部分のうち、基準位置７４２に近づく方向の側面部分が現れ、基準位置７４２から離れる方向を向く加工穴６０５から加工穴６０７の側面部分は死角となる。指定された基準位置７４２から被写体６０２が観察される場合、第二方向を向く加工穴６０５から加工穴６０７の側面部分が見えるが、第一方向を向く加工穴６０５～加工穴６０７の側面部分は、被写体６０２の他の部分の死角となり見ることができない。その結果、展開画像８０１では、加工穴６０７よりも第二方向側の単一の基準位置７４２を視点とし、且つ自然な見え方である被写体６０２の領域が現れている。

【0067】

また、例えば、展開画像生成システム２００が、加工穴６０５よりも第一方向側の単一の基準位置７４３を視点とする展開画像を生成する指示を、ユーザの操作により受け付けた場合、領域特定部２１２は、図７Ａに例示する入力画像７００から入力画像７０２から、領域７２２と、領域７２５と、領域７２８とを選択画像領域２２１として特定する。そして、図８Ｃに例示するように、展開画像生成部２１３は、領域７２２と、領域７２５と、領域７２８とを第二方向に並べた展開画像８０２を生成する。または、展開画像生成部２１３は、領域７２８と、領域７２５と、領域７２２とを、第一方向に並べることで展開画像８０２を生成してもよい。

【0068】

これにより、図８Ｃに例示するように、展開画像８０２では、撮像装置６０１の撮影範囲に、第一方向を向く加工穴６０５から加工穴６０７の側面部分が現れ加工穴６０５から６０７の第二方向を向く側面部分は死角となる。

【0069】

従って、展開画像８０２では、加工穴６０５から加工穴６０７の側面部分のうち、基準位置７４３に近づく方向の側面部分が現れ、基準位置７４３から離れる方向を向く加工穴６０５から加工穴６０７の側面部分は死角となる。指定された基準位置７４３から被写体６０２が観察される場合、第一方向を向く加工穴６０５から加工穴６０７の側面部分が見えるが、第二方向を向く加工穴６０５から加工穴６０７の側面部分は、被写体６０２の他の部分の死角となり見ることができない。その結果、展開画像８０２には、加工穴６０５よりも第一方向側の単一の基準位置７４３を視点とし、且つ自然な見え方である被写体６０２の領域が現れている。

【0070】

図８Ｄに例示する展開画像８０３は、入力画像７００に含まれる領域７２２と、入力画像７０１に含まれる領域７２４と、入力画像７０２に含まれる領域７２８とを第二方向側に並べた画像である。展開画像８０３では、被写体６０２の加工穴６０５から加工穴６０７の側面部分の現れる側面の方向と死角となる側面の方向が、交互に入れ替わっている。撮像装置６０１が如何なる位置から被写体６０２を撮像しても、展開画像８０３に示すように、被写体６０２の加工穴６０５から加工穴６０７の側面部分の現れる側面の方向と死角となる側面の方向とが交互に入れ替わることはあり得ない。従って、展開画像８０３では、不自然な見え方である被写体６０２の領域が現れている。

【0071】

しかし、領域特定部２１２は、被写体６０２のうちで、撮像装置６０１から見て死角となる少なくとも一つの側面部分の各々が所定の基準位置から離れる方向を向くように二以上の入力画像の各々から二以上の選択画像領域を特定する。そのため、展開画像生成システム２００は、領域７２２と領域７２４と領域７２８とを並べた展開画像８０３を生成し得ない。

【0072】

以上より、被写体６０２が移動する場合であっても、展開画像生成システム２００は、自然な見え方であり、且つ違和感の少ない展開画像を生成できる。

【0073】

（第三実施形態）
図９Ａから図１０Ｄを参照して、第三実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。他の実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、他の実施形態と異なる点を説明する。

【0074】

図９Ａは、撮像装置９０１とその被写体９０２の一態様を示す図である。図９Ｂは、被写体９０２の斜視図の一例である。図９Ｂに例示するように、被写体９０２には、加工穴９０５から加工穴９０７が形成されている。本実施形態に係る展開画像生成システム２００は、撮像装置１０３に代えて撮像装置９０１を備える。

【0075】

本実施形態に係る展開画像生成システム９００においては、撮像装置９０１が、設置台９０４上に固定された被写体９０２を複数の異なる位置で撮像する。図９Ａに例示するように、撮像装置９０１の撮影範囲９０３は、被写体９０２の一部を撮像可能な範囲であるが、撮像装置９０１が被写体９０２を複数の異なる位置で撮像することで、撮像装置９０１によって生成される複数の入力画像の各々には、それぞれ被写体９０２の異なる領域が撮影される。

【0076】

図１０Ａから図１０Ｃは、被写体９０２のうち、複数の撮影範囲の一例を示す。図１０Ａから図１０Ｃに例示する点線の矩形は、複数の入力画像の各々に撮影される撮影範囲１００１から撮影範囲１０１１を示す。図１０Ａから図１０Ｃにおいては、紙面左側、紙面右側を、それぞれ第一方向、第二方向とする。

【0077】

図１０Ａに例示する撮影範囲１００１から撮影範囲１００４は、被写体９０２のうちの互いに重複する領域を含まない。この場合、展開画像生成部２１３は、撮影範囲１００１から撮影範囲１００４の全領域を並べた展開画像を生成する。

【0078】

図１０Ａにおいては、加工穴９０５は撮影範囲１００１の中心よりも第二方向側に位置し、加工穴９０６は撮影範囲１００２の中心よりも第二方向側に位置し、加工穴９０７は撮影範囲１００４の中心よりも第一方向側に位置している。したがって、加工穴９０５および加工穴９０６は、それぞれの加工穴より第一方向側の基準位置から見える側面が撮影されており、加工穴９０７は、加工穴９０７より第二方向側の基準位置から見える側面が撮影されているため、撮影範囲１００１から撮影範囲１００４の画像を用いて全ての加工穴の側面が単一の基準位置から離れる方向を向く側面が現れるように展開画像を生成することはできない。

【0079】

また、図１０Ｂは図１０Ａと同様に被写体９０２が撮影されており、図１０Ｂに示す撮影範囲１００５から撮影範囲１００８と被写体９０２との位置関係は、図１０Ａに示す撮影範囲１００１から撮影範囲１００４と被写体９０２との位置関係と同様である。一方、図１０Ｃは、各撮影範囲と加工穴との位置関係が図１０Ａや図１０Ｂに比べ各撮影範囲が第二方向（または第一方向）に撮影範囲の半分ずれており、加工穴９０５は撮影範囲１００９の中心よりも第一方向側に位置し、加工穴９０６も撮影範囲１０１０の中心よりも第一方向側に位置し、加工穴９０７は撮影範囲１０１１の中心よりも第二方向側に位置している。したがって、図１０Ｂに示す撮影範囲１００５から１００８と図１０Ｃに示す撮影範囲１００９から１０１１を組み合わせて用いることで、全ての加工穴の側面が単一の基準位置から離れる方向を向く側面が現れるように展開画像を生成することができる。

【0080】

図１０Ｄは、図１０Ｂおよび図１０Ｃに例示する撮影範囲１００５から撮影範囲１０１２の各々の入力画像１０２１から入力画像１０２７を示す。図１０Ｄにおいては、紙面左側、紙面右側を、それぞれ第一方向、第二方向とする。破線の中心線１０２０は、入力画像１０２１から入力画像１０２７の各々の中心線を示す。入力画像１０２１には、中心線１０２０よりも第二方向側に加工穴９０５の領域が撮影される。一方、入力画像１０２２には、中心線１０２０よりも第一方向側に加工穴９０５の領域が撮影される。同様に、入力画像１０２３には、中心線１０２０よりも第二方向側に加工穴９０６の領域が撮影される。一方、入力画像１０２４には、中心線１０２０よりも第一方向側に加工穴９０６が撮影される。

【0081】

このように、撮影範囲の半分を重複して撮像することで、入力画像１０２１から入力画像１０２７には、中心線１０２０よりも第一方向側及び第二方向側のそれぞれにおいて、加工穴９０５から加工穴９０７の領域が撮影される。そのため、展開画像生成部２１３は、被写体９０２のうちで、撮像装置９０１の死角となる少なくとも一つの側面部分の各々が、展開画像に含まれる単一の基準位置から離れる方向を向くように、展開画像を生成できる。その結果、展開画像では、単一の基準位置を視点とし、且つ自然な見え方である被写体の領域が現れる。

【0082】

なお、入力画像１０２１から入力画像１０２７において重複する領域が、入力画像１０２１から入力画像１０２７の各々の半分である場合、被写体９０２に含まれる凹部である加工穴９０５から加工穴９０７が、入力画像の端部又は中心付近で撮像される場合がある。その場合、撮像装置９０１の移動速度が変化した場合、入力画像において加工穴９０５から加工穴９０７が所望の位置に撮影されないおそれがある。

【0083】

しかし、撮像装置９０１が移動する場合に、撮像装置９０１の撮像頻度を高くすることで、複数の入力画像２２０において重複する領域を大きくできる。これにより、検査対象である被写体９０２の揺れ、撮像装置９０１の移動速度の変化等により、複数の入力画像の各々の撮影範囲にずれが生じた場合であっても、展開画像生成部２１３は、被写体９０２のうちで、撮像装置９０１の死角となる少なくとも一つの側面部分の各々が、展開画像に含まれる単一の基準位置から離れる方向を向くように、展開画像を生成できる。これにより、展開画像では、単一の基準位置を視点とし、且つ自然な見え方である被写体の領域が現れる。

【0084】

（第四実施形態）
図１１Ａから図１１Ｃを参照して、第四実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。他の実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、他の実施形態と異なる点を説明する。

【0085】

本実施形態に係る展開画像生成部２１３は、複数の入力画像の各々が、被写体に対する撮像装置１０３の相対位置が第二方向に順に変化した画像である場合、被写体のうち撮像装置１０３の死角となる、少なくとも一つの側面部分が第二方向を向くように、展開画像を生成する。つまり、本実施形態に係る展開画像生成部２１３は、複数の入力画像の各々が、被写体に対する撮像装置１０３の相対位置が第二方向に順に変化した画像である場合、第二方向を向く少なくとも一つの側面部分が展開画像に現れないように、展開画像を生成する。また、本実施形態に係る展開画像生成部２１３は、複数の入力画像の各々が、被写体に対する撮像装置１０３の相対位置が第一方向に順に変化した画像である場合、被写体のうちで撮像装置１０３の死角となる、少なくとも一つの側面部分が第一方向を向くように、展開画像を生成する。つまり、本実施形態に係る展開画像生成部２１３は、複数の入力画像の各々が、被写体に対する撮像装置１０３の相対位置が第一方向に順に変化した画像である場合、第一方向を向く少なくとも一つの側面部分が展開画像に現れないように、展開画像を生成する。

【0086】

図１１Ａ及び図１１Ｂは、展開画像生成部２１３によって生成される、二つの展開画像の一例を示す図である。本例では、被写体の設置位置が固定され、撮像装置１０３が移動するものとする。さらに、図１１Ａの例では撮像装置１０３の撮像時の進行方向が第二方向であるものとし、図１１Ｂの例では撮像装置１０３の撮像時の進行方向が第一方向であるものとする。図１１Ａ及び図１１Ｂにおいては、紙面左側、紙面右側を、それぞれ第一方向、第二方向とする。また、図１１Ｃは、図１１Ａに示す展開画像１１００を生成する場合の基準位置１１２１と、図１１Ｂに示す展開画像１１１０を生成する場合の基準位置１１２２と被写体１１０１および被写体１１０２との位置関係を示す図である。基準位置１１２１は被写体１１０１および被写体１１０２より第一方向側に位置し、基準位置１１２２は被写体１１０１および被写体１１０２より第二方向側に位置している。

【0087】

図１１Ａに例示する展開画像１１００では、被写体１１０１と、被写体１１０２とが現れる。本例では、撮像時に、撮像装置１０３が、被写体１１０１より第一方向側から被写体１１０２より第二方向側に移動したものとする。さらに、本例では、第一方向側に位置する単一の基準位置１１２１を視点とする展開画像１１００を生成するものとする。その場合に、展開画像生成部２１３によって生成される展開画像１１００では、被写体１１０１のうちで第一方向を向く側面部分１１０３と、被写体１１０２のうちで第一方向を向く側面部分１１０４とが現れる。さらに、展開画像１１００では、被写体１１０１のうちで第二方向を向く側面部分と、被写体１１０２のうちで第二方向を向く側面部分は死角となる。

【0088】

撮像装置１０３が第二方向向きに被写体１１０１と被写体１１０２とを撮影する場合、第一方向を向く側面部分１１０３と側面部分１１０４とが見え、第二方向を向く側面部分は被写体１１０１及び被写体１１０２の他の部分に隠れて見ることができないため、被写体に対する撮像装置１０３の相対位置が第二方向に順に変化した複数の入力画像から展開画像を生成する場合、被写体１１０１と被写体１１０２の第一方向を向く側面部分が現れる展開画像を生成することで、自然な見え方となる。

【0089】

一方、図１１Ｂに例示する展開画像１１１０では、被写体１１０１と、被写体１１０２とが現れる。本例では、撮像時に、撮像装置１０３が、被写体１１０２より第二方向側から被写体１１０１より第一方向側に移動したものとする。さらに、本例では、第二方向側に位置する単一の基準位置１１２２を視点とする展開画像１１１０を生成するものとする。その場合に、展開画像生成部２１３によって生成される展開画像１１１０では、被写体１１０１のうちで第二方向を向く側面部分１１１３と、被写体１１０２のうちで第二方向を向く側面部分１１１４とが現れる。さらに、展開画像１１１０では、被写体１１０１のうちで第一方向を向く側面部分と、被写体１１０２のうちで第二方向を向く側面部分は死角となる。

【0090】

撮像装置１０３が第一方向向きに被写体１１０１と被写体１１０２とを撮影する場合、第二方向を向く側面部分１１１３と側面部分１１１４とが見え、第一方向を向く側面部分は被写体１１０１及び被写体１１０２の他の部分に隠れて見ることができないため、被写体に対する撮像装置１０３の相対位置が第一方向に順に変化した複数の入力画像から展開画像を生成する場合、被写体１１０１と被写体１１０２の第二方向を向く側面部分が現れる展開画像を生成することで、自然な見え方となる。

【0091】

以上の通り、本実施形態に係る展開画像生成部２１３は、撮像時の移動方向に基づいた展開画像を生成する。これにより、本実施形態に係る展開画像生成システム２００は、生成された展開画像を見るユーザに、撮像時の撮像装置１０３の進行方向を推測させることができる。

【0092】

（第五実施形態）
図１２から図１４を参照して、第五実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。他の実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、他の実施形態と異なる点を説明する。

【0093】

図１２は、本実施形態に係る展開画像生成システム２００の機能的構成の一例を示す。図１２に例示する展開画像生成システム２００は、図２に例示する展開画像生成システム２００の機能的構成に加え、表示設定変更部１２０１を含んでいる。

【0094】

本実施形態に係る展開画像生成部２１３は、互いに同一の被写体１０１を撮影した二つの展開画像を生成する。二つの展開画像のうち一方の展開画像では、被写体１０１のうち撮像装置１０３の死角となる複数の側面部分が第一方向を向く。また、二つの展開画像のうち他方の展開画像では、撮像装置１０３の死角となる被写体１０１のうちの複数の側面部分が第二方向を向く。

【0095】

本実施形態に係る出力部２０３は、複数の入力画像２２０のうちの少なくとも一つの表示入力画像と、展開画像とを表示部２０２に表示させる。また、本実施形態に係る出力部２０３は、複数の入力画像のうちの少なくとも一つの表示入力画像に対応する展開画像上での位置を示す情報を、展開画像に重畳して表示部２０２に表示させる。または、本実施形態に係る出力部２０３は、複数の入力画像のうちの少なくとも一つの表示入力画像に対応する展開画像上での位置に、少なくとも一つの表示入力画像を重畳して表示部２０２に表示させてもよい。

【0096】

表示設定変更部１２０１は、展開画像生成部２１３によって生成された二つの展開画像の各々を切り替えて表示部２０２に表示させる。

【0097】

図１３は、表示部２０２に表示される表示画面１３００の一例を示す図である。表示画面１３００には、展開画像１３０１と、検査結果表示領域１３０２と、拡大画像表示領域１３０３とが表示される。検査結果表示領域１３０２には、検査部２１５による検査結果が表示される。拡大画像表示領域１３０３には、複数の入力画像のうちの少なくとも一つの入力画像、展開画像１３０１の一部を拡大した画像、検査対象画像２２２等が表示される。図１３に例示するように、拡大画像表示領域１３０３に表示される画像に対応する位置を示す表示領域１３０４を展開画像１３０１上に重畳してもよい。これにより、展開画像生成システム２００は、拡大画像表示領域１３０３に表示される画像及び検査結果表示領域１３０２に表示される検査結果が展開画像１３０１のどの位置に対応するかをユーザに認識させやすくできる。

【0098】

また、被写体１０１の同一の領域が撮影された異なる入力画像を結合して生成した展開画像１３０１では、検査対象の凹凸、撮影範囲の照明状態等に応じて、各入力画像の撮影状態が必ずしも一致するとは限らないため、二つの選択画像領域の隣接位置の付近において、画質劣化が生じるおそれがある。展開画像１３０１に画質劣化した領域が含まれる場合、その他の領域よりも、ユーザの注意をひいてしまうおそれがある。しかし、展開画像生成システム２００は、拡大画像表示領域１３０３に画質劣化のない入力画像を表示させることで、画質劣化による印象悪化を防止できる。

【0099】

また、出力部２０３は、検査対象の領域が撮影された複数の入力画像から検査対象画像２２２を選択して、拡大画像表示領域１３０３に検査対象画像２２２を表示し、且つ検査結果表示領域１３０２に、検査対象画像２２２に対応する検査結果を表示してもよい。これにより、展開画像生成システム２００は、拡大画像表示領域１３０３に検査対象画像２２２を表示させることで、検査結果表示領域１３０２に表示される検査結果に対応する検査対象画像２２２をユーザに確認させることができる。

【0100】

また、展開画像生成システム２００は、拡大画像表示領域１３０３に表示される画像の表示倍率、表示領域等の指定を、操作部２０１に対するユーザの操作により受け付けてもよい。

【0101】

また、表示設定変更部１２０１は、基準位置が異なる複数の展開画像の各々を切り替えて表示部２０２に表示させる。例えば、表示設定変更部１２０１は、ユーザの操作により複数の展開画像の各々を切り替える指示を受け付ける。表示設定変更部１２０１は、複数の展開画像の各々を切り替える指示に応じて、複数の展開画像の各々を切り替えて表示部２０２に表示させる。これにより、展開画像生成システム２００は、ユーザの操作に応じて、基準位置が異なる展開画像をユーザに提示できる。

【0102】

また、展開画像生成システム２００が、複数の基準位置の候補を選択する指示をユーザの操作により受け付けてもよい。その場合、展開画像生成部２１３は、ユーザの操作により選択された複数の基準位置の候補の各々に対応する複数の展開画像を生成する。表示設定変更部１２０１は、複数の展開画像の各々を切り替えて表示部２０２に表示させる。これにより、展開画像生成システム２００は、ユーザの操作により選択された視点から見た被写体１０１の展開画像をユーザに提示できる。なお、基準位置の候補数の上限が設定されていてもよい。これにより、展開画像生成システム２００は、基準位置の候補を選択するときにユーザの負担を低減できる。

【0103】

また、基準位置の候補が、被写体１０１の第一方向側の端部より第一方向側の位置と、被写体１０１の第二方向側の端部より第二方向側の位置とを含むように予め設定されていてもよい。これにより、展開画像生成システム２００は、基準位置の候補を選択するときにユーザの負担を低減できるとともに、第一方向を向く側面部分が現れた展開画像と、第二方向を向く側面部分が現れた展開画像とのうちのいずれかをユーザに提示できる。

【0104】

また、表示設定変更部１２０１は、予め設定された基準位置とは異なる基準位置をユーザの操作により受け付けてもよい。これにより、展開画像生成システム２００は、ユーザにより選択された基準位置を視点とする展開画像をユーザに提示できる。

【0105】

図１４は、表示部２０２に表示される表示画面１４００の一例を示す図である。表示画面１４００には、展開画像１４０１と、検査結果表示領域１４０２と、拡大画像表示領域１４０３とが表示される。検査結果表示領域１４０２には、検査部２１５による検査結果が表示される。拡大画像表示領域１４０３には、撮像装置１０３によって生成された入力画像、展開画像１４０１の一部を拡大した画像、検査対象画像２２２等が表示される。

【0106】

図１４に例示する表示画面１４００には、複数の入力画像のうちの少なくとも一つの表示入力画像に対応する展開画像１４０１上での位置に、拡大画像表示領域１４０３が重畳して表示される。これにより、展開画像生成システム２００は、拡大画像表示領域１４０３に含まれる画像と、展開画像１４０１に含まれる被写体１０１の領域の位置との対応関係を、ユーザに把握させることができる。

【0107】

（付記事項）
上述の実施形態は、以下の形態のように記載してもよいが、以下に限定されない。

【0108】

（形態１）撮像装置によって撮像された、前記撮像装置に対する被写体の相対位置が第一方向にそれぞれ異なる複数の入力画像を取得する画像取得部と、前記複数の入力画像のうち前記被写体の領域を含む二以上の入力画像の各々から特定された二以上の選択画像領域を、前記第一方向又は前記第一方向とは反対方向である第二方向に並べた展開画像を生成する展開画像生成部と、を備え、前記展開画像では、前記被写体のうち前記第一方向又は前記第二方向を向く少なくとも一つの側面部分が死角となると共に、前記少なくとも一つの側面部分の各々は、前記展開画像に含まれる単一の基準位置から離れる方向を向く、画像処理装置。

【0109】

（形態２）前記少なくとも一つの側面部分は複数の側面部分であり、前記展開画像では、前記複数の側面部分が互いに同じ方向を向く、形態１に記載の画像処理装置。

【0110】

（形態３）前記複数の入力画像の各々は、前記相対位置が前記第一方向に順に変化し、前記展開画像では、前記少なくとも一つの側面部分の各々が前記第二方向を向く、形態１又は２に記載の画像処理装置。

【0111】

（形態４）前記展開画像生成部は、互いに同一の前記被写体を撮影した二つの前記展開画像を生成し、前記二つの前記展開画像のうち一方の展開画像では、前記少なくとも一つの側面部分が前記第一方向を向き、前記二つの前記展開画像のうち他方の展開画像では、前記少なくとも一つの側面部分が前記第二方向を向く、形態１又は２に記載の画像処理装置。

【0112】

（形態５）前記二以上の選択画像領域は、前記二以上の入力画像の各々において所定の境界位置よりも前記第一方向側又は前記第二方向側にあり、前記二以上の入力画像の各々では、前記被写体のうち前記死角となる前記少なくとも一つの側面部分の各々が、前記所定の境界位置から離れる方向を向く、形態１から４のいずれか一に記載の画像処理装置。

【0113】

（形態６）形態１から５のいずれか一に記載の画像処理装置と、前記展開画像を表示部に表示させる出力部と、を備える展開画像生成システム。

【0114】

（形態７）前記出力部は、前記複数の入力画像のうちの少なくとも一つの表示入力画像と、前記展開画像とを前記表示部に表示させる、形態６に記載の展開画像生成システム。

【0115】

（形態８）前記出力部は、前記少なくとも一つの表示入力画像に対応する前記展開画像上での位置を示す情報を、前記展開画像に重畳して前記表示部に表示させる、形態７に記載の展開画像生成システム。

【0116】

（形態９）前記出力部は、前記少なくとも一つの表示入力画像に対応する前記展開画像上での位置に、前記少なくとも一つの表示入力画像を重畳して前記表示部に表示させる、形態７に記載の展開画像生成システム。

【0117】

（形態１０）形態４に記載の画像処理装置と、前記展開画像を表示部に表示させる出力部と、前記二つの前記展開画像の各々を切り替えて前記表示部に表示させる表示設定変更部とを備える展開画像生成システム。

【0118】

（形態１１）前記複数の入力画像のうち、選択された入力画像の画像処理結果に基づいて、前記被写体の検査結果を取得する検査部をさらに備え、前記出力部は、前記選択された入力画像と前記検査結果とを前記表示部に表示させる、形態６から１０のいずれか一に記載の展開画像生成システム。

【0119】

（形態１２）形態１から５のいずれか一に記載の画像処理装置としてコンピュータを機能させる画像処理プログラム。

【0120】

（形態１３）形態６から１１のいずれか一に記載の展開画像生成システムとしてコンピュータを機能させる画像処理プログラム。

【0121】

（形態１４）形態１２又は１３に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

【0122】

（形態１５）撮像装置によって撮像された、前記撮像装置に対する被写体の相対位置が第一方向にそれぞれ異なる複数の入力画像を取得するステップと、前記複数の入力画像のうち前記被写体の領域を含む二以上の入力画像の各々から特定された二以上の選択画像領域を、前記第一方向又は前記第二方向に並べた展開画像を生成するステップと、を含み、前記展開画像では、前記被写体のうち前記第一方向又は前記第二方向を向く少なくとも一つの側面部分が死角となると共に、前記少なくとも一つの側面部分の各々は、前記展開画像に含まれる単一の基準位置から離れる方向を向く、画像処理方法。

【0123】

本開示における展開画像生成システム２００、画像処理装置２１０、及び画像処理方法の主体は、ＡＳＩＣ（Application Specific Integrated Circuit）およびＦＰＧＡ（Field Programmable Gate Array）など、集積回路（ＩＣチップ）などに形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵおよびＧＰＵを用いてソフトウェアによって実現してもよい。後者の場合、展開画像生成システム２００、画像処理装置２１０、及び画像処理方法の主体は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータで読み取り可能に記録されたＲＯＭ（Read Only Memory）または記録媒体ならびに、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータが上記プログラムを上記記録媒体から読み取って実行することにより、本開示における展開画像生成システム２００、画像処理装置２１０、及び画像処理方法の主体の機能が実現される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワーク等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0124】

本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態に夫々開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。更に、各実施形態に夫々開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

【符号の説明】

【0125】

１０１ 被写体、１０２ 移動体、１０３ 撮像装置、１０４ 撮影範囲、２００ 展開画像生成システム、２０１ 操作部、２０２ 表示部、２０３ 出力部、２０４ 記憶部、２０５ 制御部、２１０ 画像処理装置、２１１ 画像取得部、２１２ 領域特定部、２１３ 展開画像生成部、２１４ 検査画像選択部、２１５ 検査部、２２０ 入力画像、２２１ 選択画像領域、２２２ 検査対象画像、４００～４０３ 入力画像、４０４～４０７ 側面部分、６０１ 撮像装置、６０２ 被写体、６０３ ベルトコンベア、６０４ 撮影範囲、６０５～６０７ 加工穴、７００～７０３ 入力画像、９００ 展開画像生成システム、９０１ 撮像装置、９０２ 被写体、９０３ 撮影範囲、９０４ 設置台、９０５～９０７ 加工穴、１１００ 展開画像、１１０１～１１０２ 被写体、１１０３～１１０４ 側面部分、１１１０ 展開画像、１１１３～１１１４ 側面部分、１２０１ 表示設定変更部、１３００ 表示画面、１３０１ 展開画像、１３０２ 検査結果表示領域、１３０３ 拡大画像表示領域、１３０４ 表示領域、１４００ 表示画面、１４０１ 展開画像、１４０２ 検査結果表示領域、１４０３ 拡大画像表示領域

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図7A】

【図7B】

【図8A】

【図8B】

【図8C】

【図8D】

【図9A】

【図9B】

【図10A】

【図10B】

【図10C】

【図10D】

【図11A】

【図11B】

【図11C】

【図12】

【図13】

【図14】