特開2018-205863(P2018-205863A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 京セラ株式会社の特許一覧

特開2018-205863画像処理装置、画像処理システムおよび制御プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2018-205863(P2018-205863A)
(43)【公開日】2018年12月27日
(54)【発明の名称】画像処理装置、画像処理システムおよび制御プログラム
(51)【国際特許分類】
   G06T 5/50 20060101AFI20181130BHJP
   H04N 5/232 20060101ALI20181130BHJP
【FI】
   G06T5/50
   H04N5/232 290
【審査請求】未請求
【請求項の数】14
【出願形態】OL
【全頁数】47
(21)【出願番号】特願2017-107567(P2017-107567)
(22)【出願日】2017年5月31日
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100088672
【弁理士】
【氏名又は名称】吉竹 英俊
(74)【代理人】
【識別番号】100088845
【弁理士】
【氏名又は名称】有田 貴弘
(72)【発明者】
【氏名】守田 空悟
【テーマコード(参考)】
5B057
5C122
【Fターム(参考)】
5B057AA04
5B057BA24
5B057CA08
5B057CA13
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CD05
5B057CE08
5B057CH11
5B057CH16
5B057CH20
5B057DA16
5B057DB03
5B057DB09
5B057DC03
5B057DC08
5C122DA02
5C122EA55
5C122FA06
5C122FH18
5C122FK12
5C122FL03
5C122FL08
5C122GA34
5C122HA03
5C122HA05
5C122HA75
5C122HA86
5C122HA88
5C122HA90
5C122HB01
5C122HB05
(57)【要約】
【課題】撮像対象物を周囲の様々な角度から見た画像を得る画像処理の演算量を低減する。
【解決手段】画像処理装置は、取得部、推定部、検出部および画像生成部を備える。取得部は、視点位置と視線方向との組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、各撮像画像の撮像時における視点位置情報および視線方向情報とを取得する。推定部は、各撮像画像に係る視点位置情報と視線方向情報とに基づいて、対象物の存在位置を示す存在位置情報を取得する。検出部は、複数の撮像画像について、視点位置情報と、視線方向情報と、存在位置情報と、各撮像時に用いられた撮像部の特性情報と、に基づき、対象物の第1領域を第1視点位置から第1視線方向で捉えた第1画像部分と、対象物の第2領域を第2視点位置から第2視線方向で捉えた第2画像部分と、を検出する。画像生成部は、第1画像部分と第2画像部分とを合成することで合成画像を生成する。
【選択図】図6
【特許請求の範囲】
【請求項1】
視点位置および視線方向の組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、該複数の撮像画像のそれぞれについての撮像時における視点位置を示す視点位置情報および視線方向を示す視線方向情報と、を取得する取得部と、
前記複数の撮像画像のそれぞれに係る前記視点位置情報と前記視線方向情報とに基づいて、前記対象物の存在位置を推定することで該存在位置を示す存在位置情報を取得する推定部と、
前記複数の撮像画像について、前記視点位置情報と、前記視線方向情報と、前記存在位置情報と、各撮像時に用いられた撮像部の特性情報と、に基づいて、前記対象物における第1領域を第1視点位置から第1視線方向で捉えた第1画像部分と、前記対象物における前記第1領域とは異なる第2領域を前記第1視点位置とは異なる第2視点位置から前記第1視線方向とは異なる第2視線方向で捉えた第2画像部分と、を検出する検出部と、
前記第1画像部分と前記第2画像部分とを合成することで、合成画像を生成する、画像生成部と、を備える、画像処理装置。
【請求項2】
請求項1に記載の画像処理装置であって、
前記対象物において前記第1領域と前記第2領域とが隣接している、画像処理装置。
【請求項3】
請求項1または請求項2に記載の画像処理装置であって、
前記取得部は、前記複数の撮像画像のそれぞれについての撮像時における前記視点位置から前記対象物の表面までの距離の分布を示す距離分布情報、を取得し、
前記検出部は、前記複数の撮像画像について、前記視点位置情報と、前記視線方向情報と、前記距離分布情報と、前記存在位置情報と、に基づき、前記第1画像部分と前記第2画像部分とを検出する、画像処理装置。
【請求項4】
請求項1から請求項3の何れか1つの請求項に記載の画像処理装置であって、
前記取得部は、前記対象物について視点位置よび視線方向の組合せが相互に異なる条件で前記対象物を撮像することで前記複数の撮像画像を得る、前記撮像部と、
前記複数の撮像画像のそれぞれについての撮影時における前記撮像部の位置を計測することで前記視点位置情報を得る、位置計測部と、
前記複数の撮像画像のそれぞれについての撮影時における前記撮像部の向きを計測することで前記視線方向情報を得る、方向計測部と、を含む、画像処理装置。
【請求項5】
請求項4に記載の画像処理装置であって、
前記取得部は、前記複数の撮像画像のそれぞれについての撮像時における前記視点位置から前記対象物の表面までの距離の分布を示す距離分布情報を得る、距離計測部、をさらに含む、画像処理装置。
【請求項6】
請求項1から請求項5の何れか1つの請求項に記載の画像処理装置であって、
前記合成画像を出力する出力部、および前記合成画像を記憶する記憶媒体の少なくとも一方をさらに備える、画像処理装置。
【請求項7】
請求項6に記載の画像処理装置であって、
前記出力部は、前記合成画像を可視的に出力する表示部、を含む、画像処理装置。
【請求項8】
請求項7に記載の画像処理装置であって、
ユーザの動作に応答して入力される信号に応じて、前記対象物のうちの前記表示部で可視的に出力される前記合成画像で捉えられた表示対象領域を変更する領域設定部、をさらに備え、
該領域設定部は、ユーザの動作に応答して入力される信号に応じて、前記表示部で可視的に出力されている第1合成画像で捉えられている前記対象物の既表示領域の一部を除く残部と、前記表示部で可視的に出力されている前記第1合成画像では捉えられていない前記対象物の非表示領域と、を含む変更後の表示対象領域を設定し、
前記検出部は、前記領域設定部による前記変更後の表示対象領域の設定に応答して、前記複数の撮像画像について、前記視点位置情報と、前記視線方向情報と、前記存在位置情報と、前記撮像部の特性情報と、に基づいて、前記非表示領域を捉えた第3画像部分、を検出し、
前記画像生成部は、前記第1合成画像における前記既表示領域を捉えた第4画像部分と、前記第3画像部分とを合成することで、第2合成画像を生成し、
前記表示部は、前記第2合成画像を可視的に出力する、画像処理装置。
【請求項9】
請求項8に記載の画像処理装置であって、
前記出力部は、前記検出部による前記複数の撮像画像における前記非表示領域を捉えた画像部分の不足の検出に応答して、前記非表示領域を捉えた画像部分の不足に係る情報を出力する、画像処理装置。
【請求項10】
請求項1または請求項2に記載の画像処理装置であって、
前記取得部は、前記複数の撮像画像のそれぞれについての撮像時における前記視点位置から前記対象物の表面までの距離の分布を示す距離分布情報、を取得し、
前記画像処理装置は、
前記距離分布情報と、前記特性情報と、に基づいて、各前記撮像画像における前記対象物を捉えた画像部分の撮像解像度を算出する解像度算出部と、
前記合成画像を可視的に出力する出力部と、
ユーザの動作に応答して入力される信号に応じて、前記出力部で可視的に出力される前記対象物を捉えた画像部分についての表示解像度を設定する解像度設定部と、をさらに備え、
前記検出部は、前記複数の撮像画像において、前記撮像解像度が前記表示解像度以上である、前記第1画像部分と、前記第2画像部分と、を検出する、画像処理装置。
【請求項11】
請求項10に記載の画像処理装置であって、
前記解像度設定部は、ユーザの動作に応答して入力される信号に応じて、前記出力部に可視的に出力されている前記合成画像のうち、前記出力部で拡大表示する拡大表示画像部分の範囲を設定するとともに、該拡大表示画像部分における前記表示解像度を設定し、
前記出力部は、前記検出部によって、前記複数の撮像画像において、前記拡大表示画像部分の範囲に係る前記撮像解像度が前記表示解像度以上である拡大表示用の画像部分の不足が検出されたことに応答して、前記拡大表示用の画像部分の不足に係る情報を出力する、画像処理装置。
【請求項12】
請求項1から請求項11の何れか1つの請求項に記載の画像処理装置であって、
前記取得部によって2以上の撮像画像が時間順次に取得されている状態において、ユーザの動作に応答して入力される信号に応じて、前記画像生成部における出力用の画像を生成する画像生成モードを、第1画像生成モードと、第2画像生成モードと、第3画像生成モードと、の間で選択的に切り換える切換部、をさらに備え、
前記第1画像生成モードは、前記取得部で撮像画像が取得されるたびに該撮像画像を用いて前記出力用の画像を準備するモードを含み、
前記第2画像生成モードは、前記取得部で既に取得されている前記複数の撮像画像について、前記検出部によって検出される前記第1画像部分と前記第2画像部分とを合成することで、前記出力用の画像として前記合成画像を生成するモードを含み、
前記第3画像生成モードは、前記取得部で既に取得されている前記複数の撮像画像について、前記検出部によって検出される前記第1画像部分と、前記取得部における撮像画像の取得に応答して該撮像画像から前記検出部によって検出される前記第2画像部分と、を合成することで、前記出力用の画像として前記合成画像を生成するモードを含む、画像処理装置。
【請求項13】
第1装置と、
通信回線を介して前記第1装置と通信可能に接続されている第2装置と、を備え、
前記第1装置は、
視点位置よび視線方向の組合せが相互に異なる条件で対象物を撮像することで、複数の撮像画像を得る、撮像部と、
前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の位置を計測することで、撮像時における視点位置を示す視点位置情報を得る、位置計測部と、
前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の向きを計測することで、撮像時における視線方向を示す視線方向情報を得る、方向計測部と、
前記複数の撮像画像と、該複数の撮像画像のそれぞれについての前記視点位置情報および前記視線方向情報とを、前記通信回線を介して前記第2装置に送信する通信部と、を含み、
前記第2装置は、
前記通信部から送信された、前記複数の撮像画像と、該複数の撮像画像のそれぞれについての前記視点位置情報および前記視線方向情報と、を受信する受信部と、
前記複数の撮像画像のそれぞれに係る前記視点位置情報と前記視線方向情報とに基づいて、前記対象物の存在位置を推定することで該存在位置を示す存在位置情報を取得する推定部と、
前記複数の撮像画像について、前記視点位置情報および前記視線方向情報と、前記推定部で取得された前記存在位置情報と、に基づいて、前記対象物における第1領域を第1視点位置から第1視線方向で捉えた第1画像部分と、前記対象物における前記第1領域とは異なる第2領域を前記第1視点位置とは異なる第2視点位置から前記第1視線方向とは異なる第2視線方向で捉えた第2画像部分と、を検出する検出部と、
前記第1画像部分と前記第2画像部分とを合成することで、合成画像を生成する、画像生成部と、を含む、画像処理システム。
【請求項14】
画像処理装置を制御するための制御プログラムであって、
視点位置および視線方向の組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、該複数の撮像画像のそれぞれについての撮像時における視点位置を示す視点位置情報および視線方向を示す視線方向情報と、を取得する工程と、
前記複数の撮像画像のそれぞれに係る前記視点位置情報と前記視線方向情報とに基づいて、前記対象物の存在位置を推定することで該存在位置を示す存在位置情報を取得する工程と、
前記複数の撮像画像について、前記視点位置情報と、前記視線方向情報と、前記存在位置情報と、各撮像時に用いられた撮像部の特性情報と、に基づいて、前記対象物における第1領域を第1視点位置から第1視線方向で捉えた第1画像部分と、前記対象物における前記第1領域とは異なる第2領域を前記第1視点位置とは異なる第2視点位置から前記第1視線方向とは異なる第2視線方向で捉えた第2画像部分と、を検出する工程と、
前記第1画像部分と前記第2画像部分とを合成することで、合成画像を生成する工程と、を前記画像処理装置に実行させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、画像処理システムおよび制御プログラムに関する。
【背景技術】
【0002】
被写体(撮像対象物ともいう)を周囲の様々な角度から見た画像を得る画像処理技術として、多くの視点からの撮像で得た画像(多視点画像ともいう)を用いて、撮像対象物を任意の角度から見た再構成画像を生成および表示する技術がある(例えば、下記特許文献1など参照)。この技術では、例えば、観察者の視点位置および画像出力装置の種類から画像の再構成に必要なパラメータが計算される。次に、このパラメータが用いられて再構成画像の各画素について多視点画像の対応する画素が演算で求められる。そして、対応する画素が多視点画像から抽出されて再構成画像が生成される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平8−116556号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
撮像対象物を周囲の様々な角度から見た画像を得る画像処理については、演算量の低減を図る点で改善の余地がある。
【課題を解決するための手段】
【0005】
画像処理装置、画像処理システムおよび制御プログラムが開示される。
【0006】
画像処理装置の一態様は、取得部と、推定部と、検出部と、画像生成部と、を備える。前記取得部は、視点位置および視線方向の組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、該複数の撮像画像のそれぞれについての撮像時における視点位置を示す視点位置情報および視線方向を示す視線方向情報と、を取得する。前記推定部は、前記複数の撮像画像のそれぞれに係る前記視点位置情報と前記視線方向情報とに基づいて、前記対象物の存在位置を推定することで該存在位置を示す存在位置情報を取得する。前記検出部は、前記複数の撮像画像について、前記視点位置情報と、前記視線方向情報と、前記存在位置情報と、各撮像時に用いられた撮像部の特性情報と、に基づいて、前記対象物における第1領域を第1視点位置から第1視線方向で捉えた第1画像部分と、前記対象物における前記第1領域とは異なる第2領域を前記第1視点位置とは異なる第2視点位置から前記第1視線方向とは異なる第2視線方向で捉えた第2画像部分と、を検出する。前記画像生成部は、前記第1画像部分と前記第2画像部分とを合成することで、合成画像を生成する。
【0007】
画像処理システムの一態様は、第1装置と、通信回線を介して前記第1装置と通信可能に接続されている第2装置と、を備える。
【0008】
前記第1装置は、撮像部と、位置計測部と、方向計測部と、通信部と、を含む。前記撮像部は、視点位置よび視線方向の組合せが相互に異なる条件で対象物を撮像することで、複数の撮像画像を得る。前記位置計測部は、前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の位置を計測することで、撮像時における視点位置を示す視点位置情報を得る。前記方向計測部は、前記複数の撮像画像のそれぞれについて、撮影時における前記撮像部の向きを計測することで、撮像時における視線方向を示す視線方向情報を得る。前記通信部は、前記複数の撮像画像と、該複数の撮像画像のそれぞれについての前記視点位置情報および前記視線方向情報とを、前記通信回線を介して前記第2装置に送信する。前記第2装置は、受信部と、推定部と、検出部と、画像生成部と、を含む。前記受信部は、前記通信部から送信された、前記複数の撮像画像と、該複数の撮像画像のそれぞれについての前記視点位置情報および前記視線方向情報と、を受信する。前記推定部は、前記複数の撮像画像のそれぞれに係る前記視点位置情報と前記視線方向情報とに基づいて、前記対象物の存在位置を推定することで該存在位置を示す存在位置情報を取得する。前記検出部は、前記複数の撮像画像について、前記視点位置情報および前記視線方向情報と、前記推定部で取得された前記存在位置情報と、に基づいて、前記対象物における第1領域を第1視点位置から第1視線方向で捉えた第1画像部分と、前記対象物における前記第1領域とは異なる第2領域を前記第1視点位置とは異なる第2視点位置から前記第1視線方向とは異なる第2視線方向で捉えた第2画像部分と、を検出する。前記画像生成部は、前記第1画像部分と前記第2画像部分とを合成することで、合成画像を生成する。
【0009】
制御プログラムの一態様は、画像処理装置を制御するための制御プログラムである。該制御プログラムは、前記画像処理装置に、第1工程と、第2工程と、第3工程と、第4工程と、を実行させる。前記第1工程では、視点位置および視線方向の組合せが相互に異なる条件で対象物を捉えた複数の撮像画像と、該複数の撮像画像のそれぞれについての撮像時における視点位置を示す視点位置情報および視線方向を示す視線方向情報と、を取得する。前記第2工程では、前記複数の撮像画像のそれぞれに係る前記視点位置情報と前記視線方向情報とに基づいて、前記対象物の存在位置を推定することで該存在位置を示す存在位置情報を取得する。前記第3工程では、前記複数の撮像画像について、前記視点位置情報と、前記視線方向情報と、前記存在位置情報と、各撮像時に用いられた撮像部の特性情報と、に基づいて、前記対象物における第1領域を第1視点位置から第1視線方向で捉えた第1画像部分と、前記対象物における前記第1領域とは異なる第2領域を前記第1視点位置とは異なる第2視点位置から前記第1視線方向とは異なる第2視線方向で捉えた第2画像部分と、を検出する。前記第4工程では、前記第1画像部分と前記第2画像部分とを合成することで、合成画像を生成する。
【発明の効果】
【0010】
例えば、撮像対象物を周囲の様々な角度から見た画像を得る画像処理における演算量が低減され得る。
【図面の簡単な説明】
【0011】
図1図1は、第1実施形態に係る画像処理システムの構成の一例を示す図である。
図2図2は、第1装置の電気的構成の一例を示すブロック図である。
図3図3は、第1画像処理装置の機能的構成の一例を示すブロック図である。
図4図4は、撮像対象物を撮像する態様の一例を示す模式図である。
図5図5は、第2装置の電気的構成の一例を示すブロック図である。
図6図6は、第2画像処理装置の機能的構成の一例を示すブロック図である。
図7図7は、代表視線方向の一例を示す図である。
図8図8は、撮像対象物の存在位置を推定する方法の一例を説明する図である。
図9図9(a)は、表示画面における拡大前の表示画像の一例を示す図である。図9(b)は、表示画面における拡大後の表示画像の一例を示す図である。
図10図10(a)は、表示画面におけるスクロール前の画像の一例を示す図である。図10(b)は、表示画面におけるスクロール後の画像の一例を示す図である。
図11図11は、第1装置による撮像対象物の撮像条件の一例を示す図である。
図12図12(a)から図12(d)は、図11の撮像条件での撮像で取得された撮像画像を例示する図である。
図13図13(a)から図13(c)は、表示画面における画像のスクロールの一例を示す図である。
図14図14(a)から図14(g)は、複数の撮像画像に係る撮像中に表示用の画像を生成する第1画像生成モードを説明するための図である。図14(a)は、時間順次の撮像によって複数の撮像画像が取得される様子を示す模式図である。図14(b)は、時刻t0の撮像で得られる撮像画像の一例を示す図である。図14(c)は、時刻t0において時刻t0の撮像画像が表示画面に表示される態様の一例を示す図である。図14(d)は、時刻t1の撮像で得られる撮像画像の一例を示す図である。図14(e)は、時刻t1において時刻t1の撮像画像が表示画面に表示される態様の一例を示す図である。図14(f)は、時刻t2の撮像で撮像画像が取得されていない様子を示す図である。図14(g)は、時刻t2において時刻t1の撮像画像が表示画面に表示される態様の一例を示す図である。
図15図15(a)から図15(c)は、複数の撮像画像に係る撮像中に表示用の画像を生成する第2画像生成モードを説明するための図である。図15(a)は、ユーザの入力に応じて表示対象領域が変更される態様の一例を示す図である。図15(b)は、表示画面に表示されるスクロール前の画像の一例を示す図である。図15(c)は、表示画面に表示されるスクロール後の画像の一例を示す図である。
図16図16(a)から図16(e)は、複数の撮像画像に係る撮像中に表示用の画像を生成する第3画像生成モードを説明するための図である。図16(a)は、ユーザの入力に応じて表示対象領域が変更される態様の一例を示す図である。図16(b)は、表示画面に表示されるスクロール前の画像の一例を示す図である。図16(c)は、表示画面上で表示対象領域を変更させるスワイプ操作の一例を示す図である。図16(d)は、表示画面に表示されるスクロール後の画像の一例を示す図である。図16(e)は、直近に取得される撮像画像の一例を示す図である。
図17図17は、画像処理システムにおける複数回の撮像動作を行う動作フローの一例を示す流れ図である。
図18図18は、画像処理システムにおける各撮像動作に係る動作フローの一例を示す流れ図である。
図19図19は、画像処理システムにおける撮像対象物の存在位置を推定する動作フローの一例を示す流れ図である。
図20図20は、画像処理システムにおける表示用の画像を拡大する動作フローの一例を示す流れ図である。
図21図21は、画像処理システムにおける表示用の画像の生成に不足している撮像画像を補充する動作フローの一例を示す流れ図である。
図22図22は、画像処理システムにおける表示画面で画像をスクロールさせる際の動作フローの一例を示す流れ図である。
図23図23は、画像処理システムにおける表示画面で画像をスクロールさせる際の動作フローの一例を示す流れ図である。
図24図24は、画像処理システムにおける表示画面で画像をスクロールさせる際の動作フローの一例を示す流れ図である。
図25図25は、画像処理システムにおける複数の撮像画像の撮像中のユーザの入力に応じた画像生成モードの切り換えに係る動作フローの一例を示す流れ図である。
図26図26は、第2実施形態に係る第1画像処理装置の機能的構成の一例を示すブロック図である。
図27図27(a)から図27(c)は、第3実施形態に係る表示画面における画像のスクロールの一例を示す図である。
【発明を実施するための形態】
【0012】
例えば、工場などの製造現場では、稼働中の製造機器に何らかのアクシデントが発生すると、商品の製造が停止する。このとき、例えば、工場全体における設備稼働率の低下による製造コストの上昇、納期の遅れによる顧客満足度の低下およびサプライチェーンの崩壊など、企業活動に多大な悪影響を及ぼし得る。このため、製造機器のアクシデントからの復旧は急務となる。
【0013】
このような場面では、例えば、製造機器を開発した担当者などの製造機器の担当者(機器担当者ともいう)は、アクシデントが発生している製造現場からの製造機器の早急な復旧の要請に応じて、本来の職場から製造現場へ急行せざるを得ない場合が想定される。この場合には、例えば、機器担当者は、本来の職場における現在進行中の本来の業務を一旦休止して、製造現場に急行することになる。このとき、例えば、製造機器のアクシデントが、仮に、些細な原因によるものであっても、製造現場の作業者(現場作業者ともいう)が容易に解決可能なものであっても、機器担当者は、本来の職場に戻るまでは、製造機器の復旧作業に拘束される。
【0014】
通常、稼働中の製造機器の出荷台数は、開発後に年々増加する傾向を示す。このため、機器担当者が製造機器の復旧作業に拘束される時間も、年々増加する傾向を示す。その結果、例えば、機器担当者が新たな製造機器の開発などの本来の業務に充てるべき時間が、製造機器の復旧作業によってさらに削られていく。
【0015】
これに対して、近年では、通信ネットワークにおける広帯域化と、パーソナルコンピュータ(パソコンともいう)の遠隔操作の技術(パソコン遠隔操作技術ともいう)と、が発達してきている。このため、例えば、通信ネットワークの広帯域化とパソコン遠隔操作技術とを利用して、機器担当者が製造現場に行くことなく、アクシデントが生じた製造機器の状況を確認し、その状況に対処することが考えられる。この場合には、例えば、機器担当者が製造現場との往復に要する時間が減少し、機器担当者は、本来の業務に充てる時間を確保することができる。
【0016】
ただし、パソコン遠隔操作技術では、例えば、パソコンに搭載されているソフトウェアの確認および修正、パソコンの設定の確認および修正、ならびにパソコンの制御下のセンサで取得可能な情報の確認など、が実行可能な程度である。センサで取得可能な情報には、例えば、カメラで撮像可能な視野内の情報などが含まれ得る。このため、例えば、パソコン遠隔操作技術では、製造機器における、製品、半製品もしくは部品などの載置および除去、センサの物理的な位置の調整、ならびにセンサによる計測範囲外の状況の確認など、は実行することが難しい。センサによる計測範囲外の状況の確認には、例えば、カメラの視野外の状況の確認などが含まれ得る。
【0017】
これに対して、機器担当者は、例えば、パソコン遠隔操作技術で実行することができない部分については、現場作業者からの報告書および現場作業者との電話による会話などを介して、製造機器の状況を把握することが想定される。また、機器担当者は、例えば、さらなる状況の把握、および製造機器に対する作業内容の説明を、現場作業者との電話で実施することが想定される。このとき、機器担当者は、例えば、現場の製造機器を観ていない状態、および通話の相手である現場作業者の視野および着目点が分からない状態で、製造機器の状況の聞き取りおよび作業内容の説明を行うことになる。また、このとき、現場作業者は、例えば、機器担当者が知りたい情報を正確には理解できていない状態で、自らの視点から見えている範囲で製造機器の状況を説明することになる。さらに、このとき、例えば、機器担当者と現場作業者との間で、同一の部品に異なる名称を用いるなど、前提とする知識および用語の共有化がなされていなければ、説明の内容が、相手に正しく伝わらず、相手に誤った内容で理解される危険性がある。その結果、例えば、機器担当者は、製造機器の状況の把握および製造機器に対する作業内容の伝達に非常に多くの時間を要してしまうことが想定される。具体的には、例えば、機器担当者が、製造機器についての誤った状況の把握に基づいて、不必要な作業内容を説明すれば、製造機器の復旧に対して、必要以上の多くの時間を要してしまうおそれがある。このような時間の浪費は、例えば、機器担当者と現場作業者とが言葉のみに頼って意思の疎通を図ることによって生じ得る。
【0018】
このような問題に対して、例えば、言葉だけでなく、静止画または動画などの映像その他の情報を利用することで、機器担当者と現場作業者との間における円滑な意思の疎通を図るシステム(遠隔作業支援システムともいう)が考えられる。このシステムでは、例えば、現場作業者が、スマートグラス、スマートフォンなどのような携帯可能な機器のカメラで目前の状況を撮像して得られた映像を、ネットワークなどの通信回線を介して機器担当者の端末機器に送信する態様が考えられる。このような態様では、例えば、機器担当者は、端末機器で受信した映像を視認することで、製造現場に行くことなく、現場作業者がリアルタイムで見ているものを視認することができる。また、例えば、現場作業者への作業内容の説明が、音声だけでなく、現場作業者の端末機器のディスプレイに、現場作業者が撮像で得た映像上に書き込まれた絵および文字などで示される態様も考えられる。これにより、現場作業者は、例えば、比較的容易に作業内容の説明を理解することができる。このとき、例えば、機器担当者が見たい場所を現場作業者に正しく伝えることで、現場作業者は、機器担当者が見たい映像を取得することができる。具体的には、例えば、機器担当者は、現場作業者に、製造機器の見たい場所および撮影角度などを伝えることができる。そして、現場作業者は、例えば、携行しているカメラ付きの機器を用いて、機器担当者が見たい映像を取得することができる。その結果、例えば、機器担当者は、見たい場所を容易に視認することができ、製造機器の状況の把握が容易となる。換言すれば、例えば、機器担当者は、製造機器の状況を正しく把握することが可能となり、現場作業者に作業内容を正しく伝えることができる。これにより、パソコン遠隔操作技術と比較して、例えば、機器担当者は、製造機器の状況を迅速かつ的確に把握した上で、状況に適した対策を講ずることができる。
【0019】
ただし、仮に遠隔作業支援システムを採用しても、機器担当者の意図に沿って、現場作業者が撮影を行うため、例えば、現場作業者が撮影者として長時間拘束されてしまう。このとき、例えば、機器担当者が、製造機器のアクシデントの原因を見つけるために、同じ場所を、何度も繰り返して見たり、製造機器を動作させながら見たり、といった態様になれば、現場作業者による撮影に要する時間が長くなる。その結果、例えば、現場作業者に対する作業負担が増大するおそれがある。また、例えば、機器担当者とっては、現場作業者に要請する作業が多くなる程、現場作業者に対する申し訳ない気持ちが増大する。その結果、例えば、機器担当者に対する精神的な負担が増大するおそれがある。このため、例えば、現場作業者に多大な作業を強いることなく、機器担当者が自分のペースで製造機器を周囲の様々な角度から確認可能な技術が存在すれば、機器担当者および現場作業者の作業効率が向上し得る。
【0020】
このような要請に対して、例えば、製造機器を周囲の様々な角度から見た画像を得る画像処理技術を適用することが考えられる。このような画像処理技術としては、例えば、多くの視点からの撮像で得た画像(多視点画像)を用いて、撮像対象物を任意の角度から見た再構成画像を生成および表示する技術が考えられる。この技術では、例えば、観察者の視点位置および画像出力装置の種類から算出される、画像の再構成に必要なパラメータが用いられて、再構成画像の各画素について多視点画像の対応する画素が演算で求められ、再構成画像が生成される。
【0021】
しかしながら、このような再構成画像を生成する画像処理では、画像の再構成に必要なパラメータの算出などに多大な演算が必要である。このため、製造機器を周囲の様々な角度から見た画像を得る画像処理については、演算量の低減を図る点で改善の余地がある。
【0022】
このような課題は、アクシデントが発生した製造機器が撮像対象物である場合だけでなく、立体的な撮像対象物を周囲の様々な角度から見た画像を得たい場面一般に共通する。すなわち、撮像対象物を周囲の様々な角度から見た画像を得る画像処理については、演算量の低減を図る点で改善の余地がある。
【0023】
そこで、本願発明者らは、撮像対象物を周囲の様々な角度から見た画像を得る画像処理について、演算量を低減することができる技術を創出した。
【0024】
これについて、以下、各種実施形態を図面に基づいて説明する。図面においては同様な構成および機能を有する部分に同じ符号が付されており、下記説明では重複説明が省略される。図面は模式的に示されたものである。図4図7図8および図11には、右手系のXYZ座標系が付されている。このXYZ座標系では、図4で示す水平方向に沿った第1方向が+X方向とされ、+X方向に直交し且つ水平方向に沿った第2方向が+Y方向とされ、+X方向と+Y方向との両方に直交する方向が+Z方向とされている。
【0025】
<1.第1実施形態>
<1−1.画像処理システム>
図1で示されるように、画像処理システム1は、第1装置2と、第2装置3と、通信回線4と、基地局5と、を備えている。ここでは、第1装置2は、例えば、無線方式または有線方式で基地局5に対して通信可能に接続されている。基地局5は、例えば、有線方式または無線方式で通信回線4に対して通信可能に接続されている。第2装置3は、例えば、有線方式または無線方式で通信回線4に対して通信可能に接続されている。通信回線4には、例えば、インターネットなどのネットワーク回線が適用される。このため、第2装置3は、例えば、通信回線4を介して第1装置2と通信可能に接続されている。
【0026】
第1装置2は、例えば、第1ユーザU1が使用可能な装置である。第1実施形態では、第1装置2は、例えば、撮像機能および通信機能などを有している。具体的には、第1装置2には、例えば、スマートフォンまたはタブレット端末などの撮像機能および通信機能を有する携帯機器が適用される。第1ユーザU1には、例えば、工場などの現場で撮像の対象物(撮像対象物ともいう)に対して作業を行う者(現場作業者ともいう)が含まれる。撮像対象物には、例えば、製造機器、検査機器および分析機器などの各種機器が含まれ得る。
【0027】
第2装置3は、例えば、第2ユーザU2が使用可能な装置である。第1実施形態では、第2装置3は、例えば、通信機能および画像表示機能などを有している。具体的には、第2装置3には、例えば、パーソナルコンピュータまたはタブレット端末などの通信機能および画像表示機能を有する機器が適用される。第2ユーザU2には、例えば、撮像対象物としての各種機器を開発、生産または販売したメーカーの担当者(機器担当者ともいう)が含まれる。機器担当者には、例えば、機器の開発者などが含まれる。
【0028】
このような画像処理システム1では、例えば、第2装置3は、通信回線4を介して、第1装置2に対して、各種の指示を送出することができる。また、例えば、第2装置3は、第1装置2で取得された各種の情報を、通信回線4を介して取得することができる。
【0029】
<1−2.第1装置の構成>
<1−2−1.第1装置の電気的な構成>
図2で示されるように、第1装置2は、例えば、制御部200、撮像部21、位置センサ22、方向センサ23、測距センサ24、表示部25、スピーカ26、通信部27、タッチパネル28および操作ボタン群29を備えている。
【0030】
制御部200は、例えば、一種の演算処理装置であって、例えば、電気回路であるCPU(Central Processing Unit)210、DSP(Digital Signal Processor)220および記憶媒体230などを備えている。制御部200は、例えば、第1装置2の他の構成要素を制御することで、第1装置2の動作を統括的に管理することが可能である。第1装置2は、例えば、SoC(System-on-a-Chip)、MCU(Micro Control Unit)およびFPGA(Field-Programmable Gate Array)などの副処理装置(co-processor)をさらに含んでいてもよい。また、第1装置2は、CPU(Central Processing Unit)および副処理装置の双方を協働させるか、あるいは双方のうちの一方を選択的に用いて、各種の制御をおこなってもよい。
【0031】
制御部200は、以下にさらに詳細に述べられるように、種々の機能を実行するための制御および処理能力を提供するために、少なくとも1つのプロセッサを含む。
【0032】
種々の実施形態によれば、少なくとも1つのプロセッサは、単一の集積回路(IC)として、または複数の通信可能に接続された集積回路および/またはディスクリート回路(discrete circuits)として実行されてもよい。少なくとも1つのプロセッサは、種々の既知の技術に従って実行されることが可能である。
【0033】
1つの実施形態において、プロセッサは、例えば、関連するメモリに記憶された指示を実行することによって1以上のデータ計算手続または処理を実行するように構成された1以上の回路またはユニットを含む。他の実施形態において、プロセッサは、1以上のデータ計算手続きまたは処理を実行するように構成されたファームウェア(例えば、ディスクリートロジックコンポーネント)であってもよい。
【0034】
種々の実施形態によれば、プロセッサは、1以上のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路(ASIC)、デジタル信号処理装置、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、またはこれらのデバイス若しくは構成の任意の組み合わせ、または他の既知のデバイスおよび構成の組み合わせを含み、以下に説明される機能を実行してもよい。
【0035】
記憶媒体230は、例えば、ROM(Read Only Memory)およびRAM(Random Access Memory)などの、CPU210およびDSP220が読み取り可能な非一時的な記録媒体を含む。記憶媒体230が有するROMは、例えば、不揮発性メモリ230bであるフラッシュROM(フラッシュメモリ)である。記憶媒体230が有するRAMは、例えば、揮発性メモリ230aである。記憶媒体230には、第1装置2を制御するためのメインプログラムおよび複数のアプリケーションプログラム(アプリケーションともいう)などが記憶されている。制御部200の各種機能は、CPU210およびDSP220が記憶媒体230内の各種プログラムを実行することによって実現される。記憶媒体230には、例えば、撮像部21を用いて静止画像あるいは動画像を撮像するための撮像アプリケーションならびに通信を行うためのアプリケーションが記憶されている。記憶媒体230に記憶されるアプリケーションには、例えば、第1装置2を制御するための制御プログラム2Prが含まれている。ここで、第1装置2では、制御プログラム2PrをCPU210などで実行することで、第1画像処理装置20としての機能を実現することができる。換言すれば、制御プログラム2Prによって、第1画像処理装置20が制御され得る。
【0036】
記憶媒体230は、ROMおよびRAM以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていてもよい。記憶媒体230は、例えば、小型のハードディスクドライブおよびSSD(Solid State Drive)などを備えていてもよい。記憶媒体230とは別の記憶媒体が存在していてもよい。この記憶媒体は制御部200の外部に位置していてもよい。後述する情報の記憶先は、記憶媒体230であってもよく、他の記憶媒体であってもよい。制御部200の全ての機能あるいは制御部200の一部の機能は、その機能の実現にソフトウェアが不要なハードウェアによって実現されても構わない。制御部200は回路によって形成されていればよい。制御部200の構成は後述する他の制御部にも適用できる。
【0037】
撮像部21は、例えば、レンズおよび撮像素子などを備えている。撮像部21は、制御部200によって制御され得る。撮像部21は、レンズを介して撮像素子で光を受光して、撮像画像を生成する。これにより、撮像部21は、撮像画像を取得することができる。撮像部21は、得られた撮像画像を制御部200へ出力することができる。撮像部21で取得される撮像画像は、静止画像の形態とされてもよいし、繰り返し(例えば、周期的に)撮像画像を生成して動画像の形態のものとされてもよい。ここで、例えば、第1ユーザU1が第1装置2を携帯しつつ移動と撮像対象物の撮像とを繰り返して行えば、撮像部21によって、視点の位置(視点位置ともいう)および視線の方向(視線方向ともいう)の組合せが相互に異なる条件で撮像対象物が撮像され得る。これにより、撮像部21は、例えば、撮像対象物に係る複数の画像(撮像画像ともいう)を得ることができる。ここで、視点位置は、例えば、撮像部21の位置を示す。視線方向は、例えば、視点位置を基準として撮像部21の光軸上において被写体が位置している方向(撮像方向ともいう)を示す。また、撮像部21は、得られた撮像画像を制御部200へ出力することができる。このとき、制御部200では、撮像部21によって順次に取得される複数の撮像画像が記憶媒体230に蓄積される。これにより、例えば、複数の撮像画像が蓄積されたデータベース(画像DBともいう)2Idが不揮発性メモリ230bなどに構築される。
【0038】
位置センサ22は、例えば、第1装置2の位置を計測するための情報を得ることができる。位置センサ22には、例えば、GPS(Global Positioning System)センサなどが適用される。位置センサ22は、得られた情報を制御部200へ出力することができる。このとき、制御部200では、例えば、位置センサ22で得られた情報が、画像DB2Idにおいて、対応する撮像画像と関連付けられた状態で記憶媒体230に記憶される。
【0039】
方向センサ23は、例えば、第1装置2の向きを計測するための情報を得ることができる。方向センサ23には、例えば、3軸地磁気センサなどの電子コンパスが適用される。方向センサ23は、得られた情報を制御部200へ出力することができる。このとき、制御部200では、例えば、方向センサ23で得られた情報が、画像DB2Idにおいて、対応する撮像画像と関連付けられた状態で記憶媒体230に記憶される。
【0040】
測距センサ24は、例えば、第1装置2から撮像対象物までの距離を計測するための情報を得ることができる。測距センサ24には、例えば、距離画像センサが適用される。距離画像センサの方式には、例えば、赤外線を用いて撮像対象物までの距離を非接触で測定する方式のものが適用される。測距センサ24は、得られた情報を制御部200へ出力することができる。このとき、制御部200では、例えば、測距センサ24で得られた情報が、画像DB2Idにおいて、対応する撮像画像と関連付けられた状態で記憶媒体230に記憶される。
【0041】
表示部25は、例えば、表示パネルおよび表示画面を有している。表示パネルは、例えば、第1装置2の1つの面である前面側に位置している。この表示パネルには、例えば、液晶パネルあるいは有機EL(Electro Luminescence)パネルが採用され得る。表示パネルは、制御部200に制御されることで、画像、文字、記号および図形などの各種情報を表示することが可能である。表示パネルが可視的に出力する各種情報は、表示画面に表示される。これにより、表示部25は、例えば、各種の情報を第1ユーザU1が認識可能な態様で可視的に出力することができる。ここで各種の情報には、例えば、撮像部21で取得される撮像画像、および通信部27で受信した各種の情報などが含まれ得る。
【0042】
スピーカ26は、例えば、音声を出力することができる。スピーカ26には、例えば、タイミックスピーカが適用され得る。例えば、スピーカ26では、制御部200からの電気的な音信号が音に変換されて出力され得る。これにより、スピーカ26は、例えば、音声情報を第1ユーザU1が可聴的に認識可能な態様で出力することができる。
【0043】
通信部27は、例えば、通信用のインターフェースであって、アンテナを有している。通信部27は、例えば、第1装置2とは別の装置からの信号、あるいは通信回線4に接続された第2装置3などからの信号を、例えば、基地局5を介してアンテナで受信することが可能である。
【0044】
上記のように、例えば、表示部25は、情報を可視的に出力することが可能であり、スピーカ26は、情報を可聴的に出力することが可能であり、通信部27は、情報をデータの形式で出力することが可能である。このため、例えば、表示部25、スピーカ26および通信部27は、情報を出力する出力部2ouを構成し得る。
【0045】
また、通信部27は、例えば、アンテナでの受信信号に対して適宜所定の信号処理を行って制御部200に処理後の受信信号を出力することが可能である。通信部27は、例えば、制御部200で生成された信号に対して、適宜所定の信号処理を行って処理後の送信信号をアンテナから無線送信することが可能である。アンテナからの送信信号は、例えば、基地局5を通じて、第1装置2以外の機器あるいは通信回線4に接続された第2装置3などで受信される。これにより、通信部27は、例えば、通信回線4を介して、第2装置3と通信することができる。
【0046】
タッチパネル28は、例えば、表示画面に対する指などの操作子による操作を検出することが可能である。タッチパネル28には、例えば、投影型静電容量方式のタッチパネルが適用され得る。タッチパネル28は、第1ユーザU1が指などの操作子によって表示画面に対して操作を行うと、その操作に応じた電気信号がタッチパネル28から制御部200に入力される。これにより、制御部200は、タッチパネル28からの電気信号に基づいて、表示画面に対して行われた操作の内容を特定して、その内容に応じた処理を行うことが可能である。第1ユーザU1は、指以外の操作子、例えば、スタイラスペンなどの静電式タッチパネル用ペンで表示画面を操作することによっても、第1装置2に対して各種指示を与えることができる。このタッチパネル28は、例えば、表示画面に対するスワイプ操作に応じて、表示部25の表示画面上に表示されている画像の範囲をスクロールさせることができる。また、このタッチパネル28は、例えば、表示画面に対するピンチインの操作に応じて、表示部25の表示画面上に表示されている画像を拡大させることができる。また、このタッチパネル28は、例えば、表示画面に対するピンチアウトの操作に応じて、表示部25の表示画面上に表示されている画像を縮小させることができる。
【0047】
操作ボタン群29は、操作ボタン群29に含まれる操作ボタンが第1ユーザU1によって操作されると、操作されたことを示す操作信号を制御部200に出力することができる。これにより、制御部200は、操作ボタンからの操作信号に基づいて、操作ボタンが操作されたか否かを判断することができる。制御部200は、操作された操作ボタンに応じた処理を行うことが可能である。操作ボタンは、押しボタンなどのハードウェアボタンではなく、表示画面に表示されるソフトウェアボタンであってもよい。この場合には、例えば、第1ユーザU1によるソフトウェアボタンへの操作がタッチパネル28によって検出され、制御部200では、操作されたソフトウェアボタンに応じた処理が行われ得る。
【0048】
このように、例えば、タッチパネル28および操作ボタン群29は、第1ユーザU1の動作に応答して操作信号を入力する入力部2inとなり得る。入力部2inには、例えば、タッチパネル28および操作ボタン群29以外のポインティングデバイスなどが含まれていてもよい。
【0049】
<1−2−2.第1画像処理装置の機能的な構成>
図3は、第1装置2が第1画像処理装置20として機能する場合における、第1画像処理装置20の機能的な構成の一例を示す機能ブロック図である。図3で示されるように、第1画像処理装置20は、例えば、撮像部21、位置計測部221、方向計測部231、距離計測部241、解像度算出部211、通信部27、指示生成部212、出力部2ouおよび入力部2inを備えている。ここで、解像度算出部211および指示生成部212は、例えば、記憶媒体230に格納された制御プログラム2Prを制御部200で実行することで実現され得る機能的な構成である。
【0050】
撮像部21は、例えば、撮像対象物およびその周辺の状況を撮像することができる。
【0051】
位置計測部221は、例えば、位置センサ22と制御部200との協働によって機能的な構成として実現され得る。位置計測部221では、例えば、撮像部21によって取得される複数の撮像画像のそれぞれについて、撮像時における撮像部21の位置が計測されることで、撮像時における視点位置を示す情報(視点位置情報ともいう)が得られる。この位置計測部221では、例えば、GPSの計測技術に則った演算によって視点位置が算出され得る。ここでは、例えば、無線LAN(Local Area Network)の基地局と、位置センサ22と、の間における信号の送受信に応じた補正演算が加えられてもよい。ここで、例えば、GPSの代わりに、全球測位衛星システム(Global Navigation Satellite System:GNSS)における、GLONASS(Global Navigation Satellite System)、ガリレオ(Galileo)または準天頂衛星(Quasi-Zenith Satellite System:QZSS)などの他の測位システムが採用されてもよい。また、ここで、例えば、位置センサ22に、ジャイロおよび加速度センサを適用し、位置計測部221において、位置センサ22における検出値に基づいて、視点位置が算出されてもよい。制御部200では、例えば、位置計測部221で得られた視点位置情報が、画像DB2Idにおいて対応する撮像画像と関連付けられた状態で記憶媒体230に記憶される。
【0052】
方向計測部231は、例えば、方向センサ23と制御部200との協働によって機能的な構成として実現され得る。方向計測部231では、例えば、撮像部21によって取得される複数の撮像画像のそれぞれについて、撮像時における撮像部21の向きが計測されることで、撮像時における視線方向を示す情報(視線方向情報ともいう)が得られる。この方向計測部231では、例えば、3軸地磁気センサの検出値に基づいて、撮像部21が向いている視線方向が算出され得る。方向センサ23には、例えば、傾斜センサが加えられてもよい。制御部200では、例えば、方向計測部231で得られた視線方向情報が、画像DB2Idにおいて対応する撮像画像と関連付けられた状態で記憶媒体230に記憶される。
【0053】
上記のようにして、撮像部21、位置計測部221および方向計測部231を含む取得部2acでは、複数の撮像画像と、これらの複数の撮像画像のそれぞれの撮像時に係る視点位置情報および視線方向情報と、が取得され得る。
【0054】
ここで、図4で示すように、例えば、第1ユーザU1が撮像対象物Ob0の周囲を回りながら、撮像対象物Ob0およびその周辺を時間順次に撮像する場合を想定する。この場合には、例えば、次のような視点位置および視線方向における撮像が順に行われ得る。まず、第1ユーザU1は、視点位置p1において、視線方向v1での撮像と視線方向v2での撮像とを行う。次に、第1ユーザU1は、視点位置p1から視点位置p2に移動して、視点位置p2において、視線方向v3での撮像と視線方向v4での撮像とを行う。次に、第1ユーザU1は、視点位置p2から視点位置p3に移動して、視点位置p3において、視線方向v5での撮像と視線方向v6での撮像とを行う。次に、第1ユーザU1は、視点位置p3から視点位置p4に移動して、視点位置p4において、視線方向v7での撮像と視線方向v8での撮像とを行う。次に、第1ユーザU1は、視点位置p4から視点位置p5に移動して、視点位置p5において、視線方向v9での撮像と視線方向v10での撮像とを行う。このとき、例えば、取得部2acでは、10回の撮像によって10枚の撮像画像が取得され、各撮像画像について視点位置情報と視線方向情報とが取得され得る。
【0055】
距離計測部241は、例えば、測距センサ24と制御部200との協働によって機能的な構成として実現され得る。距離計測部241では、例えば、撮像部21によって取得される複数の撮像画像のそれぞれについて、撮像時における視点位置から撮像対象物Ob0の表面までの距離の分布を示す情報(距離分布情報ともいう)が得られる。ここでは、例えば、撮像部21によって取得される撮像画像を構成する全画素について、視点位置から各画素で捉えられた撮像対象物Ob0の表面部分までの距離が得られる。距離分布情報は、例えば、距離画像とも称する。距離計測部241では、例えば、測距センサ24の検出値に基づいて、TOF(Time of Flight)方式に則った演算によって視点位置から撮像対象物Ob0の表面までの距離の分布が算出され得る。ここで、例えば、測距センサ24が2つの視点を用いた三角測量を行うための情報を得るセンサとされ、距離計測部241において三角測量の技術に則った演算によって距離分布情報が取得されてもよい。ここでは、例えば、取得部2acに、距離計測部241が含まれていれば、取得部2acでは、複数の撮像画像のそれぞれの撮像時に係る距離分布情報も取得され得る。
【0056】
解像度算出部211は、例えば、撮像部21で得られた各撮像画像について、撮像時に距離計測部241で得られた距離分布情報と、撮像部21の特性情報とに基づき、撮像対象物Ob0を捉えた画像部分の解像度(撮像解像度ともいう)を算出することができる。ここで、特性情報には、例えば、撮像部21における有効画素数の情報(画素数情報ともいう)および撮像部21の画角(視野角ともいう)を示す情報(画角情報ともいう)などが含まれる。画素数情報は、例えば、撮像画像の画素数を示す情報であってもよい。撮像部21の有効画素数および撮像画像の画素数には、例えば、横方向の画素数および縦方向の画素数が含まれる。撮像解像度としては、例えば、撮像画像において撮像対象物Ob0の表面の単位長さに対応する画素数などが採用される。ここでは、例えば、撮像画像の各画素について、視点位置から捉えられている撮像対象物Ob0の表面までの距離と、画角とに基づいて、撮像対象物Ob0の表面の単位長さの部分を表現している画素数が算出され得る。ここで、例えば、取得部2acに解像度算出部211が含まれていれば、取得部2acでは、複数の撮像画像のそれぞれについて撮像解像度を示す情報(撮像解像度情報ともいう)も取得され得る。
【0057】
通信部27は、例えば、撮像部21によって取得された複数の撮像画像と、これらの複数の撮像画像のそれぞれについての視点位置情報および視線方向情報とを、通信回線4を介して第2装置3に向けて送信することができる。これらの情報は、例えば、撮像部21によって撮像画像が取得される毎のタイミング、あるいは予め設定されたタイミングにおいて、通信部27によって通信回線4を介して第2装置3に向けて送信され得る。予め設定されたタイミングは、例えば、一定の時間間隔のタイミングであってもよいし、所定数の撮像画像の取得ごとのタイミングであってもよいし、第1ユーザU1などの動作に応答して入力部2inで入力される信号に応答するタイミングでもよい。ここで、通信部27では、例えば、撮像画像とともに、この撮像画像に対応する視線位置情報および視線方向情報と、この撮像画像に対応する距離分布情報および撮像解像度情報の少なくとも一方を含む他の情報とが、通信回線4を介して第2装置3に向けて送信されてもよい。また、他の情報には、例えば、撮像部21の特性情報が含まれてもよい。
【0058】
指示生成部212は、例えば、通信部27によって受信した各種の要求を示す情報(要求情報ともいう)などに基づいて、要求に応じた指示を示す情報(指示情報ともいう)を生成する。指示情報には、例えば、撮像対象物Ob0に対する特定の視点位置および視線方向における撮像を指示する情報(撮像指示情報ともいう)が含まれる。撮像指示情報には、例えば、ある視点位置およびある視線方向まで第1ユーザU1をガイドする地図などを含む情報(ガイド情報ともいう)が含まれ得る。
【0059】
出力部2ouは、例えば、撮像部21によって取得された撮像画像、および指示生成部212によって生成された撮像指示情報などの各種情報を、可視的に出力することができる。例えば、第1ユーザU1は、第1装置2を携帯し、出力部2ouを構成する表示部25に示される撮像指示情報を確認したうえで、撮像指示情報に応じた撮像対象物Ob0の撮像を実施することができる。
【0060】
入力部2inは、例えば、第1ユーザU1の動作に応じて、第1画像処理装置20において各種信号を入力することができる。このとき、第1画像処理装置20では、例えば、入力された各種信号に応じた撮像などの動作が行われ得る。
【0061】
<1−3.第2装置の構成>
<1−3−1.第2装置の電気的な構成>
図5で示されるように、第2装置3は、例えば、制御部300、表示部35、スピーカ36、通信部37、タッチパネル38および操作部39を備えている。
【0062】
制御部300は、例えば、一種の演算処理装置であって、例えば、電気回路であるCPU(Central Processing Unit)310および記憶媒体330などを備えている。制御部300は、例えば、第2装置3の他の構成要素を制御することで、第2装置3の動作を統括的に管理することが可能である。第2装置3は、例えば、上記第1装置2と同様に、SoC(System-on-a-Chip)、MCU(Micro Control Unit)およびFPGA(Field-Programmable Gate Array)などの副処理装置(co-processor)をさらに含んでいてもよい。また、第2装置3は、例えば、上記第1装置2と同様に、CPU(Central Processing Unit)および副処理装置の双方を協働させるか、あるいは双方のうちの一方を選択的に用いて、各種の制御をおこなってもよい。
【0063】
制御部300は、例えば、上記第1装置2の制御部200と同様に、以下にさらに詳細に述べられるように、種々の機能を実行するための制御および処理能力を提供するために、少なくとも1つのプロセッサを含む。
【0064】
記憶媒体330は、例えば、ROM(Read Only Memory)などの不揮発性メモリ330b、およびRAM(Random Access Memory)などの揮発性メモリ330aを有している。ROMには、例えば、フラッシュROM(フラッシュメモリ)などが含まれ得る。記憶媒体330には、第2装置3を制御するためのメインプログラムおよび複数のアプリケーションプログラム(アプリケーションともいう)などが記憶されている。制御部300の各種機能は、CPU310が記憶媒体330内の各種プログラムを実行することによって実現される。記憶媒体330には、例えば、第1装置2から送信されてきた複数の撮像画像を表示するための画像表示アプリケーションが記憶されている。記憶媒体330に記憶されるアプリケーションには、例えば、第2装置3を制御するための制御プログラム3Prが含まれている。ここで、第2装置3では、制御プログラム3PrをCPU310などで実行することで、第2画像処理装置30としての機能を実現することができる。換言すれば、制御プログラム3Prによって、第2画像処理装置30が制御され得る。
【0065】
記憶媒体330は、ROMおよびRAM以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていてもよい。記憶媒体330は、例えば、ハードディスクドライブおよびSSD(Solid State Drive)などを備えていてもよい。記憶媒体330とは別の記憶媒体が存在していてもよい。この記憶媒体は制御部300の外部に位置していてもよい。後述する情報の記憶先は、記憶媒体330であってもよく、他の記憶媒体であってもよい。制御部300の全ての機能あるいは制御部300の一部の機能は、その機能の実現にソフトウェアが不要なハードウェアによって実現されても構わない。制御部300は回路によって形成されていればよい。
【0066】
表示部35は、例えば、上記第1装置2の表示部25と同様に、表示パネルおよび表示画面を有している。この表示パネルは、制御部300に制御されることで、画像、文字、記号および図形などの各種情報を表示することが可能である。表示パネルが可視的に出力する各種情報は、表示画面に表示される。これにより、表示部35は、例えば、各種の情報を第2ユーザU2が認識可能な態様で可視的に出力することができる。ここで各種の情報には、例えば、通信部37で受信される撮像画像などが含まれ得る。
【0067】
スピーカ36は、例えば、上記第1装置2のスピーカ26と同様に、音声を出力することができる。例えば、スピーカ36では、制御部300からの電気的な音信号が音に変換されて出力され得る。これにより、スピーカ36は、例えば、音声情報を第2ユーザU2が可聴的に認識可能な態様で出力することができる。
【0068】
通信部37は、例えば、上記第1装置2の通信部37と同様に、通信用のインターフェースであって、通信回線4とデータの送受信が可能な態様で接続されている。このため、通信部37は、例えば、通信回線4を介して、第1装置2と通信可能に接続されている。この通信部37は、例えば、制御部300で生成された信号に対して適宜所定の信号処理を行ったうえで、処理後の送信信号を通信回線4に向けて送信することが可能である。通信部37から通信回線4への送信信号は、例えば、通信回線4に接続された第1装置2などで受信される。
【0069】
上記のように、例えば、表示部35は、情報を可視的に出力することが可能であり、スピーカ36は、情報を可聴的に出力することが可能であり、通信部37は、情報をデータの形式で出力することが可能である。このため、例えば、表示部35、スピーカ36および通信部37は、情報を出力する出力部3ouを構成し得る。
【0070】
また、通信部37は、例えば、第2装置3とは別の装置からの信号、あるいは通信回線4に接続された第1装置2などからの信号を受信することが可能である。ここで、通信部37は、例えば、通信回線4を介して、第1装置2から送信された、複数の撮像画像と、これらの複数の撮像画像のそれぞれの撮像時に係る視点位置情報および視線方向情報と、を受信可能な受信部3reとしての機能を有する。この受信部3reでは、例えば、複数の撮像画像のそれぞれの撮像時に係る距離分布情報が受信されてもよいし、複数の撮像画像のそれぞれについて撮像解像度を示す情報(撮像解像度情報)が受信されてもよい。
【0071】
換言すれば、ここで、通信部37は、例えば、通信回線4を介して、第1装置2から送信された、複数の撮像画像と、これらの複数の撮像画像のそれぞれの撮像時に係る視点位置情報および視線方向情報と、を取得可能な取得部3acとしての機能を有する。この取得部3acでは、例えば、複数の撮像画像のそれぞれの撮像時に係る距離分布情報が取得されてもよいし、複数の撮像画像のそれぞれについて撮像解像度を示す情報(撮像解像度情報)が取得されてもよい。
【0072】
また、通信部37では、例えば、受信した信号に対して適宜所定の信号処理を行って制御部300に処理後の受信信号を出力することが可能である。例えば、通信部37では、例えば、受信した撮像画像を制御部300に出力することが可能である。このとき、制御部300では、通信部37によって順次に取得される複数の撮像画像が記憶媒体330に蓄積される。これにより、例えば、複数の撮像画像が蓄積されたデータベース(画像DBともいう)3Idが不揮発性メモリ330bなどに構築される。
【0073】
タッチパネル38は、例えば、上記第1装置2のタッチパネル28と同様に、表示画面に対する指などの操作子による操作を検出することが可能である。タッチパネル38は、第2ユーザU2が指などの操作子によって表示画面に対して操作を行うと、その操作に応じた電気信号がタッチパネル38から制御部300に入力される。これにより、制御部300は、タッチパネル38からの電気信号に基づいて、表示画面に対して行われた操作の内容を特定して、その内容に応じた処理を行うことが可能である。第2ユーザU2は、指以外の操作子、例えば、スタイラスペンなどの静電式タッチパネル用ペンで表示画面を操作することによっても、第2装置3に対して各種指示を与えることができる。このタッチパネル38は、例えば、表示画面に対するスワイプ操作に応じて、表示部35の表示画面上に表示されている画像の範囲をスクロールさせることができる。また、このタッチパネル38は、例えば、表示画面に対するピンチインの操作に応じて、表示部35の表示画面上に表示されている画像を拡大させることができる。また、このタッチパネル38は、例えば、表示画面に対するピンチアウトの操作に応じて、表示部35の表示画面上に表示されている画像を縮小させることができる。
【0074】
操作部39は、例えば、キーボードおよびマウスなどの構成を含み、第2ユーザU2による操作に応じた操作信号を制御部300に出力することができる。これにより、制御部300は、操作部39からの操作信号に基づいて、操作部39が操作されたか否かを判断することができる。制御部300は、例えば、操作部39に対する第2ユーザU2の操作に応じた処理を行うことが可能である。操作部39には、例えば、表示画面に表示されるソフトウェアボタンが含まれてもよい。この場合には、例えば、第2ユーザU2によるソフトウェアボタンへの操作がタッチパネル38によって検出され、制御部300では、第2ユーザU2によって操作されたソフトウェアボタンに応じた処理が行われ得る。
【0075】
このように、例えば、タッチパネル38および操作部39は、第2ユーザU2の動作に応答して操作信号を入力する入力部3inとなり得る。
【0076】
<1−3−2.第2画像処理装置の機能的な構成>
図6は、第2装置3が第2画像処理装置30として機能する場合における、第2画像処理装置30の機能的な構成の一例を示す機能ブロック図である。図6で示されるように、第2画像処理装置30は、例えば、取得部3ac、出力部3ou、入力部3in、記憶媒体330、推定部311、検出部312、画像生成部313、解像度設定部314、領域設定部315、情報生成部316および切換部317を備えている。ここで、推定部311、検出部312、画像生成部313、解像度設定部314、領域設定部315、情報生成部316および切換部317は、例えば、記憶媒体330に格納された制御プログラム3Prを制御部300で実行することで実現され得る機能的な構成である。
【0077】
取得部3acは、例えば、第1画像処理装置20から送信された、複数の撮像画像と、これらの複数の撮像画像のそれぞれの撮像時に係る視点位置情報および視線方向情報と、を受信部3reとしての通信部37による受信によって取得することができる。ここで、例えば、第1画像処理装置20から複数の撮像画像のそれぞれの撮像時に係る距離分布情報も送信されていれば、取得部3acは、受信部3reとしての通信部37による受信によって距離分布情報を取得することができる。ここで、例えば、第1画像処理装置20から複数の撮像画像のそれぞれについて撮像解像度を示す撮像解像度情報が送信されていれば、取得部3acは、受信部3reとしての通信部37による受信によって撮像解像度情報を取得することができる。
【0078】
出力部3ouは、例えば、取得部3acによって取得された撮像画像、および後述する画像生成部313によって生成される合成画像などを可視的に出力することができる。合成画像は、例えば、撮像対象物Ob0の角部を挟む第1面と第2面とがそれぞれ捉えられた第1画像部分と第2画像部分とが合成されることで生成され得る。
【0079】
入力部3inは、例えば、第2ユーザU2の動作に応じて、第2画像処理装置30において各種信号を入力することができる。入力部3inでは、例えば、第2ユーザU2の動作に応じて、表示部35に表示されている各種画像の拡大または縮小を指示する信号が入力され得る。また、入力部3inでは、例えば、第2ユーザU2の動作に応じて、表示部35に表示されている各種画像のスクロールを指示する信号が入力され得る。
【0080】
記憶媒体330は、例えば、取得部3acによって取得された複数の撮像画像を記憶する。これにより、記憶媒体330において、例えば、複数の撮像画像が格納された画像DB3Idが構築され得る。画像DB3Idでは、例えば、各撮像画像が、対応する情報が関連付けられた状態で記憶され得る。ここで、対応する情報には、例えば、視点位置情報および視線方向情報が含まれる。対応する情報には、例えば、距離分布情報が含まれてもよいし、撮像解像度情報が含まれてもよい。
【0081】
推定部311は、例えば、取得部3acで取得された、複数の撮像画像のそれぞれに係る視点位置情報と視線方向情報とに基づいて、撮像対象物Ob0の存在位置を推定することができる。これにより、推定部311では、例えば、撮像対象物Ob0の存在位置を示す情報(存在位置情報ともいう)が取得され得る。
【0082】
ここで、図7および図8を参照しつつ、推定部311における撮像対象物Ob0の存在位置の推定方法について説明する。
【0083】
ここでは、まず、例えば、演算量を低減する目的で、図4で示されたような複数回の撮像時における視線方向から、近似的に代表的な視線方向(代表視線方向ともいう)が求められる。図7の例では、水平方向の360度の視線方向が採り得る範囲が、特定角度としての45度ずつの角度範囲Raj(jは0以上の整数、ここではjは0から8の整数)に8分割されている。ここで、各角度範囲Rajに対して、代表視線方向Vjが設定されている。具体的には、角度範囲Ra0に代表視線方向V0が設定されている。角度範囲Ra1に代表視線方向V1が設定されている。角度範囲Ra2に代表視線方向V2が設定されている。角度範囲Ra3に代表視線方向V3が設定されている。角度範囲Ra4に代表視線方向V4が設定されている。角度範囲Ra5に代表視線方向V5が設定されている。角度範囲Ra6に代表視線方向V6が設定されている。角度範囲Ra7に代表視線方向V7が設定されている。そして、推定部311では、視線方向情報で示される視線方向について、その視線方向が属する角度範囲Rajの代表視線方向が求められる。これにより、各撮像画像について、代表視線方向が求められ得る。ここでは、各角度範囲Rajは、例えば、45度以外のその他の角度であって、jがとり得る整数が任意に設定されてもよい。
【0084】
次に、図8で示されるように、撮像対象物Ob0を含むようにある程度の大きさの仮想的な空間(対象空間ともいう)Sp0を設定する。この対象空間Sp0を多数のボクセルBx0に分割する。図8には、対象空間Sp0が、X方向において座標x1から座標x11の11区間に分割され、Y方向において座標y1から座標y7の7区間に分割されている簡単な例が示されている。つまり、対象空間Sp0が、77個(=11×7個)のボクセルBx0に分割されている例が示されている。このとき、各ボクセルBx0は、X方向における座標xm(mは自然数、図8の例ではmは1から11の自然数)とY方向における座標yn(nは自然数、図8の例ではnは1から7の自然数)とを組み合わせた座標(xm,yn)で特定される。ここで、例えば、X方向およびY方向における対象空間Sp0の分割数が多い程、撮像対象物Ob0の存在位置が詳細に推定され得る。
【0085】
ここでは、例えば、各ボクセルBx0について、第1ユーザU1によって撮像されている方向がカウントされることで、撮像対象物Ob0の存在位置が推定され得る。具体的には、例えば、各撮像画像について、対象空間Sp0のうちの撮像時に視線が通っている各ボクセルBx0に対して、撮像時の視線方向が有効とされる。ここで、対象空間Sp0のうちの撮像時に視線が通っているボクセルBx0は、例えば、各撮像画像についての撮像時の視点位置と視線方向とに基づいて特定され得る。各ボクセルBx0で有効化されている撮像時の視線方向は、例えば、演算量を低減する目的で、上記で求められた代表視線方向とする。
【0086】
図8の例では、複数の撮像画像のすべてについて有効化されている代表視線方向が、各ボクセルBx0に太い矢印で示されている。図8の例では、例えば、座標(x4,y1)のボクセルBx0では、代表視線方向V4が有効とされている。例えば、座標(x6,y4)のボクセルBx0では、最も多い4つの代表視線方向V0,V3,V4,V6が有効とされている。このため、例えば、座標(x6,y4)のボクセルBx0は、撮像対象物Ob0の存在位置であることが推定され得る。ここで、例えば、閾値以上の数の代表視線方向が有効とされている1以上のボクセルBx0が、撮像対象物Ob0の存在位置と推定されてもよい。また、例えば、第1ユーザU1が移動した軌跡で囲まれた1以上のボクセルBx0が、撮像対象物Ob0の存在位置と推定されてもよい。
【0087】
このようにして、撮像対象物Ob0の存在位置が推定される場合には、第1ユーザU1は、撮像画像に撮像対象物Ob0が捉えられているのか、移動時に足下または撮像対象物Ob0の周囲が捉えられているのかなどを意識せずに、複数回の撮像を行うことができる。これにより、第1装置2において一定の時間間隔で撮像画像が取得される態様が容易に採用され得る。
【0088】
また、ここで、対象空間Sp0が水平方向だけでなく垂直方向にも分割されてもよい。この場合には、例えば、撮像時の視線方向には、傾斜センサを用いて算出される傾斜角度が含まれていてもよい。この場合には、例えば、制御部300において、傾斜センサで検出された重力加速度の値から第1装置2の傾斜角度の値が算出され得る。
【0089】
解像度設定部314は、例えば、第2ユーザU2の動作に応答して入力される信号に応じて、表示部35で表示される画像における、撮像対象物を捉えた画像部分についての解像度(表示解像度ともいう)を設定することができる。例えば、表示部35に合成画像が表示されている場合には、解像度設定部314は、第2ユーザU2の動作に応答して入力される信号に応じて、合成画像のうち、拡大表示画像部分の範囲を設定するとともに、この拡大表示画像部分における表示解像度を設定することができる。拡大表示画像部分は、例えば、表示部35に表示されている合成画像のうち、表示部35に拡大表示する部分の範囲であればよい。
【0090】
ここで、第2ユーザU2の動作としては、例えば、マウスホイールの回転あるいは表示画面に対するピンチインおよびピンチアウトの操作などが挙げられる。例えば、図9(a)で示されるように、表示画面Sc0に撮像対象物の領域Ar0が捉えられた画像部分Ip0が表示されている状態を想定する。この状態で、表示画面Sc0に対してピンチインの操作が行われると、撮像対象物の領域Ar0に包含されている領域Ar1が捉えられた画像部分Ip1が、図9(b)で示されるように、表示画面Sc0全体に拡大表示され得る。ここで、表示解像度には、例えば、上記撮像解像度と同様に、画像において撮像対象物Ob0の表面の単位長さに対応する画素数などが採用される。この表示解像度は、例えば、表示画面Sc0で設定された撮像対象物Ob0を捉えた画像部分の表示範囲と、この画像部分における撮像対象物Ob0の表面の単位長さの部分と、表示画面Sc0の縦方向および横方向における画素数と、に基づいて算出され得る。単位長さの部分は、例えば、撮像画像の各画素についての、視点位置から捉えられている撮像対象物Ob0の表面までの距離と、画角と、撮像画像を表示するための拡大率と、に基づいて算出され得る。拡大率は、例えば、第2ユーザU2の動作に応じて決定され得る。
【0091】
領域設定部315は、例えば、第2ユーザU2の動作に応答して入力される信号に応じて、撮像対象物Ob0のうちの表示部35で可視的に出力される画像で捉えられた表示対象領域を設定することができる。ここで、表示対象領域は、例えば、撮像対象物Ob0のうちの表示部35で可視的に出力される領域であればよい。表示対象領域は、例えば、視点位置情報、視線方向情報、撮像部21の画角を含む特性情報および撮像対象物Ob0の存在位置などに基づいて、対象空間Sp0における表示対象領域の空間的な位置を示す座標で管理され得る。ここで、例えば、撮像画像に係る距離分布情報が加味されれば、撮影画像で捉えられた撮像対象物Ob0の部分の形状が認識可能であり、対象空間Sp0における表示対象領域の空間的な位置を示す座標の精度が高まり得る。
【0092】
また、領域設定部315は、例えば、第2ユーザU2の動作に応答して入力される信号に応じて、表示部35で可視的に出力される画像で捉えられた表示対象領域を変更することができる。さらに、例えば、表示部35に合成画像が表示されている場合には、領域設定部315は、第2ユーザU2の動作に応答して入力される信号に応じて、撮像対象物のうちの表示部35で可視的に出力される合成画像で捉えられた表示対象領域を変更することができる。
【0093】
ここで、第2ユーザU2の動作としては、例えば、操作子による表示画面Sc0に対するスワイプ操作などが挙げられる。例えば、図10(a)で示されるように、表示画面Sc0に撮像対象物の表示対象領域(既表示領域ともいう)Ar2が捉えられた画像部分Ip2が表示されている状態を想定する。この状態で、例えば、操作子である指Fg0による表示画面Sc0に対するスワイプ操作が行われると、図10(b)で示されるように、既表示領域Ar2が捉えられた画像部分Ip2が移動する。このとき、表示画面Sc0では、例えば、既表示領域Ar2を捉えた画像部分Ip2の一部が表示画面Sc0の外に消え、既表示領域Ar2の残部Ar21を捉えた画像部分Ip21が表示される。また、例えば、表示画面Sc0のうちの画像部分Ip2がずれて存在しなくなった部分には、撮像対象物の既表示領域Ar2と隣接する領域(非表示領域)Ar22が捉えられた画像部分Ip22が新たに表示され得る。このようにして、例えば、第2ユーザU2は、表示画面Sc0に対するスワイプ操作によって、表示部25の表示画面Sc0上に表示されている画像をスクロールさせることができる。
【0094】
検出部312は、例えば、記憶媒体330の画像DB3Idに蓄積された複数の撮像画像のうち、解像度設定部314によって設定された表示解像度に対応する画像部分を検出することができる。
【0095】
ここで、例えば、図11で示されるように、第1ユーザU1が、壁600wlと窓600wdとを含む背景600の前に位置する撮像対象物Ob0の周囲を移動しながら、視点位置p11,p12,p13,p14で、第1装置2を用いて順に撮像を行った場合を想定する。図11の例では、各視点位置p11,p12,p13,p14からの視線方向が矢印で描かれている。撮像間において、視点位置p11,p12,p13,p14と視線方向との組が相互に異なる。図11の例では、撮像対象物Ob0は、角部Cn1を挟むように位置している第1面SfAと第2面SfBとを有している。
【0096】
図11で示された条件での撮像が行われた場合に、例えば、図12(a)は、視点位置p11での撮像で取得された撮像画像Im11を示している。例えば、図12(b)は、視点位置p12での撮像で取得された撮像画像Im12を示している。例えば、図12(c)は、視点位置p13での撮像で取得された撮像画像Im13を示している。例えば、図12(d)は、視点位置p14での撮像で取得された撮像画像Im14を示している。
【0097】
ここで、図12(a)で示されるように、例えば、撮像画像Im11は、第1面SfAを捉えた画像部分Ipaによって構成されている。図12(b)で示されるように、例えば、撮像画像Im12は、第1面SfAを捉えた画像部分Ipa、壁600wlを捉えた画像部分Ipwlおよび窓600wdを捉えた画像部分Ipwdによって構成されている。具体的には、撮像画像Im12では、例えば、左部で第1面SfAが捉えられ、中央部から右端にかけた部分で、背景600に含まれる壁600wlおよび窓600wdが捉えられている。図12(c)で示されるように、例えば、撮像画像Im13は、第1面SfAを捉えた画像部分Ipa、第2面SfBを捉えた画像部分Ipb、壁600wlを捉えた画像部分Ipwlおよび窓600wdを捉えた画像部分Ipwdによって構成されている。具体的には、撮像画像Im13では、例えば、左端部近傍の部分で第1面SfAと第2面SfBとが捉えられ、その残部で、背景600に含まれる壁600wlおよび窓600wdが捉えられている。図12(d)で示されるように、例えば、撮像画像Im14は、第1面SfAを捉えた画像部分Ipa、第2面SfBを捉えた画像部分Ipbおよび壁600wlを捉えた画像部分Ipwlによって構成されている。具体的には、撮像画像Im14では、例えば、左端部近傍の部分で第1面SfAが捉えられ、中央部を含む広い部分で第2面SfBが捉えられ、残りの左側の部分で背景600に含まれる壁600wlが捉えられている。
【0098】
ここで、例えば、表示対象領域が撮像対象物Ob0の第1面SfAに含まれている場合を想定する。この場合には、例えば、検出部312では、その時点において表示部35で表示の対象とされている画像部分について、撮像解像度が、解像度設定部314による変更後の表示解像度以上であるか否かが検出され得る。
【0099】
また、ここで、例えば、表示対象領域が撮像対象物Ob0の角部Cn1を挟む第1面SfAと第2面SfBとを含む場合を想定する。この場合には、例えば、検出部312では、画像DB3Idから、撮像対象物Ob0の第1面SfAが捉えられ、表示解像度に対応する第1画像部分が検出され、撮像対象物Ob0の第2面SfBが捉えられ、表示解像度に対応する第2画像部分が検出され得る。
【0100】
このように、検出部312では、例えば、画像DB3Idから、撮像対象物Ob0の第1面SfAが捉えられた、撮像解像度が表示解像度以上である第1画像部分が検出され得る。検出部312では、例えば、画像DB3Idから、撮像対象物Ob0の第2面SfBが捉えられた、撮像解像度が表示解像度以上である第2画像部分が検出され得る。これにより、合成用の第1画像部分と第2画像部分とが検出され得る。その結果、例えば、後述する画像生成部313において、第2ユーザU2が撮像対象物Ob0を視認しやすい合成画像が容易に生成され得る。
【0101】
また、検出部312は、例えば、記憶媒体330の画像DB3Idに蓄積された複数の撮像画像のうち、領域設定部315によって設定された表示対象領域に対応する画像部分を検出することができる。表示対象領域に対応する画像部分が、例えば、撮像解像度が表示解像度以上である画像部分であれば、視認性に優れた表示用の画像が生成され得る。
【0102】
ここで、例えば、表示対象領域が撮像対象物Ob0の第1面SfAに含まれる場合を想定する。この場合には、検出部312では、例えば、第1面SfAが捉えられた撮像画像から、表示対象領域に対応する画像部分が検出され得る。
【0103】
また、ここで、例えば、設定後あるいは変更後の表示対象領域が撮像対象物Ob0の角部Cn1を挟む第1面SfAと第2面SfBとを含む場合を想定する。この場合には、検出部312では、例えば、画像DB3Idから、撮像対象物Ob0の第1面SfAのうちの設定後あるいは変更後の表示対象領域に含まれる領域(第1領域ともいう)が捉えられた第1画像部分が検出され得る。また、検出部312では、例えば、撮像対象物Ob0の第2面SfBのうちの設定後あるいは変更後の表示対象領域に含まれる領域(第2領域ともいう)が捉えられた第2画像部分が検出され得る。
【0104】
ここでは、検出部312によって、例えば、画像DB3Id内の複数の撮像画像について、視点位置情報と、視線方向情報と、存在位置情報と、撮像部21の特性情報と、に基づいて、撮像対象物Ob0が捉えられた画像部分がそれぞれ認識され得る。このとき、例えば、視線上から撮像対象物Ob0がずれている状態で撮像が行われていても、撮像画像から撮像対象物Ob0が捉えられた画像部分が認識され得る。
【0105】
そして、検出部312では、例えば、撮像画像について、視点位置情報と、視線方向情報と、存在位置情報と、撮像部21の特性情報と、に基づいて、撮像対象物Ob0における第1領域を第1視点位置から第1視線方向で捉えた第1画像部分が検出され得る。ここでは、例えば、第1領域が、撮像対象物Ob0の第1面SfAのうちの表示対象領域に含まれる領域であり、対象空間Sp0における座標で表示対象領域が管理されていれば、第1領域の位置が容易に認識され得る。そして、例えば、第1領域の位置と、撮像時における視点位置、視線方向および画角と、に基づいて、第1領域を第1視点位置から第1視線方向で捉えた第1画像部分が検出され得る。
【0106】
また、検出部312では、例えば、撮像画像について、視点位置情報と、視線方向情報と、存在位置情報と、撮像部21の特性情報と、に基づいて、撮像対象物Ob0における第2領域を第2視点位置から第2視線方向で捉えた第2画像部分が検出され得る。ここでは、例えば、第2領域が、撮像対象物Ob0の第2面SfBのうちの表示対象領域に含まれる領域であり、対象空間Sp0における座標で表示対象領域が管理されていれば、第2領域の位置が容易に認識され得る。そして、例えば、第2領域の位置と、撮像時における視点位置、視線方向および画角と、に基づいて、第2領域を第2視点位置から第2視線方向で捉えた第2画像部分が検出され得る。ここでは、例えば、第1視点位置と第1視線方向との組合せと、第2視点位置と第2視線方向との組合せと、は異なるものであればよい。
【0107】
ここで、例えば、撮像対象物Ob0において、第1領域と第2領域とが隣接する領域であれば、撮像対象物Ob0の異なる方向から見ることができる隣接している部分を合成した合成画像が生成され得る。これにより、例えば、第2ユーザU2にとって撮像対象物Ob0を周囲の様々な方向から見た一覧性の良い画像が生成され得る。第1領域と第2領域とが隣接する領域であることは、例えば、第1領域と第2領域とが隣接して捉えられている撮像画像の存在によって認識され得る。このとき、第1領域と第2領域との境界部分には、例えば、角部が存在しており、存在位置情報および距離分布情報のうちの少なくとも一方に基づいて、第1領域と第2領域とが角部において隣接していることが認識され得る。
【0108】
ところで、例えば、第1領域の第1面SfAに対して第1視線方向が垂直であれば、第1画像部分は、第1領域を正面から捉えた歪みのない画像部分となる。このため、検出部312では、例えば、第1領域の位置情報、視点位置情報および視線方向情報に基づいて、第1領域を正面から捉えた第1画像部分が検出されてもよい。また、検出部312では、例えば、複数の撮像画像について、視点位置情報と、視線方向情報と、距離分布情報と、存在位置情報と、に基づき、第1画像部分が検出されてもよい。このとき、例えば、視点位置から撮像画像において捉えられた第1領域までの距離の分布が略一定であれば、第1領域を正面から捉えた第1画像部分が容易かつ精度良く検出され得る。ここで、例えば、撮像対象物Ob0の表面に凹凸などがある場合には、視点位置から撮像画像において捉えられた第1領域までの距離のばらつきが小さくなる条件を満たせば、第1領域を正面から捉えた第1画像部分が検出され得る。ばらつきは、例えば、分散または標準偏差などの統計値で表すことが可能である。
【0109】
また、例えば、第2領域の第2面SfBに対して第2視線方向が垂直であれば、第2画像部分は、第2領域を正面から捉えた歪みのない画像部分となる。このため、検出部312では、例えば、第2領域の位置情報、視点位置情報および視線方向情報に基づいて、第2領域を正面から捉えた第2画像部分が検出されてもよい。また、検出部312では、例えば、複数の撮像画像について、視点位置情報と、視線方向情報と、距離分布情報と、存在位置情報と、に基づき、第2画像部分が検出されてもよい。このとき、例えば、視点位置から撮像画像において捉えられた第2領域までの距離の分布が略一定であれば、第2領域を正面から捉えた第2画像部分が容易かつ精度良く検出され得る。ここで、例えば、撮像対象物Ob0の表面に凹凸などがある場合には、視点位置から撮像画像において捉えられた第2領域までの距離のばらつきが小さくなる条件を満たせば、第2領域を正面から捉えた第1画像部分が検出され得る。ばらつきは、例えば、分散または標準偏差などの統計値で表すことが可能である。
【0110】
ところで、上述したように、例えば、図10(a)および図10(b)で示されるように、表示部25の表示画面Sc0上に表示されている画像の範囲をスクロールさせる際には、領域設定部315によって表示対象領域が変更される。また、例えば、表示部35に合成画像が表示されていれば、領域設定部315によって、撮像対象物のうちの表示部35で可視的に出力される合成画像で捉えられた表示対象領域が変更され得る。
【0111】
ここで、変更後の表示対象領域は、例えば、撮像対象物Ob0のうち、表示部35で既に可視的に出力されている合成画像(第1合成画像ともいう)で捉えられている既表示領域Ar2の残部Ar21と、第1合成画像で捉えられていない非表示領域Ar22と、を含む。
【0112】
検出部312では、例えば、非表示領域Ar22の設定に応答して、画像DB3Idの複数の撮像画像について、視点位置情報と、視線方向情報と、存在位置情報と、に基づき、非表示領域Ar22を捉えた画像部分(第3画像部分ともいう)Ip22が検出される。ここでは、第3画像部分Ip22は、例えば、上述した検出部312による第1画像部分および第2画像部分の検出と同様な手法によって検出され得る。
【0113】
画像生成部313は、例えば、検出部312で検出された第1画像部分と第2画像部分とを合成することで、合成画像を生成することができる。ここでは、例えば、撮像対象物Ob0を相互に異なる方向から撮像して得られた第1画像部分と第2画像部分とが並べられるように合成される。これにより、例えば、撮像対象物Ob0を周囲の複数の角度から捉えた擬似的な3次元画像である合成画像が比較的少ない演算量で容易に取得され得る。
【0114】
画像生成部313で生成される合成画像は、例えば、出力部3ouで出力されてもよいし、記憶媒体330に記憶されてもよい。このとき、出力部3ouにおける合成画像の出力には、例えば、表示部35における合成画像の可視的な出力、および通信部37による合成画像のデータの送信などが含まれ得る。これにより、例えば、第2画像処理装置30における合成画像の視認もしくは蓄積、あるいは他の装置における合成画像の視認もしくは蓄積、などが可能となる。ここで、表示部35において合成画像が可視的に出力されれば、例えば、第2画像処理装置30において、第2ユーザU2が合成画像を視認することができる。
【0115】
また、表示画面Sc0上に合成画像(第1合成画像)が表示されている際にも、表示画面Sc0上で画像の範囲をスクロールさせる場合がある。この場合には、画像生成部313は、例えば、既表示領域Ar2の一部を除く残部Ar21を捉えた画像部分(第4画像部分ともいう)Ip21と、検出部312で検出された第3画像部分Ip22と、を合成することで、第2合成画像を生成することができる。ここで、表示部35において第2合成画像が可視的に出力されれば、例えば、第2画像処理装置30において、第2ユーザU2は合成画像をスクロールさせることができる。
【0116】
例えば、図13(a)から図13(c)で示されるように、第2ユーザU2は、表示部35に表示される画像をスクロールさせることができる。具体的には、まず、図13(a)で示されるように、表示部35の表示画面Sc0全体に、撮像対象物Ob0の第1面SfAを捉えた画像部分Ipaが表示される。次に、図13(a)から図13(b)で示されるように、表示画面Sc0の右側の部分から中央の部分に向けて操作子である指Fg0を滑らせるスワイプ操作に応じて、表示画面Sc0上の画像が右から左へスクロールされる。このとき、表示画面Sc0では、撮像対象物Ob0の第1面SfAを捉えた画像部分Ipaが左方にずれ、その画像部分Ipaの右側に続くように、撮像対象物Ob0の第2面SfBを捉えた画像部分Ipbが出現する。さらに、図13(b)から図13(c)で示されるように、表示画面Sc0の中央の部分から左側の部分に向けて操作子である指Fg0を滑らせるスワイプ操作に応じて、表示画面Sc0上の画像が右から左へスクロールされる。このとき、表示画面Sc0では、撮像対象物Ob0の第1面SfAを捉えた画像部分Ipaがさらに左方にずれ、画像部分Ipaの右側に続くように、撮像対象物Ob0の第2面SfBを捉えた画像部分Ipbがさらに左側にずれて大きく表示される。
【0117】
このように、例えば、第1ユーザU1が、第1画像処理装置20を用いて撮像対象物Ob0について複数回の一連の撮像を行って、複数の撮像画像を蓄積しておけば、第2ユーザU2は、表示部35に表示される画像を任意にスクロールさせることができる。このため、例えば、第1ユーザU1に多大な作業を強いることなく、第2ユーザU2は自分のペースで撮像対象物Ob0を周囲の様々な角度から確認することができる。このため、例えば、第1ユーザU1および第2ユーザU2にとって、作業効率が向上し得る。さらに、ここでは、擬似的な3次元画像である合成画像の生成によって、比較的少ない演算量で、撮像対象物Ob0を周囲の様々な角度から見た画像を容易に得ることができる。
【0118】
情報生成部316は、例えば、不足している撮像画像(不足撮像画像ともいう)の撮像を要求する情報を生成ことができる。
【0119】
ここでは、例えば、表示部35において画像をスクロールさせる際に、検出部312によって、画像DB3Idに蓄積された複数の撮像画像において、非表示領域Ar22を捉えた画像部分が検出されない場合がある。この場合、検出部312によって非表示領域Ar22を捉えた画像部分の不足が検出されたことになる。この不足の検出に応答して、例えば、情報生成部316では、非表示領域Ar22を捉えた画像部分の不足に係る情報が生成され得る。ここで生成される情報は、例えば、出力部3ouによって出力され得る。ここでは、情報生成部316で生成される情報には、例えば、非表示領域Ar22を捉えた不足撮像画像の撮像を要求する情報(撮像要求情報ともいう)、あるいは非表示領域Ar22を捉えた撮像画像が不足していることを示す情報などが含まれ得る。
【0120】
また、ここでは、例えば、表示部35において画像を拡大させる際に、検出部312によって、画像DB3Idに蓄積された複数の撮像画像において、撮像解像度が表示解像度以上である1以上の拡大表示用の画像部分が検出されない場合がある。ここで、撮像解像度は、例えば、解像度設定部314で設定された拡大表示画像部分の範囲に係る撮像解像度であればよい。この場合、検出部312によって拡大表示用の撮像画像の不足が検出されたことになる。この不足の検出に応答して、例えば、情報生成部316では、拡大表示用の撮像画像の不足を示す情報が生成され得る。ここで生成される情報は、例えば、出力部3ouによって出力され得る。ここでは、情報生成部316で生成される情報には、例えば、拡大表示用の不足撮像画像の撮像を要求する情報(撮像要求情報)、あるいは拡大表示用の撮像画像が不足していることを示す情報が含まれ得る。
【0121】
撮像要求情報には、例えば、不足撮像画像の撮像条件を示す情報が含まれ得る。この撮像条件には、例えば、視点位置、視線方向および撮像解像度などの情報が含まれ得る。そして、情報生成部316で生成される情報は、例えば、出力部3ouを構成する通信部37によって、第1画像処理装置20に向けて送信され得る。このとき、第1画像処理装置20では、例えば、指示生成部212によって、例えば、撮像要求情報に基づき、撮像の要求に応じた指示を示す指示情報が生成され、出力部2ouで、撮像指示情報などの各種情報が、可視的に出力され得る。ここで、撮像指示情報には、例えば、撮像対象物Ob0に対する特定の視点位置および視線方向における撮像を指示する指示情報が含まれる。この指示情報には、例えば、特定の視点位置および視線方向まで第1ユーザU1をガイドする地図などのガイド情報が含まれ得る。これにより、例えば、撮像画像の不足が生じた場合に、第1ユーザU1に追加の撮像が要求され得る。
【0122】
また、情報生成部316で生成される情報は、例えば、出力部3ouを構成する表示部35などによって可視的に出力されてもよいし、出力部3ouを構成するスピーカ36などによって可聴的に出力されてもよい。これにより、例えば、第2ユーザU2は、スクロール先の合成用の画像部分の不足、あるいは拡大表示に必要な画像部分の不足を認識することができる。このとき、画像生成部313は、例えば、不足撮像画像が取得部3acによって取得されるまで、不足している画像部分については、補間処理などで仮の画像部分を生成し、合成画像の生成などに用いてもよい。このとき、例えば、表示部35には、仮の画像部分には、撮像を要求している旨あるいは不足撮像画像の補充を待機している旨のコメントが表示されてもよい。そして、画像生成部313では、例えば、不足撮像画像が取得部3acで受信によって取得されれば、仮の画像部分の代わりに、補充された撮像画像から適正な画像部分を検出し、合成画像の生成などに用いてもよい。このとき、例えば、表示部35では、仮の画像部分が、適正な画像部分に置換され、撮像を要求している旨のコメントが削除されればよい。
【0123】
切換部317は、例えば、取得部3acで2以上の撮像画像が時間順次に取得されている状態で、第2ユーザU2の動作に応答して入力される信号に応じて、画像生成部313で出力用の画像を生成するモード(画像生成モードともいう)を切り換えることができる。切換部317では、例えば、画像生成モードが、第1画像生成モードと、第2画像生成モードと、第3画像生成モードと、の間で選択的に切り換えられ得る。これにより、例えば、2以上の撮像画像が時間順次に取得されている状態において、第2ユーザU2の意図に即した表示用の画像が生成および表示され得る。
【0124】
例えば、第1画像生成モードでは、画像生成部313は、取得部3acで撮像画像が取得されるたびに、その撮像画像を用いて出力用の画像を準備することができる。
【0125】
ここで、例えば、図14(a)で示されるように、太い二点鎖線の矢印で示される経路で撮像対象物Ob0を捉えた複数の撮像画像が取得されている場合を想定する。図14(a)の例では、撮像対象物Ob0の領域Ai1を捉えた複数の撮像画像が取得部3acによって既に取得されている様子が示されている。このとき、例えば、時刻t0に、図14(b)で示される撮像画像It0が取得部3acで取得されれば、図14(c)で示されるように、撮像画像It0から出力用の画像が生成される。次に、例えば、時刻t1に、図14(d)で示される撮像画像It1が取得部3acで取得されれば、図14(e)で示されるように、撮像画像It1から出力用の画像が生成される。次に、例えば、時刻t2に、図14(f)で示されるように、新たな撮像画像It2が取得部3acで取得されていなければ、図14(g)で示されるように、撮像画像It1から出力用の画像が生成される。このような第1画像生成モードは、例えば、第2ユーザU2が特段、画像生成モードを変えるための操作を行わなかった場合に、選択され得る。
【0126】
例えば、第2画像生成モードでは、画像生成部313は、取得部3acで既に取得されていた複数の撮像画像について、検出部312で検出される第1画像部分と第2画像部分とを合成することで、出力用の画像としての合成画像を生成することができる。
【0127】
ここでも、例えば、図15(a)で示されるように、撮像対象物Ob0の領域Ai1を捉えた複数の撮像画像が取得部3acによって既に取得されている場合を想定する。この場合、例えば、まず、図15(a)で示されるように、操作子である指Fg0による第2ユーザU2の表示画面Sc0に対するスワイプ操作によって、撮像対象物Ob0の既に撮像済みの領域Ai1内に、表示対象領域Ar2が設定される。このとき、図15(b)で示されるように、撮像対象物Ob0の表示対象領域Ar2が捉えられた画像部分Ip2が表示画面Sc0に表示される。
【0128】
次に、例えば、図15(b)から図15(c)で示されるように、指Fg0による表示画面Sc0に対するスワイプ操作で、図15(a)で示されるように、撮像対象物Ob0の撮像済みの領域Ai1内で、表示対象領域Ar2が表示対象領域Ar3に変更される。このとき、図15(b)から図15(c)で示されるように、表示対象領域Ar2が捉えられた画像部分Ip2が移動する。このとき、表示画面Sc0では、例えば、表示対象領域Ar2を捉えた画像部分Ip2の一部が表示画面Sc0の外に消え、表示対象領域Ar2の残部Ar21を捉えた画像部分(第4画像部分)Ip21が表示される。また、図15(c)で示されるように、例えば、表示画面Sc0のうちの画像部分Ip2がずれて存在しなくなった部分については、撮像対象物の表示対象領域Ar2と隣接する領域Ar22が捉えられた画像部分(第3画像部分)Ip22が用いられて、合成画像が表示され得る。このとき、例えば、上述したように、画像生成部313によって第4画像部分Ip21と第3画像部分Ip22とが合成されて合成画像が生成され、この合成画像が表示部35で表示される。このようにして、例えば、複数の撮像画像が取得されている途中であっても、第2ユーザU2は、表示画面Sc0に対するスワイプ操作によって、表示部25の表示画面Sc0上に表示されている画像の範囲をスクロールさせることができる。
【0129】
例えば、第3画像生成モードでは、画像生成部313は、取得部3acで既に取得されていた複数の撮像画像について検出部312で検出される第1画像部分と、直近に取得された撮像画像から検出部312で検出される第2画像部分と、を合成することができる。ここでは、第2画像部分は、例えば、取得部3acによる撮像画像の取得に応答して、その撮像画像から検出部312によって検出され得る。そして、画像生成部313では、例えば、第1画像部分と第2画像部分とが合成されることで、出力用の画像としての合成画像が生成され得る。
【0130】
ここでも、例えば、図16(a)で示されるように、撮像対象物Ob0の領域Ai1を捉えた複数の撮像画像が取得部3acによって既に取得されている場合を想定する。この場合、例えば、図16(a)で示されるように、操作子である指Fg0による第2ユーザU2の表示画面Sc0に対するスワイプ操作によって、撮像対象物Ob0の既に撮像済みの領域Ai1内に、表示対象領域Ar2が設定される。このとき、図16(b)で示されるように、撮像対象物Ob0の表示対象領域Ar2が捉えられた画像部分Ip2が表示画面Sc0に表示される。
【0131】
次に、例えば、図16(b)から図16(c)で示されるように、指Fg0による表示画面Sc0に対するスワイプ操作で、図16(a)で示されるように、表示対象領域Ar3が設定される。図16(a)の例では、表示対象領域Ar3は、撮像対象物Ob0の撮像済みの領域Ai1と、新たに取得部3acで取得される領域Acnとの境界部分を跨ぐように位置している。このとき、図16(b)から図16(c)で示されるように、表示対象領域Ar2が捉えられた画像部分Ip2が移動する。このとき、表示画面Sc0では、例えば、表示対象領域Ar2を捉えた画像部分Ip2の一部が表示画面Sc0の外に消え、表示対象領域Ar2の残部Ar21を捉えた第4画像部分Ip21が表示される。また、図16(c)で示されるように、例えば、表示画面Sc0のうちの画像部分Ip2がずれて存在しなくなった部分には、撮像対象物の表示対象領域Ar2と隣接する領域Ar22が捉えられた第3画像部分Ip22が用いられて、合成画像が表示され得る。
【0132】
但し、第3画像部分Ip22については、取得部3acで取得された撮像画像でカバーされていない部分がある。このため、例えば、撮像対象物Ob0の領域Acnを捉えた直近の撮像画像Icn(図16(e))が取得部3acで取得されれば、その直近の撮像画像Icnの一部分が合成画像の生成に使用され得る。そして、図16(d)で示されるように、出力用の画像としての合成画像が生成されて表示部35に表示される。このようにして、例えば、複数の撮像画像が取得されている途中であっても、第2ユーザU2は、表示画面Sc0に対するスワイプ操作によって、表示部25の表示画面Sc0上に表示されている画像の範囲をスクロールさせることができる。
【0133】
<1−4.画像処理システムの動作フロー>
<1−4−1.複数回の撮像動作>
図17は、画像処理システム1において撮像対象物Ob0についての複数回の撮像の動作(撮像動作ともいう)を行う際における動作フローの一例を示す流れ図である。この動作フローは、例えば、第1ユーザU1による第1画像処理装置20の入力部2inを介した信号の入力に応じて開始される。図17の例では、複数回の撮像のうち、便宜的に2回の撮像動作を行う部分に着目した動作フローが示されている。図18は、第1画像処理装置20における1回の撮像動作における動作フローの一例を示す流れ図である。
【0134】
まず、図17のステップS1では、例えば、第1画像処理装置20において、第1ユーザU1による入力部2inを介した信号の入力に応答して、第1画像処理装置20において撮像動作が行われる。撮像動作では、図18のステップS101からステップS105の処理が順に行われる。ステップS101では、撮像部21による撮像画像の取得および距離計測部241による距離画像(距離分布情報)の取得が行われる。ステップS102では、解像度算出部211によって、距離分布情報と撮像部21の特性情報とに基づき、撮像対象物Ob0を捉えた画像部分の撮像解像度が算出される。ステップS103では、位置計測部221によって、撮像時の視点位置が計測され、視点位置情報が取得される。ステップS104では、方向計測部231によって、撮像時の視線方向が計測されて、視線方向情報が取得される。ステップS101の処理とステップS102の処理との組、ステップS103の処理およびステップS104の処理は、任意の順で実行されてもよいし、並行して実行されてもよい。ステップS105では、通信部27によって、ステップS101で取得された撮像画像と、ステップS102からステップS104で取得された距離画像情報、視点位置情報および視線方向情報などの付属の情報(撮像付属情報ともいう)とが、第2装置3に送信される。
【0135】
次に、図17のステップS2では、第1画像処理装置20から通信回線4などを介して第2画像処理装置30に、撮像画像および撮像付属情報が送信される。
【0136】
ステップS3では、第2画像処理装置30において、取得部3acの通信部37によって、第1画像処理装置20からの撮像画像と撮像付属情報とが受信され、撮像画像と撮像付属情報とが関連付けられた状態で記憶媒体330に記憶される。
【0137】
ステップS4では、第2画像処理装置30において、ステップS3で受信および記憶された撮像画像が、表示部35で可視的に出力される。
【0138】
続いて、ステップS5からステップS8では、上記ステップS1からステップS4と同様な処理が行われる。これにより、例えば、第2画像処理装置30では、取得部3acにより、視点位置および視線方向の組合せが相互に異なる条件で撮像対象物を撮像して得た複数の撮像画像と、各撮像画像の撮像時に係る視点位置情報および視線方向情報と、が取得される。
【0139】
<1−4−2.撮像対象物の存在位置の推定>
図19は、第2画像処理装置30の推定部311において、M枚(Mは2以上の自然数)の撮像画像で捉えられた撮像対象物Ob0の存在位置を推定する際における動作フローの一例を示す流れ図である。この動作フローは、例えば、図17および図18で示された複数回の撮像動作に係る動作フローが終了した後に開始されてもよいし、複数回の撮像動作に係る動作フローと並行して実行されてもよい。ここでは、例えば、ステップS11からステップS19の処理が行われることで、複数の撮像画像のそれぞれに係る視点位置情報と視線方向情報とに基づいて、撮像対象物の存在位置が推定される。
【0140】
ステップS11では、撮像対象物Ob0を含む仮想的な対象空間Sp0が格子状に多数のボクセルBx0に分割される。
【0141】
ステップS12では、撮像画像の順番を規定する数値iが1に設定される。この数値iは、i番目の撮像画像が処理の対象となっていることを意味している。
【0142】
ステップS13では、i番目の撮像画像について、記憶媒体330から視点位置piと視線方向viとが読み出される。例えば、i=1である場合には、i番目の撮像画像について、記憶媒体330から視点位置p1と視線方向v1とが読み出される。
【0143】
ステップS14では、i番目の撮像画像に対し、視線方向viについて代表視線方向Vjが求められる。
【0144】
ステップS15では、i番目の撮像画像について、対象空間Sp0で撮像時に視線が通っていた各ボクセルBx0について、ステップS14で求められた代表視線方向Vjが有効とされる。撮影時の視線は、例えば、視点位置piと視線方向viとから求められる。
【0145】
ステップS16では、数値iが数値Mに到達したか否か判定される。換言すれば、処理の対象となっているi番目の撮像画像が、M番目の撮像画像まで達したか否かが判定される。ここで、数値iが数値Mに到達していなければ、ステップS17において、数値iが1つ増加されて、ステップS13に戻る。また、数値iが数値Mに到達していれば、ステップS18に進む。
【0146】
ステップS18では、対象空間Sp0の各ボクセルBx0について、有効な代表視線方向の数が認識される。
【0147】
ステップS19では、閾値以上の数の代表視線方向が有効とされている1以上のボクセルBx0が、撮像対象物Ob0の存在位置と推定される。
【0148】
<1−4−3.表示画像の拡大および縮小>
図20は、第2画像処理装置30において、記憶媒体330に記憶されている複数の撮像画像に基づいて表示部35に表示されている画像の拡大および縮小を行う際における動作フローの一例を示す流れ図である。この動作フローは、例えば、図19で示されたM枚の撮像画像で捉えられた撮像対象物Ob0の存在位置を推定する動作フローが終了した後に、実行され得る。
【0149】
ステップS21では、第2ユーザU2の動作に応じた入力部3inによる信号の入力に応答して、領域設定部315によって、撮像対象物Ob0に対して表示対象領域が設定される。表示対象領域は、表示部35に画像を可視的に出力したい領域である。
【0150】
ステップS22では、マウスホイールの回転、ピンチアウトあるいはピンチインなどの画像の拡大または縮小に係る第2ユーザU2の動作に応じた入力部3inによる信号の入力に応答して、解像度設定部314によって、表示解像度(Ra)が設定される。このとき、表示対象領域の大小が調整される。
【0151】
ステップS23では、検出部312によって、表示対象領域を捉えた撮像画像について、ステップS22で設定された表示解像度(Ra)と、撮像解像度(Rb)とが比較される。
【0152】
ステップS24では、検出部312によって、表示解像度(Ra)が撮像解像度(Rb)よりも高いか否か判定される。ここで、表示解像度(Ra)が撮像解像度(Rb)よりも高ければ、ステップS25に進み、表示解像度(Ra)が撮像解像度(Rb)よりも高くなければ、ステップS30に進む。ここで、表示解像度(Ra)が撮像解像度(Rb)よりも高ければ、表示解像度に対応する撮像画像が不足していることを意味している。
【0153】
ステップS25では、情報生成部316によって、不足撮像画像の撮像を要求する撮像要求情報が生成され、この撮像要求情報が、出力部3ouによって出力される。例えば、通信部37によって、撮像要求情報が、通信回線4などを介して、第1画像処理装置20に送信される。
【0154】
ステップS26では、画像生成部313によって、表示解像度(Ra)の画像の代わりに、画像DB3Idから撮像解像度(Rb)の撮像画像が取得され、ステップS22で設定された表示解像度に対応する拡大画像が強制的に生成される。そして、この拡大画像が、表示部35に仮に表示される。このとき、拡大画像を生成する際に、不足撮像画像の部分について、補間処理などで仮の拡大画像が生成されてもよい。
【0155】
ステップS27では、表示部35に、仮の拡大画像の部分について、画像の補充を待っている旨の表示が示される。
【0156】
ステップS28では、取得部3acによって、第1画像処理装置20から送信される、撮像画像と撮像付属情報とが取得される。この撮像画像は、撮像要求に応じた画像である。
【0157】
ステップS29では、制御部300によって、表示解像度(Ra)よりも低い撮像解像度(Rb)の撮像画像の代わりに、ステップS28で取得された撮像画像が記憶媒体330の画像DB3Idに記憶される。ステップS29の処理が終了すれば、ステップS23に戻る。
【0158】
ステップS30では、画像生成部313によって、ステップS24で表示解像度(Ra)よりも高いと判定された撮像解像度(Rb)を有する撮像画像から、ステップS21およびステップS22で設定された表示対象領域および表示解像度に対応する画像が生成され、表示部35に表示される。
【0159】
<1−4−4.不足撮像画像を補充する撮像>
図21は、画像処理システム1において撮像対象物Ob0に係る不足撮像画像の撮像を行う際における動作フローの一例を示す流れ図である。この動作フローは、例えば、第2画像処理装置30における表示用の画像の生成に対する撮像画像の不足の検出に応答して開始される。図21の例では、1枚の不足撮像画像の撮像が行われる動作フローが示されている。
【0160】
図21のステップS31では、第2画像処理装置30において、上記図20のステップS25と同様に、情報生成部316によって、不足撮像画像の撮像を要求する撮像要求情報が生成される。
【0161】
ステップS32では、第2画像処理装置30において、通信部37によって、ステップS31で生成された撮像要求情報が、通信回線4などを介して送信されて、第1画像処理装置20に受信される。
【0162】
ステップS33では、第2画像処理装置30において、画像生成部313によって、不足している撮像画像の代わりに、強制的な拡大画像、空白の部分または黒塗りの部分を含む仮の画像が生成されて、表示部35によって仮の画像が表示される。
【0163】
ステップS34では、第2画像処理装置30において、上記図20のステップS27と同様に、第2画像処理装置30において、表示部35に、仮の画像の部分について、画像の補充を待っている旨の表示(撮像補充待機表示ともいう)が示される。
【0164】
ステップS35では、第1画像処理装置20において、指示生成部212によって、通信部27で受信された撮像要求情報に基づいて、撮像指示を示す撮像指示情報を生成する。撮像指示情報には、例えば、撮像対象物Ob0に対する特定の視点位置および視線方向などが含まれる。撮像指示情報には、例えば、不足している撮像画像を撮像するための特定の視点位置および視線方向まで第1ユーザU1をガイドする地図などを含むガイド情報が含まれていてもよい。
【0165】
ここで、仮に、撮像要求情報が、撮像対象物Ob0上の領域(撮像対象領域ともいう)と希望の表示解像度とを示すものであれば、例えば、指示生成部212によって、撮像対象領域の撮像に適した視点位置が採り得る領域(撮像可能領域ともいう)Saが算出される。また、例えば、指示生成部212によって、希望の表示解像度以上の撮像対象物Ob0についての撮像解像度の撮像に適した視点位置が採り得る領域(撮像可能領域)Sbが算出される。そして、例えば、指示生成部212によって、撮像可能領域Saと撮像可能領域Sbとが重なる領域(撮像可能領域)Scが設定される。このとき、撮像指示情報には、例えば、撮像可能領域Scへ第1ユーザU1を移動させるようにガイドする情報が含まれ得る。
【0166】
ステップS36では、第1画像処理装置20において、出力部2ouの表示部25によって、ステップS35で生成された撮像指示情報が可視的に出力される。ここでは、例えば、不足している撮影画像を撮像するための特定の視点位置および視線方向まで第1ユーザU1をガイドする情報が表示される。
【0167】
ステップS37では、第1画像処理装置20において、上記図17のステップS1,S5と同様に、第1ユーザU1による入力部2inを介した信号の入力に応答して、第1画像処理装置20において撮像動作が行われる。
【0168】
ステップS38では、上記図17のステップS2と同様に、第1画像処理装置20から通信回線4などを介して第2画像処理装置30に、撮像画像および撮像付属情報が送信される。
【0169】
ステップS39では、上記図17のステップS3と同様に、第2画像処理装置30において、取得部3acの通信部37によって、第1画像処理装置20からの撮像画像と撮像付属情報とが受信され、撮像画像と撮像付属情報とが関連付けられた状態で記憶媒体330に記憶される。
【0170】
ステップS40では、上記図17のステップS4と同様に、第2画像処理装置30において、ステップS39で受信および記憶された撮像画像に基づく画像部分が、ステップS33で表示された仮の画像の部分と置換されるように、表示部35で可視的に出力される。このとき、ステップS34で表示された撮像補充待機表示も削除される。
【0171】
<1−4−5.表示画像のスクロール>
図22から図24は、第2画像処理装置30において、記憶媒体330に記憶されている複数の撮像画像に基づいて表示部35に表示されている画像のスクロールを行う際における動作フローの一例を示す流れ図である。ここでは、図11で示されたような撮像対象物Ob0を撮像して、図12(a)から図12(d)で示されたような撮像画像が取得され、図13(a)から図13(c)で示されたような表示画面Sc0上で画像のスクロールを行うような例について説明する。この動作フローは、例えば、表示画面Sc0上でのスワイプ操作などによる表示対象領域の変更に応答して開始される。
【0172】
図22のステップS41では、検出部312によって、表示対象領域の変更前に表示画面Sc0で表示されていた画像で捉えられていた、撮像対象物Ob0の要素(要素Aともいう)が認識される。ここでは、表示対象領域の変更前に表示画面Sc0に表示されていた画像では、要素Aのみが捉えられていたものとする。ここで、要素Aとしては、例えば、図11の第1面SfAが採用される。
【0173】
ステップS42では、検出部312によって、画像DB3Id内の複数の撮像画像について、スワイプ操作などによる平行移動による変更後の表示対象領域に対応する、撮像対象物Ob0の部分が捉えられた画像部分が検索される。上述したように、表示対象領域は、例えば、視点位置情報、視線方向情報、撮像部21の特性情報および撮像対象物Ob0の存在位置などに基づいて、対象空間Sp0における空間的な位置を示す座標で管理され得る。このため、例えば、複数の撮像画像について、視点位置情報および視線方向情報と、存在位置情報と、撮像部21の特性情報と、に基づいて、表示対象領域に対応する撮像対象物Ob0が捉えられた画像部分が検索され得る。ここで、例えば、撮像画像に係る距離分布情報が加味されれば、撮影画像で捉えられた撮像対象物Ob0の部分の形状が認識可能であり、対象空間Sp0における表示対象領域の空間的な位置を示す座標の精度が高まり得る。これにより、表示対象領域に対応する撮像対象物Ob0が捉えられた画像部分が精度良く検索され得る。
【0174】
ステップS43では、検出部312によって、ステップS42において、平行移動による変更後の表示対象領域に対応する、画像部分が検出されたか否か判定される。ここで、画像部分が検出されていなければ、ステップS44に進み、画像部分が検出されていれば、ステップS45に進む。
【0175】
ステップS44では、上記図20のステップS25と同様に、情報生成部316によって、不足撮像画像の撮像を要求する撮像要求情報が生成され、この撮像要求情報が、出力部3ouによって出力される。具体的には、例えば、通信部37によって、撮像要求情報が、通信回線4などを介して、第1画像処理装置20に送信される。ここで、例えば、ステップS43から進んできた場合には、不足撮像画像は、平行移動による変更後の表示対象領域に対応する撮像画像であればよい。例えば、後述する図23のステップS55から進んできた場合には、不足撮像画像は、要素Eが正面から捉えられた画像部分を含む撮像画像であればよい。例えば、後述する図24のステップS63から進んできた場合には、不足撮像画像は、後述する境界含有画像であればよい。例えば、後述する図24のステップS65から進んできた場合には、不足撮像画像は、要素Dが正面から捉えられた画像部分を含む撮像画像であればよい。ここで、ステップS44の処理が行われた後、ステップS42に戻る。このとき、画像処理システム1では、例えば、図21で示されるような、撮像対象物Ob0に係る不足撮像画像の撮像を行う際における動作フローが実行される。
【0176】
ステップS45では、検出部312によって、ステップS42で検出された画像部分(検出画像部分ともいう)の解析が行われる。この解析では、例えば、検出画像部分において、撮像対象物Ob0を捉えた部分(対象部分ともいう)と、撮像対象物Ob0以外の領域(背景600など)を捉えた部分(非対象部分ともいう)と、が検出される。ここでは、例えば、解析の対象となっている検出画像部分について、視点位置情報と、視線方向情報と、存在位置情報と、撮像部21の特性情報と、に基づいて撮像対象物Ob0が捉えられた画像部分が認識され得る。これにより、検出画像部分が、撮像対象物Ob0を捉えた部分と背景600を捉えた部分とに切り分けられる。このとき、例えば、距離分布情報が用いられれば、検出画像部分が、より精度良く、撮像対象物Ob0を捉えた部分と背景600を捉えた部分とに切り分けられる。この場合、例えば、視点位置から撮像対象物Ob0までの距離が、視点位置から背景600までの距離よりも明らかに短いことが利用される。
【0177】
ステップS46では、検出部312によって、ステップS45の解析結果に基づいて、検出画像部分に、撮像対象物Ob0以外の部分(背景600など)に対応する非対象部分が存在しているか否かが判定される。ここで、検出画像部分に非対象部分が存在していなければ、図23のステップS51に進み、検出画像部分に非対象部分が存在していれば、図24のステップS61に進む。
【0178】
図23のステップS51では、検出部312によって、さらにステップS42で検出された検出画像部分の解析が行われる。この解析では、例えば、ステップS41で認識された要素Aを捉えた画像部分と、要素A以外の要素Eが捉えられた画像部分と、が検出される。要素Eとしては、例えば、図11において第1面SfAと隣接している第2面SfBが採用される。ここでは、例えば、撮像対象物Ob0に係る存在位置情報と視点位置と視線方向と画角との組合せ、および距離分布情報の少なくとも一方に基づいて、要素Aと要素Eとの境界を成す角部が検出され得る。これにより、要素Aと要素Eとが区別され得る。
【0179】
ステップS52では、検出部312によって、ステップS51の解析結果に基づいて、検出画像部分に、要素A以外の要素Eが捉えられた画像部分が存在するか否かが判定される。ここで、検出画像部分に要素Eが捉えられた画像部分が存在していなければ、ステップS53に進み、検出画像部分に要素Eが捉えられた画像部分が存在していれば、ステップS54に進む。
【0180】
ステップS53では、表示部35によって、表示画面Sc0に表示されている画像(表示画像ともいう)が、ステップS42で検出された検出画像部分に更新される。これにより、例えば、第1面SfAのうちの平行移動後の表示対象領域に係る画像部分が、表示画面Sc0に表示され得る。
【0181】
ステップS54では、検出部312によって、画像DB3Id内の複数の撮像画像について、撮像対象物Ob0のうちの要素Eが正面から捉えられた画像部分が検索される。ここでは、要素Eが正面から捉えられているか否かは、例えば、要素Eに対して視線方向が略垂直であるか否かによって判別され得る。このとき、例えば、要素Aとの境界である角部と接しており、検出画像部分において要素Aを捉えた画像部分における撮像解像度以上の撮像解像度を有する、要素Eに係る画像部分が検索され得る。
【0182】
ステップS55では、検出部312によって、ステップS54の検索結果に基づいて、撮像対象物Ob0のうちの要素Eが正面から捉えられた画像部分が検出されたか否かが判定される。ここで、要素Eが正面から捉えられた画像部分が検出されていなければ、図22のステップS44に進む。要素Eが正面から捉えられた画像部分が検出されていれば、ステップS56に進む。
【0183】
ステップS56では、画像生成部313によって、ステップS42で検出された検出画像部分についてステップS51で検出された要素Aに係る画像部分(第1画像部分に相当)と、ステップS54で検出された要素Eに係る画像部分(第2画像部分に相当)と、が合成される。これにより、合成画像が生成される。このとき、例えば、第1画像部分と第2画像部分とが、要素Aと要素Eとの境界に対応する部分を挟んで並べられるように合成されることで、合成画像が比較的少ない演算で生成され得る。ここでは、例えば、合成画像の外形が表示画面Sc0に適合するように第2画像部分の第1画像部分から離れた部分の外形が適宜調整されてもよい。
【0184】
ステップS57では、表示部35によって、表示画面Sc0に表示されている画像(表示画像ともいう)が、ステップS56で生成された合成画像に更新される。
【0185】
ステップS61では、検出部312によって、ステップS42で検出された検出画像部分が、撮像対象物Ob0を捉えた画像部分Bと、撮像対象物Ob0以外を捉えた画像部分Cと、に分割される。これにより、第1画像部分としての画像部分Bが検出され得る。画像部分Cとしては、例えば、図11の背景600を捉えた画像部分が採用される。
【0186】
ステップS62では、検出部312によって、画像DB3Id内の複数の撮像画像について、画像部分Bに対応する撮像対象物Ob0の要素Bを捉えた画像部分を有し、残余の部分が撮像対象物Ob0の要素Dを捉えた境界含有画像が検索される。境界含有画像は、要素Bと要素Dとの境界を含む画像である。ここで、要素Bとしては、例えば、図11の第1面SfAが採用される。要素Dとしては、例えば、図11の第1面SfAと隣接している第2面SfBが採用される。ここでは、例えば、撮像対象物Ob0に係る存在位置情報と視点位置と視線方向と画角との組合せ、および距離分布情報の少なくとも一方に基づいて、要素Bと要素Dとの境界が検出され得る。これにより、各撮像画像が境界含有画像であるか否かが認識され得る。
【0187】
ステップS63では、検出部312によって、境界含有画像が検出されたか否かが判定される。ここで、境界含有画像が検出されていれば、ステップS64に進み、境界含有画像が検出されていなければ、図22のステップS44に進む。
【0188】
ステップS64では、検出部312によって、画像DB3Id内の複数の撮像画像について、撮像対象物Ob0のうちの要素Dが正面から捉えられた画像部分が検索される。ここでは、要素Dが正面から捉えられているか否かは、例えば、要素Dに対して視線方向が略垂直であるか否かによって判別され得る。このとき、例えば、要素Bとの境界である角部と接しており、検出画像部分において要素Bを捉えた画像部分における撮像解像度以上の撮像解像度を有する、要素Dに係る画像部分が検索され得る。
【0189】
ステップS65では、検出部312によって、ステップS64の検索結果に基づいて、撮像対象物Ob0の要素Dが正面から捉えられた画像部分が検出されたか否かが判定される。ここで、要素Dが正面から捉えられた画像部分が検出されていなければ、図22のステップS44に進む。要素Dが正面から捉えられた画像部分が検出されていれば、ステップS66に進む。
【0190】
ステップS66では、画像生成部313によって、ステップS61の分割で認識された画像部分B(第1画像部分に相当)と、ステップS64で検出された要素Dに係る画像部分(第2画像部分に相当)と、が合成される。これにより、合成画像が生成される。このとき、例えば、第1画像部分と第2画像部分とが要素Bと要素Dとの境界に対応する部分を挟んで並べられるように合成されることで、合成画像が比較的少ない演算で生成され得る。ここでは、例えば、合成画像の外形が表示画面Sc0に適合するように第2画像部分の第1画像部分から離れた部分の外形が適宜調整されてもよい。
【0191】
ステップS67では、表示部35によって、表示画面Sc0に表示されている画像(表示画像)が、ステップS66で生成された合成画像に更新される。
【0192】
<1−4−6.画像生成モードの切り換え>
図25は、第2画像処理装置30において、取得部3acで複数の撮像画像が時間順次に取得されている状態で、画像生成モードが切り換えられる動作フローの一例を示す流れ図である。
【0193】
ステップS71では、領域設定部315によって、第2ユーザU2の動作に応答して入力される信号に応じた表示対象領域の変更が受け付けられる。
【0194】
ステップS72では、領域設定部315によって、表示対象領域が変更されたか否かが判定される。ここで、表示対象領域の変更があれば、ステップS73に進む。一方、表示対象領域の変更がなければ、切換部317によって、画像生成モードが、上述した第1画像生成モードに設定され、ステップS77に進む。
【0195】
ステップS73では、領域設定部315によって、表示用の画像を生成するために、追加の撮像の要否が確認される。ここでは、例えば、図15で示されたように、変更後の表示対象領域が、撮像対象物Ob0のうちの既に撮像された領域Ai1に含まれていれば、追加の撮像の必要はない。一方、例えば、図16で示されたように、変更後の表示対象領域が、撮像対象物Ob0の領域Ai1から外れた部分を有していれば、追加の撮像が必要である。
【0196】
ステップS74では、領域設定部315によって、ステップS73の確認結果に応じて、追加の撮像が必要でなければ、ステップS75に進む。このとき、切換部317によって、画像生成モードが、上述した第2画像生成モードに設定される。追加の撮像が必要であれば、ステップS76に進む。このとき、切換部317によって、画像生成モードが、上述した第3画像生成モードに設定される。
【0197】
ステップS75では、画像生成部313によって、図15で示されたように、取得部3acで既に取得されていた複数の撮像画像について、検出部312で検出される第1画像部分と第2画像部分とが合成される。これにより、出力用の画像としての合成画像が生成される。
【0198】
ステップS76では、画像生成部313によって、図16で示されたように、取得部3acで既に取得されていた複数の撮像画像について検出部312で検出される第1画像部分と、直近に取得された撮像画像から検出部312で検出される第2画像部分と、が合成される。これにより、出力用の画像としての合成画像が生成される。
【0199】
ステップS77では、取得部3acによって、第1装置2からの撮像画像の受信が確認される。
【0200】
ステップS78では、取得部3acによって、第1装置2からの撮像画像の受信があったか否か判定される。ここで、第1装置2からの撮像画像が受信されなければ、本動作フローが終了する。一方、第1装置2からの撮像画像が受信されれば、ステップS79に進む。
【0201】
ステップS79では、画像生成部313によって、取得部3acによって直近に受信された撮像画像から出力用の画像が生成される。
【0202】
このように、第1画像生成モードでは、例えば、画像生成部313によって、取得部3acで撮像画像が取得されるたびに、その撮像画像が用いられて出力用の画像が準備される。これにより、撮像画像が得られる度に表示される、リアルタイム表示が実現され得る。
【0203】
<1−5.第1実施形態のまとめ>
以上のように、第1実施形態に係る画像処理システム1および第2画像処理装置30では、例えば、複数の撮像画像と、各撮像画像についての撮像時の視点位置情報および視線方向情報とが取得される。各撮像画像に係る視点位置情報と視線方向情報とに基づいて、撮像対象物Ob0の存在位置が推定される。複数の撮像画像について、視点位置情報および視線方向情報と、推定された撮像対象物Ob0の存在位置の情報と、撮像部21の特性情報と、に基づいて、撮像対象物Ob0における第1領域を第1視点位置から第1視線方向で捉えた第1画像部分と、撮像対象物Ob0における第1領域とは異なる第2領域を第1視点位置とは異なる第2視点位置から第1視線方向とは異なる第2視線方向で捉えた第2画像部分と、が検出される。そして、検出された第1画像部分と第2画像部分とが合成されることで、合成画像が生成され得る。
【0204】
ここでは、例えば、撮像対象物Ob0を相互に異なる方向から撮像して得られた第1画像部分と第2画像部分とが並べられるように合成される。これにより、例えば、撮像対象物Ob0を周囲の複数の角度から捉えた擬似的な3次元画像である合成画像が比較的少ない演算量で容易に取得され得る。したがって、例えば、撮像対象物を周囲の様々な角度から見た画像を得る画像処理における演算量が低減され得る。このため、例えば、演算を行うプロセッサなどを有効活用することができる。また、例えば、プロセッサにおいて合成画像の生成に要する時間が短くなり、プロセッサを用いた他の処理を阻害しにくい。その結果、画像処理システム1および第2画像処理装置30の使い勝手が良くなる。
【0205】
また、例えば、第1ユーザU1が、第1画像処理装置20を用いて撮像対象物Ob0について複数回の一連の撮像を行って、複数の撮像画像を蓄積しておけば、第2ユーザU2は、表示部35に表示される画像を任意にスクロールさせることができる。このため、例えば、第1ユーザU1に多大な作業を強いることなく、第2ユーザU2は自分のペースで撮像対象物Ob0を周囲の様々な角度から確認することができる。このため、例えば、第1ユーザU1および第2ユーザU2にとって、作業効率が向上し得る。さらに、ここでは、擬似的な3次元画像である合成画像の生成によって、比較的少ない演算量で、撮像対象物Ob0を周囲の様々な角度から見た画像を容易に得ることができる。
【0206】
<2.他の実施形態>
本開示は上述の第1実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
【0207】
<2−1.第2実施形態>
上記第1実施形態では、第1画像処理装置20で撮像対象物Ob0の撮像が行われ、第2画像処理装置30で複数の撮像画像を用いた合成画像の生成および表示が行われた。これに対して、例えば、第1画像処理装置20において、撮像対象物Ob0の撮像が行われ、さらに、複数の撮像画像を用いた合成画像の生成および表示が行われてもよい。このような構成が採用されれば、例えば、1台の装置において、複数の撮像画像を取得するための撮像から撮像対象物を周囲の様々な角度から見た画像を得る画像処理まで容易に実行することができる。
【0208】
具体的には、図26で示されるように、第2実施形態に係る第1画像処理装置20Aは、例えば、上記第1実施形態に係る第1画像処理装置20の機能に加えて、上記第1実施形態に係る第2画像処理装置30と同様な機能を有していてもよい。ここでは、上記第1実施形態に係る第2画像処理装置30と同様な機能には、例えば、推定部311、検出部312、画像生成部313、解像度設定部314、領域設定部315、情報生成部316および切換部317などの機能的な構成が含まれる。第2実施形態に係る第1画像処理装置20Aでは、例えば、出力部2ouが出力部3ouと同様な役割を果たし、入力部2inが入力部3inと同様な役割を果たし、取得部2acが取得部3acと同様な役割を果たす。また、例えば、情報生成部316で生成される不足撮像画像の撮像を要求する撮像要求情報に基づいて、指示生成部212によって、撮像要求情報などに基づき、要求に応じた指示を示す撮像指示情報が生成される。例えば、この撮像指示情報の可視的な出力は、出力部2ouの表示部25において実施され得る。
【0209】
<3.その他>
上記各実施形態では、例えば、合成画像の生成に用いられる第1画像部分および第2画像部分は、撮像対象物Ob0の相互に隣接する第1領域および第2領域が捉えられたものでなくてもよい。例えば、撮像対象物Ob0のうち、第1面SfAと第2面SfBとの境界にある角部を挟むように、第1領域と第2領域とが位置していてもよい。ここで、角部としては、例えば、曲率を有するR面または面取りがなされたC面の部分が採用され得る。このような構成が採用されれば、図13(a)から図13(c)で示された表示画像をスクロールさせる様子は、図27(a)から図27(c)で示された表示画像をスクロールさせる様子となり得る。図27(b)および図27(c)の合成画像では、第1面SfAに係る第1画像部分Ipaと、第2面SfBに係る第1画像部分Ipbと、の間に、角部に相当する空白の部分が存在している。さらに、例えば、この空白の部分を設けることなく、第1面SfAに係る第1画像部分Ipaと、第2面SfBに係る第1画像部分Ipbと、を隙間無く並べるように、合成画像が生成されてもよい。
【0210】
上記各実施形態では、例えば、合成画像は、表示に必要であるタイミングで一時的に生成されてもよいし、一旦生成された合成画像は、記憶媒体230,330などに蓄積されてもよい。
【0211】
上記各実施形態では、例えば、撮像対象物Ob0の各面を正面から捉えた第1画像部分と第2画像部分とを合成することで、合成画像を生成してもよいし、撮像対象物Ob0の各面を異なる方向から捉えた第1画像部分と第2画像部分とが合成されてもよい。
【0212】
上記各実施形態では、例えば、撮像対象物Ob0の異なる面の2以上の画像部分が合成されることなく、表示画面Sc0の中心部分の画像部分で捉えられた面の画像が選択的に表示画面Sc0に表示されてもよい。このとき、例えば、表示画面Sc0における画像のスクロールにより、表示画面Sc0の中心部分を、第1面SfAを捉えた画像部分の端部が通過したタイミングで、表示画面Sc0に第2面SfBを捉えた画像部分が表示され始めるような態様が考えられる。
【0213】
上記各実施形態では、例えば、第1ユーザU1は、現場作業者だけに限られず、例えば、立体的な撮像対象物を撮像する者(撮像者ともいう)一般であってもよい。
【0214】
上記各実施形態では、例えば、第2ユーザU2は、機器担当者だけに限られず、例えば、立体的な撮像対象物を周囲の様々な角度から見た画像を観察する者(観察者ともいう)一般であってもよい。
【0215】
上記各実施形態では、例えば、撮像対象物Ob0は、例えば、容易に近づくことができない古墳の石棺などであってもよいし、服飾、バッグ、頭髪などのその他の周囲からの観察が可能な立体的な形状を有するもの一般であってもよい。
【0216】
上記各実施形態では、例えば、第2画像処理装置30は、本体部と表示部35とが分割された形態とされてもよい。この場合には、例えば、本体部と表示部35とが通信可能に接続される態様が採用され得る。また、例えば、第1画像処理装置20Aは、本体部と表示部25とが分割された形態とされてもよい。この場合には、例えば、本体部と表示部25とが通信可能に接続される態様が採用され得る。
【0217】
上記各実施形態では、例えば、画像DB2Id,3Idは、第1装置2の記憶媒体230および第2装置3の記憶媒体330において構築される必要はなく、各種サーバ、あるいはクラウドコンピューティングの概念における各種記憶媒体で構築されてもよい。
【0218】
上記各実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
【符号の説明】
【0219】
1 画像処理システム
2 第1装置
2Pr,3Pr 制御プログラム
2ac,3ac 取得部
2in,3in 入力部
2ou,3ou 出力部
3 第2装置
3re 受信部
4 通信回線
20,20A 第1画像処理装置
21 撮像部
22 位置センサ
23 方向センサ
24 測距センサ
25,35 表示部
27,37 通信部
30 第2画像処理装置
200,300 制御部
210,310 CPU
211 解像度算出部
212 指示生成部
221 位置計測部
230,330 記憶媒体
231 方向計測部
241 距離計測部
311 推定部
312 検出部
313 画像生成部
314 解像度設定部
315 領域設定部
316 情報生成部
317 切換部
Ai1,Ar0,Ar1 領域
Ar2 表示対象領域(既表示領域)
Ar21 残部
Ar3 表示対象領域
Ar22 非表示領域
2Id,3Id 画像データベース(画像DB)
Im11,Im12,Im13,Im14,It0,It1,It2 撮像画像
Ip0,Ip1,Ip2,Ip21,Ip22 画像部分
Ip21 画像部分(第4画像部分)
Ip22 画像部分(第3画像部分)
Ob0 撮像対象物
U1 第1ユーザ
U2 第2ユーザ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27