(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023183036
(43)【公開日】2023-12-27
(54)【発明の名称】撮像制御装置、撮像制御装置の制御方法およびプログラム
(51)【国際特許分類】
H04N 23/67 20230101AFI20231220BHJP
H04N 23/66 20230101ALI20231220BHJP
H04N 23/695 20230101ALI20231220BHJP
G03B 15/00 20210101ALI20231220BHJP
【FI】
H04N5/232 127
H04N5/232 030
H04N5/232 990
G03B15/00 T
G03B15/00 P
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022096405
(22)【出願日】2022-06-15
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】吉野 栄二
【テーマコード(参考)】
5C122
【Fターム(参考)】
5C122DA12
5C122EA63
5C122FD01
5C122FD10
5C122FD13
5C122FH11
5C122GD06
5C122HB01
(57)【要約】
【課題】効率的に撮像対象面全体に対して焦点の合った画像を得ることができるようにする。
【解決手段】検査対象面を各座標にマッピングすることによって距離マップを作成し、その距離マップを用いて平面領域の識別処理を行う。そして、各領域の傾きを元にグループ化し、同一平面ではない複数の領域で構成される検査対象面に対してグループごとに正対化して同一グループ内で領域ごとに撮像処理を行う。
【選択図】
図1
【特許請求の範囲】
【請求項1】
複数の面を有する被写体を撮像する撮像手段と、
前記被写体の複数の面を識別する識別手段と、
前記識別手段によって識別された複数の面のうち、所定の範囲内の傾きの面をグループ化するグループ化手段と、
前記グループ化手段によってグループ化された各面に対して正対化するよう前記撮像手段を移動させる移動手段と、
を有し、
前記撮像手段は、前記移動手段によって移動した後に、前記グループ化された各面に対して撮像処理を行うことを特徴とする撮像制御装置。
【請求項2】
前記グループ化された各面に対して正対化する際の前記撮像手段の移動方向、移動量および回転量の情報を外部装置に通知する通知手段をさらに有し、
前記移動手段は、前記通知手段によって通知した外部装置からの制御に基づいて、前記撮像手段を移動させることを特徴とする請求項1に記載の撮像制御装置。
【請求項3】
前記被写体に対する距離マップを取得する取得手段をさらに有し、
前記識別手段は、前記取得手段によって取得された距離マップに基づいて、傾きが所定の範囲内である範囲を1つの面として識別することを特徴とする請求項1または2に記載の撮像制御装置。
【請求項4】
前記グループ化手段は、前記撮像手段の被写界深度に基づいてグループ化することを特徴とする請求項1または2に記載の撮像制御装置。
【請求項5】
前記撮像手段は、前記移動手段によって移動した後に、前記グループ化された各面に対して焦点を合わせて撮像処理を行うことを特徴とする請求項1または2に記載の撮像制御装置。
【請求項6】
前記撮像手段は、前記グループ化された面のうち、被写界深度に収まる範囲の複数の面に対して撮像処理を行うことを特徴とする請求項5に記載の撮像制御装置。
【請求項7】
前記撮像手段は、前記移動手段によって前記撮像手段が焦点の合う方向に移動することにより撮像処理を行うことを特徴とする請求項5に記載の撮像制御装置。
【請求項8】
前記識別手段は、前記撮像手段からの距離が所定の範囲内でない領域を、前記被写体の面として識別しないようにすることを特徴とする請求項1または2に記載の撮像制御装置。
【請求項9】
前記外部装置からの制御に基づく前記移動手段による前記撮像手段の移動が完了するまでの間、前記識別手段、前記グループ化手段および前記通知手段の処理を所定の周期で繰り返すことを特徴とする請求項2に記載の撮像制御装置。
【請求項10】
複数の面を有する被写体を撮像する撮像手段を有する撮像制御装置の制御方法であって、
前記被写体の複数の面を識別する識別工程と、
前記識別工程において識別された複数の面のうち、所定の範囲内の傾きの面をグループ化するグループ化工程と、
前記グループ化工程においてグループ化された各面に対して正対化するよう前記撮像手段を移動させる移動工程と、
前記移動工程において移動した後に、前記撮像手段により前記グループ化された各面に対して撮像処理を行う撮像工程と、
を有することを特徴とする撮像制御装置の制御方法。
【請求項11】
複数の面を有する被写体を撮像する撮像手段を制御するためのプログラムであって、
前記被写体の複数の面を識別する識別工程と、
前記識別工程において識別された複数の面のうち、所定の範囲内の傾きの面をグループ化するグループ化工程と、
前記グループ化工程においてグループ化された各面に対して正対化するよう前記撮像手段を移動させる移動工程と、
前記移動工程において移動した後に、前記撮像手段により前記グループ化された各面に対して撮像処理を行う撮像工程と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特に、撮像対象面全体に対して焦点の合った画像を得るために用いて好適な撮像制御装置、撮像制御装置の制御方法およびプログラムに関する。
【背景技術】
【0002】
広範囲な検査対象面を点検の対象として損傷(ひび等)の検査を行うために、検査対象面を撮像することが行われ、その際に、検査対象面全体に対して焦点の合った画像を得ることが望まれている。
特許文献1には、検査対象面に対して撮像装置を正対化させ、さらに検査対象面に対して所定の距離範囲内となるように撮像装置を移動し、撮像を行うことが開示されている。特許文献1に記載の技術により、検査対象面に対して正対化するように撮像装置を移動させて撮像を行うことで、一度の撮像で広範囲に焦点の合った画像を得ることができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、検査対象面は必ずしも同一平面とは限らない。例えば、橋梁を検査対象とする場合、床版や主桁等の構造物による凹凸があり、一度の撮像では距離の違いにより焦点の合わない領域があり得る。したがって、床版のような主要な面に正対化させて撮像したとしても、主桁側は距離の違いによりピンボケとなってしまう。また、主要な面に正対化させたとしても、その他の面に対しては正対化できていない場合もあり、正対化できていない面に対してはピンボケとなってしまう。したがって、これらの面に対して焦点の合う画像を得るためには、撮像装置を頻繁に移動させる必要があり、多くの手間がかかる。
【0005】
本発明は前述の問題点に鑑み、従来よりも効率的に撮像対象面全体に対して焦点の合った画像を得ることができるようにすることを目的としている。
【課題を解決するための手段】
【0006】
本発明に係る撮像制御装置は、複数の面を有する被写体を撮像する撮像手段と、前記被写体の複数の面を識別する識別手段と、前記識別手段によって識別された複数の面のうち、所定の範囲内の傾きの面をグループ化するグループ化手段と、前記グループ化手段によってグループ化された各面に対して正対化するよう前記撮像手段を移動させる移動手段と、を有し、前記撮像手段は、前記移動手段によって移動した後に、前記グループ化された各面に対して撮像処理を行うことを特徴とする。
【発明の効果】
【0007】
本発明によれば、従来よりも効率的に撮像対象面全体に対して焦点の合った画像を得ることができる。
【図面の簡単な説明】
【0008】
【
図1】第1の実施形態における撮像制御装置の内部構成例を示すブロック図である。
【
図2】第1の実施形態に係る処理手順の一例を示すフローチャートである。
【
図3】撮像制御装置を上方から見た場合の概要を説明するための図である。
【
図4】第2の実施形態における撮像制御装置の内部構成例を示すブロック図である。
【
図5】第2の実施形態に係る処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。本実施形態に係る撮像制御装置は、社会インフラの点検の対象となる構造物の検査対象面を撮像するためのもので、特に、該検査対象面全体に対して焦点の合った画像を得ることを容易に実現するためのものである。社会インフラの点検の対象となる構造物として、例えば橋梁、トンネル、ビル、道路等がある。
【0010】
橋梁を検査対象とする場合、撮像装置を用いて橋梁を下方及び側方から撮像し、検査範囲について複数の撮像画像(橋梁の異なる部分がそれぞれ撮像された複数の画像)を分割して取得する。撮像は、橋梁の延伸方向及びその直交方向に適宜移動しながら行う。なお、橋梁の周辺状況により、検査員が移動して撮像を行うのは困難な場合があるため、橋梁に沿って移動可能な移動機構を設けて撮像を行うようにすることもできる。なお、本実施形態では、移動機構としてドローンを挙げて説明するが、他にも車両、ロボット、その他の飛翔体でもよい。また、このような移動機構には、さらに撮像装置の昇降機構、回転機構(パン及び/またはチルトを行う機構)を設けてもよい。
【0011】
(第1の実施形態)
以下、
図1~3を参照して、第1の実施形態による撮像制御装置について説明する。
【0012】
図1は、本実施形態における撮像制御装置10の内部構成例を示すブロック図である。本実施形態に係る撮像制御装置10は、動画像もしくは定期的/不定期的に静止画像を撮影する撮像装置100と、撮像装置100を回転させる雲台装置110と、撮像装置100及び雲台装置110を移動させる移動装置120と、を有する。
図1において、撮像装置100は、以下の構成を有している。
【0013】
システムバス101は、制御信号、指示信号、画像データや各種パラメータを撮像装置100、雲台装置110、移動装置120の各ブロックに送るための汎用バスである。
システム制御部102は、コンピュータプログラムを実行して各種処理を行ったり、撮像装置100、雲台装置110、移動装置120の各部を制御したり、各部相互間でのデータ転送を制御したりする。
フォーカス制御部103は、システム制御部102からの指示を受けて、撮像光学系に含まれるフォーカスレンズを駆動して焦点調整を行う。
【0014】
撮像部104は、CMOSセンサ及びその周辺回路を含み、撮像光学系により形成された被写体像を電荷に変換して蓄積する。そして、蓄積電荷を読み出して生成した電気信号としてのアナログ撮像信号をデジタル撮像信号に変換して各種画像処理を施し、画像データを出力する。
【0015】
なお、撮像部104を構成する撮像素子のそれぞれの画素は、撮像光学系の互いに異なる2つのマイクロレンズを備えており、それぞれを通過した光束を受光して像が得られる。そこで、各画素の、片側のマイクロレンズを通過して得られた像と、もう片側のマイクロレンズを通過して得られた像の、2つの像のずれ量から焦点ずれ量を検出することができる。その結果、現在のフォーカスレンズ位置と検出した焦点ずれ量により、その画素において合焦させるためのフォーカスレンズ位置、すなわち被写体までの距離を算出することができる。これにより、全画素に対して距離情報を得ることができるため、撮像画像に対応した距離マップを作成することができる。
【0016】
撮像部104は、上述したように、画像データを生成する撮像駆動モードと、距離マップを作成する距離マップ作成モードとの2つのモードで駆動可能であり、システム制御部102の指示により各モードに切り替えられる。
【0017】
データ処理部105は、撮像部104により生成された距離マップを入力とし、後述するデータ処理を行うことで、検査対象面の識別、分類等を行う。
記録部106は、システム制御部102からの指示を受けて、撮像部104により生成された画像データを記録媒体に記録する。記録媒体は、撮像装置100に内蔵された記録媒体であってもよく、取り外し可能な記録媒体であってもよい。具体例としては、例えば、ハードディスク、不揮発性の半導体メモリ、フラッシュメモリ等のあらゆる方式の記録媒体が挙げられる。
【0018】
通信部107は、ユーザが操作する不図示のコントローラ装置(外部装置)と無線もしくは有線で通信を行う。例えば、ユーザからの各種操作信号を受信して、システム制御部102が操作信号を識別し、撮像装置100に撮像処理を行わせたり、雲台装置110や移動装置120を制御したりすることができる。また、撮像装置100で生成した画像データを、通信部107を介してユーザ側に送信することもできる。
【0019】
雲台装置110には、撮像装置100が載置されており、撮像装置100を縦方向(回転軸=チルト軸)及び横方向(回転軸=パン軸)に回転させる。また、雲台装置110は、パン角やチルト角を変更するための変更指示を入力する。
【0020】
雲台制御部111は、システム制御部102からのパン角やチルト角の変更指示を受けて、パン軸及びチルト軸を操作し、撮像装置100の撮像方向を回転させる。なお、雲台制御部111は、ユーザが操作するコントローラ装置からの操作信号を受信して、パン軸及びチルト軸を操作することも可能である。
【0021】
移動装置120は、例えばドローンである。移動装置120には撮像装置100及び雲台装置110が載置されており、撮像装置100の位置や姿勢を制御し、飛行によりこれらを移動させる。また、移動装置120は、移動を行うための移動方向、距離の情報を入力する。
【0022】
移動制御部121は、各種センサ(ジャイロセンサ・加速度センサ・気圧センサ・距離センサ等)により測定された情報を処理して、自身の空間上のx軸y軸z軸の特定の位置を認識し、撮像制御装置10の位置や姿勢を維持するよう飛行を制御する。したがって、急な突風などの外乱が発生しても、移動制御部121の飛行制御により撮像制御装置10は元の位置に戻ることができる。さらに、移動制御部121は、システム制御部102からの移動指示を受けて飛行制御を行い、撮像制御装置10の位置を移動させる。なお、移動制御部121は、ユーザが操作するコントローラ装置からの操作信号を受信して、飛行制御することも可能である。
【0023】
次に、
図2及び
図3を用いて、本実施形態における撮像制御装置10の動作について説明する。システム制御部102は、コンピュータプログラムに従って本処理を行う。
初めに、ユーザはコントローラ装置を用いて移動装置120を制御して検査対象に接近させ、雲台装置110及び移動装置120を制御して撮像装置100の正面を概ね検査対象に向けた状態にする。その後、
図2に示す本実施形態における撮像制御装置10の動作を開始する。
【0024】
S200では、システム制御部102は、距離マップを作成する距離マップ作成モードで撮像部104を駆動させ、撮像部104により検査対象面の距離マップを作成する。
図3は、本実施形態に係る撮像制御装置10を上方から見た場合の概要を説明するための図である。
図3(a)に示すように、
図2の処理を開始する前に、撮像制御装置10の位置を2次元平面上の原点に置く。ここで、撮像方向をy軸、それに直交する方向をx軸とすると、検査対象面を各座標にマッピングすることによって距離マップを作成する。このように、検査対象面を各座標にマッピングする処理を、撮像部104により行う。
【0025】
S201では、システム制御部102からの指示を受けてデータ処理部105は、検査対象面に対して、平面領域の識別処理を行う。
図3(a)に示すように、検査対象面が各座標にマッピングされており、この処理ではまず、各面のy座標の変化量(傾き)を算出する。そして、傾きが一定もしくは所定の範囲内の領域を平面領域として識別する。
図3(a)の例では、平面領域としてa領域~e領域が識別される。
【0026】
なお、検査対象面によっては、傾きが一定となる範囲が非常に小さくなる場合がある。一方で、撮像時の絞り値に応じて、焦点の合う距離には範囲(被写界深度)が存在することから、平面領域として識別する際に、撮像時の絞り値に応じた被写界深度に収まる範囲内で、傾きが所定の範囲内となる領域を平面領域と識別してもよい。なお、説明の都合上、傾きが所定の範囲内となる範囲であっても平面領域と定義するものとする。
【0027】
S202では、システム制御部102からの指示を受けてデータ処理部105は、S201で識別した平面領域ごとに分類化処理を行う。
図3(a)の例の場合には、データ処理部105は、S201で識別した各平面領域に対してa領域~e領域のように分類を行う。
【0028】
S203では、システム制御部102からの指示を受けてデータ処理部105は、分類された各領域に対するグループ化を行う。
図3(a)の例の場合、データ処理部105は、S202で分類したa領域~e領域に対して、各領域の傾きを元に、同一の傾きあるいは所定の範囲内の傾きの領域を、平行な面として同一グループにグループ化する。つまり、a、c、e領域を第一グループ、b、d領域を第二グループにグループ化する。
【0029】
また、検査対象面によっては、同一の傾きでグループ化を行うと、グループ数が多くなり過ぎ、撮像処理を効率よく行うことができなくなる。そのような場合は、所定の範囲内の傾きの領域をグループ化する方がより効率よく撮像処理を行うことができる。ここで、所定の範囲とは、後述するようにそのグループの領域に対して正対化させた場合に、焦点の位置を調整するのみでグループに属する各領域が被写界深度に収まるようにすることができる範囲とする。
【0030】
S204では、システム制御部102は雲台制御部111及び移動制御部121を制御して、第一グループの領域に対して正対化するように撮像制御装置10を移動及び回転させる。具体的には、まず、システム制御部102からの指示を受けてデータ処理部105は、撮像中心に対応する検査対象面までの距離Lと、第一グループに属する領域の傾きθ1とから、撮像制御装置10の移動方向、移動量および回転量を算出する。
図3(b)に示すように、移動方向はx軸方向に対してθ1だけ回転させた方向、移動量はL×cos(90°-θ1)、回転量はθ1となる。システム制御部102は、データ処理部105により算出された移動方向・移動量を移動制御部121に指示して移動制御を行い、回転量を雲台制御部111に指示して回転制御を行うことで、第一グループの領域に対して正対化させる。
【0031】
S205では、システム制御部102は、画像データを生成する撮像駆動モードで撮像部104を駆動させることで、検査対象面の画像データを取得する。その際、システム制御部102は、フォーカス制御部103による焦点調整を、各領域に対して行わせる。
図3(b)では、a、c、e領域のそれぞれの領域に順番に焦点を合わせて、3回の撮像処理を行う。そして、第一グループのすべての領域で撮像処理が終了すると、システム制御部102は雲台制御部111及び移動制御部121を制御し、第一グループに正対化する前の位置および方向に撮像制御装置10を戻す。
【0032】
S206では、システム制御部102は、上述したS204での第一グループに対する正対化処理及びS205での撮像処理と同様の処理を、全てのグループに対して繰り返し行う。具体的には、まず、システム制御部102からの指示を受けてデータ処理部105は、撮像中心に対応する検査対象面までの距離Lと、第二グループに属する領域の傾きθ2とから、撮像制御装置10の移動方向、移動量および回転量を算出する。
図3(c)に示すように、移動方向はx軸のマイナス方向(θ2がマイナスの傾きなので)に対してθ2だけ回転させた方向、移動量はL×cos(90°-θ2)、回転量はθ2となる。システム制御部102は、データ処理部105により算出された移動方向・移動量を移動制御部121に指示して移動制御を行い、回転量を雲台制御部111に指示して回転制御を行うことで、第二グループの領域に対して正対化させる。
【0033】
次に、システム制御部102は、画像データを生成する撮像駆動モードで撮像部104を駆動させることで、検査対象面の画像データを取得する。その際、システム制御部102は、フォーカス制御部103による焦点調整を、各領域に対して行わせる。
図3(c)では、b、d領域のそれぞれの領域に順番に焦点を合わせて、2回の撮像処理を行う。
【0034】
ここで、残りのグループが存在する場合には、システム制御部102は雲台制御部111及び移動制御部121を制御し、次のグループの撮影処理を行うために、第一グループに正対化する前の位置および方向に撮像制御装置10を戻す。そして、同様の処理を行う。一方、全てのグループに対する正対化及び撮像処理を終えた場合は、処理を終了し、次の検査領域へ自動または手動により撮像制御装置10を移動させる。
【0035】
なお、本実施形態では、撮像制御装置10を上方から見た2次元平面上で説明したが、上方(z軸)方向に次元を拡張して3次元でも同様の処理を行うこともできる。その場合、システム制御部102は、上下方向への移動および回転を雲台制御部111及び移動制御部121に追加で指示する。
【0036】
以上説明したように本実施形態によれば、同一平面ではないa領域~e領域で構成される検査対象面に対しても、グループごとに正対化し、同一グループ内で領域ごとに撮像処理を行うようにした。これにより、効率的に全体に対して焦点の合った画像を得ることが可能となる。
【0037】
なお、本実施形態では、S205において、各領域のそれぞれに対して焦点調整を行った。一方で、それ以外にも、各領域のそれぞれに対して適正露出となるように露出制御を行ったり、各領域までの距離に応じたストロボ発光制御を行ったり、その他各種処理を行ってもよい。これにより、各領域を検査するためのより最適な画像データを得ることができる。
【0038】
また、各領域に対する撮像処理を行う際には、システム制御部102は、最適な位置となるように移動制御部121をさらに制御するようにしてもよい。例えば、各領域への焦点調整をフォーカス制御部103の制御により行うのではなく、撮像制御装置10自体を焦点の合う位置に移動させて検査対象面を撮像するようにしてもよい。このようにすれば、各領域を撮像する際の距離を一定に保つことができるため、各領域の画像データの解像度を一定に保つことができる。
【0039】
また、S205において各領域のそれぞれに対して焦点の調整を行う際に、ある領域に対して焦点を調整する際に、被写界深度内に含まれる別の領域があるかどうかを判別してもよい。そして、被写界深度内に含まれる複数の領域を一度の撮像処理で画像を取得すれば、さらに効率的に全体に対して焦点の合った画像を得ることが可能になる。
【0040】
さらに、橋梁を検査対象として撮像した場合、床版や主桁等の検査対象面以外にも、橋梁とは無関係な構造物や樹木等の自然物が障害物として撮像範囲内に存在する場合がある。あるいは、橋梁の端を撮像した場合は、撮像領域内に被写体が存在しない領域が含まれる場合もある。このような検査対象面に含まれない領域は、焦点合わせの対象とする必要がない。そこで、S201において検査対象面の平面領域を識別する際に、撮像装置100からの距離が所定の範囲内でない領域は、検査対象面ではないと判別して、識別対象外としてもよい。これにより、不必要な撮像処理を行わないようにできるため、さらに効率的に全体に対して焦点の合った画像を得ることが可能になる。
【0041】
また、本実施形態によれば、検査対象面及び障害物の距離、平面情報が得られるため、これを撮像制御装置(例えばドローン)の自動飛行制御情報に応用することも可能である。例えば、検査対象面との距離を一定に保ちながら平行移動したり、障害物を識別して回避するように飛行したりするなど、距離・平面情報から移動方向および距離を算出して撮像制御装置を制御することができる。その他にも、本実施形態により得られる検査対象面及び障害物の距離及び平面情報を用いることで、検査面の撮像処理に限らない様々な処理に応用することができる。
【0042】
(第2の実施形態)
以下、
図4及び
図5を参照して、本発明の第2の実施形態による撮像制御装置について説明する。
【0043】
図4は、本実施形態における撮像制御装置10の内部構成例を示すブロック図である。
図4において、
図1と同じ構成については説明を省略する。
図4に示すように、本実施形態に係る撮像制御装置10は、第1の実施形態と同様に、撮像装置100と、雲台装置110と、移動装置120と、を有するが、各装置間で制御信号を流すバスは存在しない。バス108は、撮像装置100の各構成と接続するものである。このように本実施形態では、システム制御部102は、雲台装置110、移動装置120の各部を制御することはできない構成となっている。
【0044】
雲台通信部112は、雲台装置110内に備えられ、ユーザの操作する不図示のコントローラ装置と無線もしくは有線で通信を行う。そしてユーザからのパン角やチルト角の変更指示を受けて、雲台制御部111は雲台装置110を制御し、撮像装置100の撮像方向を回転させる。
移動装置通信部122は移動装置120内に備えられ、ユーザの操作するコントローラ装置と無線もしくは有線で通信を行う。そしてユーザからの操作指示を受けて、移動制御部121は移動装置120を制御し、自身の位置を移動させる。
【0045】
次に、
図5を参照しながら、本実施形態における撮像制御装置の動作について説明する。システム制御部102は、コンピュータプログラムに従って本処理を行う。
図5において、Sはステップを表す。
【0046】
初めに、ユーザはコントローラ装置を用いて移動装置120を制御して検査対象に接近させ、雲台装置110及び移動装置120を制御して撮像装置100の正面を概ね検査対象に向けた状態にする。その後、
図5に示す本実施形態における撮像制御装置10の動作を開始する。なお、
図5におけるS200~S203、S205は、それぞれ第1の実施形態の
図2におけるS200~S203、S205と同様の処理であるため、説明を省略する。
【0047】
S500では、第一グループの領域に対して撮像制御装置10を正対化させるために、システム制御部102は、雲台装置110及び移動装置120をどのように制御すべきかをユーザに通知する。具体的には、まず、
図2のS204と同様の方法で、データ処理部105は第一グループの領域に対して正対化させるための撮像制御装置10の移動方向、移動量および回転量を算出する。そして、システム制御部102は、算出した移動方向、移動量および回転量を、通信部107によりユーザの操作するコントローラ装置に送信する。ユーザの操作するコントローラ装置には、受信した移動方向、移動量および回転量が表示され、ユーザはその数値に従って雲台装置110及び移動装置120をコントローラ装置により制御する。
【0048】
なお、ユーザの操作による第一グループの領域への正対化が完了するまでの間、システム制御部102は、S200~S203、S500の処理を周期的に繰り返すようにしてもよい。そうすることで、ユーザは移動方向、移動量および回転量の最新値をリアルタイムに取得しながら、移動および回転操作を行うことができる。第一グループの領域への正対化が完了したら、ユーザによりコントローラ装置を介してシステム制御部102に正対化が完了した旨の通知を送る。
【0049】
S501では、システム制御部102は、ユーザが操作するコントローラ装置から正対化が完了した旨の通知を受けるまで待機する。そして、ユーザが操作するコントローラ装置から正対化が完了した旨の通知を受信した場合は、S205へ進む。
【0050】
S502では、システム制御部102は、上述した第一グループに対する正対化を行うための通知処理及び正対化後のS205による撮像処理と同様の処理を、全てのグループに対して繰り返し行う。そして、全てのグループに対する正対化のための通知処理及び撮像処理を終えた場合は、処理を終了し、次の検査領域へ撮像制御装置10を移動させる。
【0051】
以上説明したように本実施形態によれば、撮像装置100、雲台装置110、移動装置120の各装置間で制御信号を流すバスが存在しない撮像制御装置10においても、ユーザが操作するコントローラ装置に適切な移動操作を促すことができる。これにより、効率的に全体に対して焦点の合った画像を得ることが可能になる。
【0052】
(その他の実施形態)
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0053】
本実施形態の開示は、以下の構成、方法およびプログラムを含む。
【0054】
(構成1)
複数の面を有する被写体を撮像する撮像手段と、
前記被写体の複数の面を識別する識別手段と、
前記識別手段によって識別された複数の面のうち、所定の範囲内の傾きの面をグループ化するグループ化手段と、
前記グループ化手段によってグループ化された各面に対して正対化するよう前記撮像手段を移動させる移動手段と、
を有し、
前記撮像手段は、前記移動手段によって移動した後に、前記グループ化された各面に対して撮像処理を行うことを特徴とする撮像制御装置。
【0055】
(構成2)
前記グループ化された各面に対して正対化する際の前記撮像手段の移動方向、移動量および回転量の情報を外部装置に通知する通知手段をさらに有し、
前記移動手段は、前記通知手段によって通知した外部装置からの制御に基づいて、前記撮像手段を移動させることを特徴とする構成1に記載の撮像制御装置。
【0056】
(構成3)
前記被写体に対する距離マップを取得する取得手段をさらに有し、
前記識別手段は、前記取得手段によって取得された距離マップに基づいて、傾きが所定の範囲内である範囲を1つの面として識別することを特徴とする構成1または2に記載の撮像制御装置。
【0057】
(構成4)
前記グループ化手段は、前記撮像手段の被写界深度に基づいてグループ化することを特徴とする構成1~3の何れかに記載の撮像制御装置。
【0058】
(構成5)
前記撮像手段は、前記移動手段によって移動した後に、前記グループ化された各面に対して焦点を合わせて撮像処理を行うことを特徴とする構成1~4の何れかに記載の撮像制御装置。
【0059】
(構成6)
前記撮像手段は、前記グループ化された面のうち、被写界深度に収まる範囲の複数の面に対して撮像処理を行うことを特徴とする構成5に記載の撮像制御装置。
【0060】
(構成7)
前記撮像手段は、前記移動手段によって前記撮像手段が焦点の合う方向に移動することにより撮像処理を行うことを特徴とする構成5に記載の撮像制御装置。
【0061】
(構成8)
前記識別手段は、前記撮像手段からの距離が所定の範囲内でない領域を、前記被写体の面として識別しないようにすることを特徴とする構成1~7の何れかに記載の撮像制御装置。
【0062】
(構成9)
前記外部装置からの制御に基づく前記移動手段による前記撮像手段の移動が完了するまでの間、前記識別手段、前記グループ化手段および前記通知手段の処理を所定の周期で繰り返すことを特徴とする構成2に記載の撮像制御装置。
【0063】
(方法)
複数の面を有する被写体を撮像する撮像手段を有する撮像制御装置の制御方法であって、
前記被写体の複数の面を識別する識別工程と、
前記識別工程において識別された複数の面のうち、所定の範囲内の傾きの面をグループ化するグループ化工程と、
前記グループ化工程においてグループ化された各面に対して正対化するよう前記撮像手段を移動させる移動工程と、
前記移動工程において移動した後に、前記撮像手段により前記グループ化された各面に対して撮像処理を行う撮像工程と、
を有することを特徴とする撮像制御装置の制御方法。
【0064】
(プログラム)
複数の面を有する被写体を撮像する撮像手段を制御するためのプログラムであって、
前記被写体の複数の面を識別する識別工程と、
前記識別工程において識別された複数の面のうち、所定の範囲内の傾きの面をグループ化するグループ化工程と、
前記グループ化工程においてグループ化された各面に対して正対化するよう前記撮像手段を移動させる移動工程と、
前記移動工程において移動した後に、前記撮像手段により前記グループ化された各面に対して撮像処理を行う撮像工程と、
をコンピュータに実行させるためのプログラム。
【符号の説明】
【0065】
102 システム制御部、104 撮像部、105 データ処理部