(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-25
(45)【発行日】2024-10-03
(54)【発明の名称】撮像装置、撮像装置の制御方法
(51)【国際特許分類】
H04N 23/66 20230101AFI20240926BHJP
H04N 23/67 20230101ALI20240926BHJP
G03B 15/00 20210101ALI20240926BHJP
G02B 7/28 20210101ALI20240926BHJP
G03B 17/56 20210101ALI20240926BHJP
H04N 5/222 20060101ALI20240926BHJP
【FI】
H04N23/66
H04N23/67
G03B15/00 P
G02B7/28 Z
G03B17/56 B
H04N5/222 100
(21)【出願番号】P 2020070563
(22)【出願日】2020-04-09
【審査請求日】2023-04-05
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】森 重樹
【審査官】堀井 康司
(56)【参考文献】
【文献】特開2003-185902(JP,A)
【文献】国際公開第2019/012803(WO,A1)
【文献】国際公開第2017/126368(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/66
H04N 23/67
G03B 15/00
G02B 7/28
G03B 17/56
H04N 5/222
(57)【特許請求の範囲】
【請求項1】
撮像装置の撮像範囲内の複数の位置におけるデフォーカス量を取得する取得手段と、
前記撮像装置の回転方向および/または回転の度合いをユーザに通知するための通知情報がデフォーカス量の差分ごとに登録されているテーブルから、前記取得手段によって取得されたデフォーカス量の差分に
対応する通知情報を取得し、該取得した通知情報をユーザに通知する通知手段と
を備えることを特徴とする撮像装置。
【請求項2】
前記回転の軸をユーザ操作に応じて設定する手段を備え、
前記複数の位置は前記軸に応じて異なる
ことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記
通知手段は、
前記テーブルから、前記差分の符号に
対応する回転方向を表すアイコンを
取得し、該取得したアイコンを表示させることを特徴とする請求項1または2に記載の撮像装置。
【請求項4】
前記
通知手段は、
前記テーブルから、前記差分の絶対値に
対応する回転の度合いを表すアイコンを
取得し、該取得したアイコンを表示させることを特徴とする請求項1ないし3の何れか1項に記載の撮像装置。
【請求項5】
前記
通知手段は、前記撮像装置の表示画面に前記アイコンを表示させることを特徴とする請求項3または4に記載の撮像装置。
【請求項6】
前記
通知手段は、前記撮像装置を搭載したドローン装置をユーザが制御するために操作するコントローラ装置の表示画面に前記アイコンを表示させることを特徴とする請求項3または4に記載の撮像装置。
【請求項7】
さらに、ユーザ操作に応じて選択された前記回転の軸と、前記差分と、を前記撮像装置を載置した雲台装置に対して出力する
出力手段を備えることを特徴とする請求項1または2に記載の撮像装置。
【請求項8】
さらに、ユーザ操作に応じて選択された前記撮像装置の回転軸と、前記
差分に基づいて取得した前記撮像装置の回転を指示する情報と、を前記撮像装置を搭載したドローン装置に対して出力する
出力手段を備えることを特徴とする請求項1または2に記載の撮像装置。
【請求項9】
前記出力手段はさらに、前記回転軸および前記情報に基づいて前記ドローン装置が回転する前に前記撮像装置が撮像していた注目点を、該回転の後も撮像可能にするための前記撮像装置の平行移動量を、前記撮像装置のレンズ特性および前記注目点におけるデフォーカス量に基づいて求め、該求めた平行移動量を前記ドローン装置に対して出力することを特徴とする請求項8に記載の撮像装置。
【請求項10】
前記位置をユーザ操作に応じて設定する設定手段を備えることを特徴とする請求項1ないし9の何れか1項に記載の撮像装置。
【請求項11】
前記設定手段は、位置の設定順に応じて前記撮像装置の回転軸を設定することを特徴とする請求項10に記載の撮像装置。
【請求項12】
前記撮像装置の撮像範囲には、検査対象の構造物が含まれていることを特徴とする請求項1に記載の撮像装置。
【請求項13】
前記出力手段は、構造物の変状検知に適した画像を取得可能な向きへの前記撮像装置の回転を指示する情報を出力することを特徴とする請求項
7または8に記載の撮像装置。
【請求項14】
撮像装置の制御方法であって、
前記撮像装置の取得手段が、前記撮像装置の撮像範囲内の複数の位置におけるデフォーカス量を取得する取得工程と、
前記撮像装置の
通知手段が、
前記撮像装置の回転方向および/または回転の度合いをユーザに通知するための通知情報がデフォーカス量の差分ごとに登録されているテーブルから、前記取得工程で取得されたデフォーカス量の差分に
対応する通知情報を取得し、該取得した通知情報をユーザに通知する通知工程と
を備えることを特徴とする撮像装置の制御方法。
【請求項15】
撮像装置のコンピュータを、請求項1ないし13のいずれか1項に記載の撮像装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像技術に関し、特に、社会インフラ構造物の点検に用いられる画像の撮像技術に関するものである。
【背景技術】
【0002】
広範囲な検査対象面を点検の対象とした社会インフラ点検の為の撮像においては、検査対象面の変状等を、同一の条件で検査を行う為に、画像上の解像度等が均一となるような撮像を行うことが望まれている。この為、検査対象面に対して正対化した状態の画像が得られる撮像か、あるいは撮像後に正対化した状態の画像となるような画像処理が行われていた。また、広範囲に検査対象面を撮像する為に、撮像装置を移動させ、隣接した検査対象面の撮像も行っていた。特許文献1では、被写体面の傾きを測定するべく、撮像素子の上下左右に配置されたエリアのコントラストデータと、レンズの対応するAF駆動量から、それぞれのエリアの測距を行う。そして、それぞれのエリアの測距の結果より、被写体面と撮像装置の正対度合を検出することで、撮像装置の撮像面をシフト駆動させてアオリ撮像を行う。これにより、撮像装置自体が被写体面に対して正対化して設置されていない場合でも、あたかも正対化した状態で撮像したような画像を得ていた。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、検査対象面に対する撮像装置の角度が大きい場合は、検査対象面のひび等の変状を斜め方向から観察することとなる。この為、アオリ撮像や正対化の画像処理を行った場合でも、変状の発生している方向や深さ方向に角度が付いている場合には、ひび幅等について、正しく検査を行うことができなかった。また、広範囲な検査対象面を撮像する為に、撮像装置を横方向に移動させた際に、撮像装置が検査対象面に正対化していない場合には、徐々に検査対象面との距離が変化する。その結果、広範囲な検査対象面について、均一な条件での撮像を行うことができなかった。本発明では、撮像対象に対して正対して撮像を行うための技術を提供する。
【課題を解決するための手段】
【0005】
本発明の一様態は、撮像装置の撮像範囲内の複数の位置におけるデフォーカス量を取得する取得手段と、
前記撮像装置の回転方向および/または回転の度合いをユーザに通知するための通知情報がデフォーカス量の差分ごとに登録されているテーブルから、前記取得手段によって取得されたデフォーカス量の差分に対応する通知情報を取得し、該取得した通知情報をユーザに通知する通知手段と
を備えることを特徴とする。
【発明の効果】
【0006】
本発明の構成によれば、撮像対象に対して正対して撮像を行うことができる。
【図面の簡単な説明】
【0007】
【
図1A】カメラ装置100およびレンズ装置113のハードウェア構成例を示すブロック図。
【
図1B】カメラ装置100の機能構成例を示すブロック図。
【
図2】雲台装置200のハードウェア構成例を示すブロック図。
【
図3】ドローン装置300のハードウェア構成、コントローラ装置329のハードウェア構成例を示すブロック図。
【
図4】社会インフラ構造物を撮像する撮像方法を説明する図。
【
図5】デフォーカス量を取得するための構成を示す図。
【
図8】スイッチ801、ドローン装置300、コントローラ装置329を説明する図。
【
図9B】ステップS910における処理の詳細を示すフローチャート。
【
図12】デフォーカス量からカメラ装置100と被写体との間の距離を求めるための手順を説明する図。
【
図14A】注目点1301を撮像範囲に補足しつつ検査対象面に正対するように回転および平行移動させる一連の動作を説明する図。
【
図14B】注目点1301を撮像範囲に補足しつつ検査対象面に正対するように回転および平行移動させる一連の動作を説明する図。
【
図14C】注目点1301を撮像範囲に補足しつつ検査対象面に正対するように回転および平行移動させる一連の動作を説明する図。
【
図16】デフォーカス量に基づいて検査対象面1601に対する間違った正対化の為の回転制御が行われた例を示す図。
【
図17A】ユーザがカメラ装置100を操作してデフォーカス量の取得位置を設定する方法を説明する図。
【
図17B】ユーザがカメラ装置100を操作してデフォーカス量の取得位置を設定する方法を説明する図。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0009】
[第1の実施形態]
先ず、本実施形態に係る撮像システムについて説明する。本実施形態に係る撮像システムは、社会インフラ点検の対象となる構造物の検査対象面を撮像するためのもので、特に、該検査対象面に対する正対撮像を容易に実現するためのものである。本実施形態に係る撮像システムは、動画像を撮像するもしくは定期的/不定期的に静止画像を撮像する撮像装置としてのカメラ装置と、該カメラ装置に装着するレンズ装置と、該カメラ装置を回転させる雲台装置と、を有する。
【0010】
先ず、本実施形態に係るカメラ装置100およびレンズ装置113のハードウェア構成例について、
図1Aのブロック図を用いて説明する。
図1Aでは、カメラ装置100にレンズ装置113が装着された状態を示している。
【0011】
先ず、カメラ装置100のハードウェア構成例について説明する。本実施形態に係るカメラ装置100は、該カメラ装置100の撮像範囲内の複数の位置におけるデフォーカス量を取得し、該カメラ装置100の回転を指示する情報を、該取得したデフォーカス量間の差分に基づいて取得し、該取得した情報を出力する。
【0012】
CPU(Central Processing Unit)101は、ROM(Read-Only Memory)102やRAM(Random Access Memory)103に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりCPU101は、カメラ装置100全体の動作制御を行うとともに、カメラ装置100が行うものとして後述する各処理を実行もしくは制御する。
【0013】
ROM102には、カメラ装置100の設定データ、カメラ装置100の起動に係るコンピュータプログラムやデータ、カメラ装置100の基本動作に係るコンピュータプログラムやデータ、などが格納されている。
【0014】
RAM103は、ROM102から読みだしたコンピュータプログラムやデータ、記録媒体I/F108を介してメモリカード109から読みだしたコンピュータプログラムやデータ、を格納するためのエリアを有する。さらにRAM103は、撮像素子104から出力された撮像画像、外部I/F110を介して外部装置から受信したコンピュータプログラムやデータ、カメラ通信部107によりレンズ装置113から受信したデータ、を格納するためのエリアを有する。さらにRAM103は、CPU101が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM103は、各種のエリアを適宜提供することができる。
【0015】
撮像素子104は、受光素子の2次元配列であり、レンズ装置113を介して入光した光に応じた撮像画像を生成して出力する。表示部105は、液晶ディスプレイ(LCD)や有機ELディスプレイ(OLED)等であって、表示画面やファインダー画面に画像や文字を表示するデバイスである。なお表示部105は、カメラ装置100に備わっているものでなくてもよく、例えば、カメラ装置100と無線および/または無線で通信可能な外部デバイスであってもよい。
【0016】
操作部106は、ボタン、ダイヤル、タッチパネル、ジョイスティック等のユーザインターフェースであり、ユーザが操作することで各種の指示をCPU101に対して入力することができる。
【0017】
カメラ通信部107は、カメラ装置100とレンズ装置113との間のデータ通信を行う。記録媒体I/F108は、メモリカード109をカメラ装置100に装着するためのインターフェースであり、CPU101は、記録媒体I/F108を介してメモリカード109に対するデータの読み書きを行う。
【0018】
メモリカード109は、例えば、SD、CF、CFexpress、XQD、CFastなどのカード型の記録媒体が知られている。また、メモリカード109は、無線ネットワークを介して外部装置にデータを記録するものであっても良い。
【0019】
外部I/F110は、外部装置との間のデータ通信を行うための通信インターフェースであり、CPU101は、外部I/F110を介して外部装置との間のデータ通信を行う。電源部111は、カメラ装置100における電源供給および電源管理を行う。
【0020】
CPU101、ROM102、RAM103、撮像素子104、表示部105、操作部106、カメラ通信部107、記録媒体I/F108、外部I/F110、電源部111は何れもシステムバス112に接続されている。
【0021】
次に、レンズ装置113のハードウェア構成例について説明する。CPU114は、ROM115やRAM116に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりCPU114は、レンズ装置113全体の動作制御を行うとともに、レンズ装置113が行うものとして後述する各処理を実行もしくは制御する。
【0022】
ROM115には、レンズ装置113の設定データ、レンズ装置113の起動に係るコンピュータプログラムやデータ、レンズ装置113の基本動作に係るコンピュータプログラムやデータ、などが格納されている。
【0023】
RAM116は、ROM115から読みだしたコンピュータプログラムやデータ、レンズ通信部119によりカメラ装置100から受信したデータ、を格納するためのエリアを有する。さらにRAM116は、CPU114が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM116は、各種のエリアを適宜提供することができる。
【0024】
レンズ通信部119は、カメラ装置100とレンズ装置113との間のデータ通信を行う。例えば、レンズ通信部119は、カメラ装置100からレンズ装置113への制御情報を受信したり、レンズ装置113の動作状態などをカメラ装置100に通信したり、カメラ装置100からの電源の供給を受けたりする。
【0025】
表示部117は、液晶ディスプレイ(LCD)や有機ELディスプレイ(OLED)等であって、レンズ装置113の動作状態などを表示するデバイスである。なお表示部117は、レンズ装置113に備わっているものでなくてもよく、例えば、レンズ装置113と無線および/または無線で通信可能な外部デバイスであってもよい。
【0026】
操作部118は、ボタン、ダイヤル、タッチパネル、ジョイスティック等のユーザインターフェースであり、ユーザが操作することで各種の指示をCPU114に対して入力することができる。また、ユーザが操作部118を操作することで入力した指示は、レンズ通信部119によってカメラ装置100に対して送信することもできる。
【0027】
レンズ駆動部120は、レンズ装置113が有する光学レンズを、CPU101やCPU114からの指示に基づいて制御するものであり、これにより、絞り、フォーカス、ズーム焦点、手振れ補正などの制御を行う。レンズ駆動部120によって絞り、フォーカス、ズーム焦点、手振れ補正などが制御された後に該光学レンズを介して入光した光は上記の撮像素子104で受光され、該撮像素子104は、該受光した光に応じた撮像画像を生成して出力する。
【0028】
CPU114、ROM115、RAM116、レンズ通信部119、表示部117、操作部118、レンズ駆動部120、は何れも、システムバス121に接続されている。
【0029】
次に、本実施形態に係る雲台装置200のハードウェア構成例について、
図2のブロック図を用いて説明する。
【0030】
CPU201は、ROM202やRAM203に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりCPU201は、雲台装置200全体の動作制御を行うとともに、雲台装置200が行うものとして後述する各処理を実行もしくは制御する。
【0031】
ROM202には、雲台装置200の設定データ、雲台装置200の起動に係るコンピュータプログラムやデータ、雲台装置200の基本動作に係るコンピュータプログラムやデータ、などが格納されている。
【0032】
RAM203は、ROM202から読みだしたコンピュータプログラムやデータを格納するためのエリアを有する。さらにRAM203は、CPU201が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM203は、各種のエリアを適宜提供することができる。
【0033】
外部I/F204は、リモコン装置210からの各種の指示を無線若しくは有線の通信でもって取得するための通信インターフェースである。リモコン装置210は、雲台装置200に対して各種の指示を入力するための装置であり、例えば、雲台装置200に載置されているカメラ装置100のパン角やチルト角を変更するための変更指示を入力することができる。また、外部I/F204は、雲台装置200に載置されたカメラ装置100とも通信可能である。
【0034】
電源部205は、雲台装置200における電源供給および電源管理を行う。表示部206は、液晶ディスプレイ(LCD)や有機ELディスプレイ(OLED)等であって、雲台装置200の動作状態などを表示するデバイスである。なお表示部206は、雲台装置200に備わっているものでなくてもよく、例えば、雲台装置200と無線および/または無線で通信可能な外部デバイスであってもよい。
【0035】
操作部207は、ボタン、ダイヤル、タッチパネル、ジョイスティック等のユーザインターフェースであり、ユーザが操作することで各種の指示をCPU201に対して入力することができる。
【0036】
P/T軸駆動部208は、雲台装置200に載置されたカメラ装置100のパン角やチルト角を、外部I/F204を介してリモコン装置210から受けた指示等に基づいて変更する。
【0037】
CPU201、ROM202、RAM203、外部I/F204、電源部205、表示部206、操作部207、P/T軸駆動部208、は何れもシステムバス209に接続されている。
【0038】
次に、カメラ装置100の機能構成例について、
図1Bのブロック図を用いて説明する。以下では、
図1Bに示した機能部を処理の主体として説明するが、実際には、該機能部に対応するコンピュータプログラムをCPU101が実行することで、該機能部の動作を実現させる。また、
図1Bに示した機能部はハードウェアで実装しても構わない。
【0039】
決定部122は、「社会インフラ点検の対象となる構造物の検査対象面に対してカメラ装置100が正対するために該カメラ装置100を回転させる回転方向が、縦方向であるのか、それとも横方向であるのか」を示す設定情報を取得する。設定情報は、例えば、ユーザが操作部106を操作して決定する。そして決定部122は、設定情報が示す回転方向が横方向であれば、カメラ装置100の撮像範囲内で左右に並ぶ2つの位置(例えば、該撮像範囲内の左端近傍の位置と右端近傍の位置)を「デフォーカス量を取得するための位置」として設定する。一方、決定部122は、設定情報が示す回転方向が縦方向であれば、カメラ装置100の撮像範囲内で上下に並ぶ2つの位置(例えば、該撮像範囲内の上端近傍の位置と下端近傍の位置)を「デフォーカス量を取得するための位置」として設定する。
【0040】
制御部124は、カメラ装置100の撮像範囲内において決定部122が決定した「デフォーカス量を取得するための位置」からデフォーカス量を取得する。取得部123は、制御部124が取得したデフォーカス量を取得する。差分演算部125は、取得部123が取得した一方のデフォーカス量と他方のデフォーカス量との差分を求める。
【0041】
特定部126は、差分演算部125が求めた差分に基づいて、「カメラ装置100を回転させる回転方向や回転の度合い」を通知するための通知情報を特定する。出力部127は、特定部126が特定した通知情報を出力する。
【0042】
本実施形態では、このような撮像システムを用いて、検査対象となる社会インフラ構造物の撮像を行い、該撮像により得られた撮像画像に基づいて該社会インフラ構造物の検査を行う。本実施形態に係る撮像システムを用いて社会インフラ構造物を撮像する撮像方法について、
図4を用いて説明する。
【0043】
検査対象となる社会インフラ構造物における検査対象面の一例を
図4(a)に示す。
図4(a)に示す社会インフラ構造物400は、側面401を有し且つ横に長い壁状の構造物となっている。参照番号402は、社会インフラ構造物400を図面に基づいて分割し、打ち継ぎを行って建造した際に発生した目地部分を示す。402の部分は、打ち継ぎ目とも呼ばれるが、ここでは分かり易さの為に目地と呼ぶ。目地部分402は、目視が可能であることから、検査業務を行う単位としても用いられる。参照番号403は、1回の検査の対象となる領域(検査対象領域)を示しており、撮像システムは、該検査対象領域403を含む撮像領域404を撮像する。撮像領域404を撮像した撮像画像において「撮像領域404内で検査対象領域403の周辺部に該当する部分画像」は、隣接する検査対象領域との位置関係を把握する為の情報となる。そのため、この部分画像は、社会インフラ構造物400全体を含む一枚の画像に合成する際の位置合わせとしても使用される。また、この周辺部に該当する部分画像は、1つの検査対象領域にとどまらない広範囲な変状の検査の為にも用いられるものである。
【0044】
このような撮像領域404を本実施形態に係る撮像システムを用いて撮像する様子を
図4(b)に示す。
図4(b)では、三脚408を有する雲台装置200にカメラ装置100が装着されており、該カメラ装置100にはレンズ装置113が装着されている。カメラ装置100とレンズ装置113との組み合わせによって撮像される撮像範囲409の検査対象面における幅(図中横方向のサイズ)は、撮像領域404の幅(図中横方向のサイズ)に相当する。
【0045】
そして、検査対象領域403の撮像が完了すると、該検査対象領域403に隣接する未撮像の検査対象領域の撮像を行うべく、本実施形態に係る撮像システムを参照番号410が示す位置に移動させ、同様にして、撮像範囲412内の検査対象領域の撮像を行う。参照番号410が示す位置での撮像が完了すると、該検査対象領域に隣接する未撮像の検査対象領域の撮像を行うべく、本実施形態に係る撮像システムを参照番号411が示す位置に移動させ、同様にして、撮像範囲413内の検査対象領域の撮像を行う。
【0046】
ここで、カメラ装置100は検査対象領域に対して正対している必要がある。本実施形態では、カメラ装置100が該検査対象領域に対して正対しているか否かを判断し、正対していなければ、カメラ装置100を回転させて該検査対象領域に対して正対させるための通知を行う。
【0047】
この通知を行うために、上記の如く、制御部124は、決定部122が決定した位置のデフォーカス量を取得する。ここで、デフォーカス量を取得するための構成について、
図5を用いて説明する。
【0048】
図5(a)は、全面の像面位相差センサを搭載したカメラ装置100において、レンズ装置113のフォーカス位置が前ピン時の位置であるときに該像面位相差センサが検出した位相のピーク値の差異であるデフォーカス量を取得するための構成を示す図である。
【0049】
図5(b)は、全面の像面位相差センサを搭載したカメラ装置100において、レンズ装置113のフォーカス位置が合焦時の位置であるときに該像面位相差センサが検出した位相のピーク値の差異であるデフォーカス量を取得するための構成を示す図である。
【0050】
図5(c)は、全面の像面位相差センサを搭載したカメラ装置100において、レンズ装置113のフォーカス位置が後ピン時の位置であるときに該像面位相差センサが検出した位相のピーク値の差異であるデフォーカス量を取得するための構成を示す図である。
【0051】
なお、像面位相差センサには様々なセンサを適用することができるが、本実施形態では、撮像素子104を像面位相差センサとして利用する。
図5(d)は、撮像素子104における1つの受光素子の構成例を示す図である。
【0052】
図5(d)に示す如く、受光素子517は、右像を受像する受光素子518と、左像を受像する受光素子519と、のペアで構成されており、マイクロレンズ516は、外界からの光を該受光素子517に集光させる。このとき、マイクロレンズ516とペアの受光素子517の配置により、光学レンズ501の右半分を通る光束は受光素子518に導かれ、光学レンズ501の左半分を通る光束は受光素子519に導かれるように構成されている。
【0053】
このような構成により、
図5(a)に示す如く、光学レンズ501の位置が前ピンの状態である場合には、社会インフラ構造物400の注目点500からの光束のうち光学レンズ501の右側を通る光束503は受光素子518で受光される。また、光学レンズ501の左側を通る光束504は受光素子519で受光される。その結果、
図5(a)に示す如く、ペアとなる受光素子で受光した光束は、それぞれ位相が異なるピーク値を持つ信号505,506として検出される。
【0054】
また、
図5(b)に示す如く、光学レンズ501の位置が注目点500に対して合焦状態にある場合には、社会インフラ構造物400の注目点500からの光束のうち光学レンズ501の右側を通る光束508および光学レンズ501の左側を通る光束509は、
図5(b)に示す如く、ペアとなる受光素子において、位相が一致したピーク値を持つ信号510として検出される。
【0055】
また、
図5(c)に示す如く、光学レンズ501の位置が注目点500に対して後ピンの状態にある場合には、社会インフラ構造物400の注目点500からの光束のうち光学レンズ501の右側を通る光束512および光学レンズ501の左側を通る光束513は、
図5(c)に示す如く、ペアとなる受光素子において、「
図5(a)の場合と逆の位相差で、異なるピーク値を持つ信号515,514」として検出される。
【0056】
本実施形態では、ペアとなる受光素子(受光素子518,519)で構成される受光素子517の2次元配列で受光される信号のピーク値の左右の位置関係と間の距離を基にして、デフォーカス量の値を定義する。例えば、
図5(a)、(b)、(c)それぞれの合焦具合に対応するデフォーカス量は、“-11”、“0”、“+7”のように定めることが可能である。
【0057】
次に、本実施形態に係る撮像システムの動作について、
図7のフローチャートに従って説明する。上記の如く、ユーザは本実施形態に係る撮像システムを用いて検査対象面の撮像を行うべく、該撮像システムを該検査対象面に向けて設置する。このとき、ユーザはカメラ装置100を該検査対象領域に対して概略正対化と思われる向きに設置することは可能である。しかし、構造物や設置場所の基準点及び周囲の精密な測量情報が無い場合、カメラ装置100を正確に正対化する向きに設置することはできてはいない状態である。カメラ装置100を設置してから該カメラ装置100の電源が投入されると、撮像素子104によって撮像された撮像画像がライブビュー画像として、表示部105により該カメラ装置100の背面の表示画面に表示される。そして、
図7のフローチャートに従った処理が開始される。
【0058】
ステップS701では、決定部122は、「検査対象面に対してカメラ装置100が正対するために該カメラ装置100を回転させる回転方向が、縦方向であるのか、それとも横方向であるのか」を示す設定情報を取得する。
【0059】
例えば
図8(a)に示す如く、操作部106は、「検査対象面に対してカメラ装置100が正対するために該カメラ装置100を回転させる回転方向」(正対化検出方向)を「縦方向」、「横方向」の何れかに設定するためのスイッチ801を有する。ユーザはこのスイッチ801を操作することで、正対化検出方向を縦方向(回転軸=チルト軸)および横方向(回転軸=パン軸)の何れかに設定することができる。決定部122は、スイッチ801によって設定された正対化検出方向を設定情報として取得する。
図4(a)、(b)に示す如く、横長の構造物を横に移動して撮像する場合には、横(回転)方向の正対化検出方向が選択される。以下では、一例として、正対化検出方向が横方向に設定されたケースについて説明する。
【0060】
次に、ステップS702では、決定部122は、正対化検出方向が横方向であるので、カメラ装置100の撮像範囲内で左右に並ぶ2つの位置を「デフォーカス量を取得するための位置」として設定する。例えば、
図6A(a)に示す如く、決定部122は、社会インフラ構造物400においてカメラ装置100の撮像範囲602に収まる撮像領域404の左端付近の位置600と右端付近の位置601とを「デフォーカス量を取得するための位置」として設定する。
【0061】
ステップS703では、制御部124は、ステップS702で設定された位置(
図6A(a)の場合は位置600および位置601)におけるデフォーカス量を、上記の如く取得する。このとき、カメラ装置100は検査対象面に対して合焦動作を行う必要は無く、ステップS702で設定された位置におけるデフォーカス量を取得する。
【0062】
ステップS704では、取得部123は、ステップS703で取得した「左側の位置のデフォーカス量」と「右側の位置におけるデフォーカス量」とを取得する。そして差分演算部125は、「左側の位置のデフォーカス量」から「右側の位置におけるデフォーカス量」を引いた差分を求める。
【0063】
ステップS706では、特定部126は、ステップS704で求めたデフォーカス量間の差分に対応する「カメラ装置100の回転方向および回転の度合いを表す情報」を回転指示情報(通知情報)として取得する。
【0064】
ここで、ROM102には、
図6Bに示す如く、デフォーカス量間の差分に対応する回転指示情報が登録されたテーブル615が登録されている。列616には、デフォーカス量間の差分の区間が登録されている。例えば、列616において行619には、デフォーカス量間の差分の区間「+11以上」が登録されており、列616において行624には、デフォーカス量間の差分の区間「-5~-10」が登録されている。
【0065】
列617には、カメラ装置100を左回転させる場合の回転量に応じたアイコンが登録されている。列617において行619に登録されているアイコンは、列617において行620に登録されているアイコンが表す回転量よりも大きい回転量を表している。列617において行620に登録されているアイコンは、列617において行621に登録されているアイコンが表す回転量よりも大きい回転量を表している。列617において行622~625に登録されているアイコンは、左回転させる必要はないことを表している。
【0066】
列618には、カメラ装置100を右回転させる場合の回転量に応じたアイコンが登録されている。列618において行625に登録されているアイコンは、列618において行624に登録されているアイコンが表す回転量よりも大きい回転量を表している。列618において行624に登録されているアイコンは、列618において行623に登録されているアイコンが表す回転量よりも大きい回転量を表している。列618において行619~622に登録されているアイコンは、右回転させる必要はないことを表している。
【0067】
よって、例えば、特定部126は、ステップS704で求めたデフォーカス量間の差分が「+7」である場合、差分「+7」を含む区間「+10~+5」に対応する行620に登録されている2つのアイコンを回転指示情報として取得する。
【0068】
また例えば、特定部126は、ステップS704で求めたデフォーカス量間の差分が「-12」である場合、差分「-12」を含む区間「-11以下」に対応する行625に登録されている2つのアイコンを回転指示情報として取得する。
【0069】
つまり、
図6Bのテーブルには、デフォーカス量間の差分の符号に応じた回転方向と、デフォーカス量間の差分の絶対値に応じた回転の度合いと、を通知するための回転指示情報が登録されている。
【0070】
ステップS714では、出力部127は、ステップS706で取得した回転指示情報を「カメラ装置100の回転方向と回転の度合いをユーザに通知するための通知情報」として表示部105に出力する。表示部105は、該通知情報を、カメラ装置100の背面の表示画面に表示する。例えば
図6A(a)に示す如く、カメラ装置100の背面の表示画面に表示されているライブビュー画像604の下方左側には列617から取得したアイコン605を表示する。また、該ライブビュー画像604の下方右側には列618から取得したアイコン606を表示する。なお、アイコン605およびアイコン606の表示位置は特定の表示位置に限らず、例えば、ライブビュー画像604に重畳させて表示してもよい。また、
図6A(a)では、ライブビュー画像604において位置600および位置601のそれぞれに対応する位置にアイコン600aおよび601aが重畳表示されている。
【0071】
表示されたアイコン605,606を目視したユーザは、カメラ装置100を左回転させる通知を認識し、カメラ装置100を左回転させる。
図6A(a)の状態におけるカメラ装置100を左回転させた後の状態を
図6A(b)に示す。
【0072】
図6A(b)の状態においても、未だアイコン609,610が表示されているので、同様にユーザは、カメラ装置100を左回転させる通知を認識し、カメラ装置100を左回転させる。ここで、アイコン606もアイコン610も右回転させる必要はないことを示している。一方、アイコン605もアイコン609も左回転させる必要があることを示しているが、アイコン609はアイコン605よりも少ない回転量の回転を示している。
図6A(b)の状態におけるカメラ装置100をさらに左回転させた後の状態を
図6A(c)に示す。
【0073】
図6A(c)の状態では、左回転させる必要はないことを表すアイコン613および右回転させる必要はないことを表すアイコン614が表示されている。表示されたアイコン613,614を目視したユーザは、カメラ装置100を右にも左にも回転させる必要はない旨の通知を認識し、カメラ装置100を回転させない。
【0074】
図8(a)は、カメラ装置100を雲台装置200に搭載した状態を示す図であり、雲台装置200のパンチルト操作及びカメラ装置100の撮像操作を行う為のリモコン装置210が接続されている。このとき、リモコン装置210は、カメラ装置100の外部I/F110を介してカメラ装置100と接続することによって、カメラ装置100による撮像も可能としている。
【0075】
図7に戻って、ステップS715では、CPU101は、
図7のフローチャートに従った処理の終了条件が満たされたか否かを判断する。例えば、CPU101は、ユーザが操作部106を操作して処理の終了指示を入力したり、カメラ装置100の電源をオフにしたりした場合には、
図7のフローチャートに従った処理の終了条件が満たされたと判断する。
【0076】
このような判断の結果、
図7のフローチャートに従った処理の終了条件が満たされた場合には、
図7のフローチャートに従った処理は終了し、該終了条件は満たされていない場合には、処理はステップS703に進む。
【0077】
このように、
図8(a)のようなカメラ装置100を載置した雲台装置200を検査対象面に向けて設置することで、検査対象面に対して正対化するための回転指示情報をユーザに通知することが可能となる。そして、この通知を受けたユーザが該通知に従って雲台装置200等の操作を行うことでカメラ装置100を検査対象面に対して正確に正対化することが可能となり、正確な変状の検査が可能となる。また同時に、正確に正対化することで、検査対象面の隣接した領域を撮像する際に、カメラ装置100を平行移動させることで、検査対象面に対する均一な条件での撮像が可能となる。
【0078】
なお、本実施形態においては、正対化のための回転方向を横(回転)方向とし、雲台装置200のパン軸を操作する構成としたが、正対化検出方向を切り替えることで縦(回転)方向に対する正対化の回転指示を行い、チルト軸を操作する構成としても良い。さらに、横(回転)方向と縦(回転)方向の検出を同時に行い、それぞれの回転指示情報を提示する構成としても良い。
【0079】
また、本実施形態においては、デフォーカス量の値についての一例を提示し、また、回転指示情報を3種類に定めたが、デフォーカス量の値は使用する像面位相差センサの種類によって異なる為、適宜係数等を乗じて使用しても良く、種類もこれに限らない。
【0080】
また、本実施形態では、回転方向と回転の度合いの両方を示すアイコンを表示していたが、回転方向を示すアイコンと、回転の度合いを示すアイコンと、に分けて表示してもよいし、いずれか一方のみを表示してもよい。また、回転方向や回転の度合いを示す情報はアイコンに限らず、例えば、文字情報であってもよい。また、回転方向や回転の度合いの通知方法は特定の通知方法に限らない。
【0081】
また、本実施形態では、回転させる必要のない方向についてもアイコンを表示しているが、回転させる必要のない方向についてはアイコンを表示しなくてもよい。また、回転させる必要のある方向についてはアイコンに加えて、文字情報などの他の情報をさらに表示してもよい。
【0082】
[第2の実施形態]
本実施形態を含む以下の各実施形態では、第1の実施形態との差分について説明し、特に触れない限りは、第1の実施形態と同様であるものとする。第1の実施形態に係る撮像システムでは、雲台装置200にカメラ装置100を載置する構成としたが、カメラ装置100をドローン装置等のUAV(unmanned aerial vehicle)に搭載する構成としても構わない。本実施形態では、このような撮像システムの一例として、カメラ装置100を搭載したドローン装置と、該ドローン装置を制御するコントローラ装置と、を有する撮像システムについて説明する。
【0083】
先ず、本実施形態に係るドローン装置300のハードウェア構成について、
図3(a)のブロック図を用いて説明する。CPU301は、ROM302やRAM303に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりCPU301は、ドローン装置300全体の動作制御を行うとともに、ドローン装置300が行うものとして後述する各処理を実行もしくは制御する。なお、CPU301は、カメラ装置100やレンズ装置113の動作制御を行うようにしても良い。
【0084】
ROM302には、ドローン装置300の設定データ、ドローン装置300の起動に係るコンピュータプログラムやデータ、ドローン装置300の基本動作に係るコンピュータプログラムやデータ、等が格納されている。
【0085】
RAM303は、ROM302からロードされたコンピュータプログラムやデータ、カメラ装置100から出力された画像などの情報、無線I/F304を介して外部から受信したデータ、等を格納するためのエリアを有する。さらにRAM303は、CPU301が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM303は、各種のエリアを適宜提供することができる。
【0086】
無線I/F304は、外部との間の無線通信を行うための通信インターフェースとして機能する。電源部305は、ドローン装置300における電源供給および電源管理を行う。表示部306は、液晶ディスプレイ(LCD)や有機ELディスプレイ(OLED)等であって、画面に画像や文字を表示するデバイスである。
【0087】
操作部307は、ボタン、ダイヤル、タッチパネル、ジョイスティック等のユーザインターフェースであり、ユーザが操作することで各種の指示をCPU301に対して入力することができる。
【0088】
飛行制御部308は、ミキサー部314からの信号に基づいて駆動部310を制御することで、ドローン装置300の位置や姿勢を制御し、該ドローン装置300の飛行を制御する。
【0089】
センサ処理部309は、センサにより測定された情報を処理して、自身の位置や姿勢等、ドローン装置300の飛行制御を行うために必要な情報(センサ情報)を取得する。このようなセンサには、ジャイロセンサ、加速度センサ、GNSS(Global Navigation Satellite System)、気圧センサ、超音波センサ(高度センサ、距離センサ)、地上映像を取得するセンサ等が適用可能である。
【0090】
駆動部310は、飛行制御部308による制御の元で、ドローン装置300を飛行させるローターの駆動制御を行う。
【0091】
カメラ装置100は「防振及びブレを軽減すると共に、カメラ装置100の向きを変更可能なシンバル装置」を介してドローン装置300に搭載される。ジンバル制御部311は、このようなシンバル装置を制御するためのものである。
【0092】
映像伝送部312は、カメラ装置100から出力された画像を外部に伝送(送信)する。ミキサー部314は、センサ処理部309が取得したセンサ情報と、ユーザがドローン装置300を制御するために操作するコントローラ装置329からの操作信号と、をミックスして飛行制御部308に出力する。これにより飛行制御部308は、センサ処理部309が取得したセンサ情報に応じてドローン装置300の飛行制御を行っている状態において、コントローラ装置329からの操作信号に応じた飛行制御を行う。
【0093】
CPU301、ROM302、RAM303、無線I/F304、電源部305、表示部306、操作部307、飛行制御部308、映像伝送部312、ミキサー部314、カメラ装置100はシステムバス313に接続されている。
【0094】
ドローン装置300の外観例を
図8(b)の左側に示す。
図8(b)の左側に示す如く、ドローン装置300にはカメラ装置100(レンズ装置113が装着されている)が装着されている。
【0095】
次に、コントローラ装置329のハードウェア構成例について、
図3(b)のブロック図を用いて説明する。CPU315は、ROM316やRAM317に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりCPU315は、コントローラ装置329全体の動作制御を行うとともに、コントローラ装置329が行うものとして後述する各処理を実行もしくは制御する。
【0096】
ROM316には、コントローラ装置329の設定データ、コントローラ装置329の起動に係るコンピュータプログラムやデータ、コントローラ装置329の基本動作に係るコンピュータプログラムやデータ、等が格納されている。
【0097】
RAM317は、ROM316からロードされたコンピュータプログラムやデータ、無線I/F318を介して外部から受信したデータ、等を格納するためのエリアを有する。さらにRAM317は、CPU315が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM317は、各種のエリアを適宜提供することができる。
【0098】
無線I/F318は、外部との間の無線通信を行うための通信インターフェースとして機能する。電源部319は、コントローラ装置329における電源供給および電源管理を行う。
【0099】
操作部321は、ボタン、ダイヤル、タッチパネル、ジョイスティック等のユーザインターフェースであるジンバルコントローラ323やスティックコントローラ322に対するユーザ操作を受け付ける。
【0100】
ジンバルコントローラ323は、ジンバル装置を制御する(カメラ装置100の位置や姿勢を制御する)ためのユーザ操作を受けるけるユーザインターフェースである。スティックコントローラ322は、ドローン装置300の位置や姿勢を操作するための操作入力を受けるけるためのユーザインターフェースである。
【0101】
操作部321は、ジンバルコントローラ323やスティックコントローラ322に対するユーザ操作を受け付けると、該ユーザ操作の内容を表す操作信号を生成し、該生成した操作信号を無線I/F318を介してドローン装置300に対して送信する。これによりドローン装置300は、該操作信号に応じた飛行制御を行う。
【0102】
映像伝送部325は、ドローン装置300から送信された画像を無線I/F318を介して受信し、該受信した画像を、映像出力I/F326に接続されている表示デバイスに出力することで該画像を該表示デバイスに表示させる。
【0103】
CPU315、ROM316、RAM317、無線I/F318、電源部319、操作部321、映像伝送部325は、何れもシステムバス328に接続されている。
【0104】
コントローラ装置329の外観例を
図8(b)の右側に示す。コントローラ装置329はスティックコントローラ322を有している。また、コントローラ装置329には、映像出力I/F326を介して表示デバイス802が接続されており、映像伝送部325によって伝送された画像は該表示デバイス802に表示される。表示デバイス802は、例えば、スマートフォンやタブレット端末装置である。なお、ドローン装置300の映像伝送部312は、送信する画像を符号化してから送信してもよく、その場合、コントローラ装置329の映像伝送部325は、該画像を復号してから映像出力I/F326を介して表示デバイスに出力する。この画像は、撮像画像や第1の実施形態で説明した各種のアイコンを含む。
【0105】
また、カメラ装置100による撮像を行う際、飛行制御部308において、ロイターモード(Loiter Mode)等の、コントローラ装置329のスティックコントローラ322の操作を行わないことで、空中の特定座標で停止するモードを用いる。この時、ドローン装置300は、センサ処理部309が取得したセンサ情報を用いて、空間上のX軸Y軸Z軸の特定の位置に止まることができる。またこのモードにおいては、急な突風などの外乱が発生しても、飛行制御部308が駆動部310を適切に制御することで、元の位置に戻る。さらに、飛行制御部308とジンバル制御部311が連携することで、カメラ装置100が常にドローン装置300の正面を向き、且つカメラ装置100のロール軸は水平に保つフォローアップモード等を用いることで、本実施形態における正対化を容易にできる。即ち、コントローラ装置329を持つユーザは、表示デバイス802に表示されたアイコン609、610に従って、ドローン装置300のパン軸の操作を行うことで、カメラ装置100を検査対象面に対して正対化させて撮像を行うことができる。その後、横方向に隣接する検査対象面の撮像を行う際、ユーザはコントローラ装置329を操作してドローン装置300のロール軸を操作し、ドローン装置300を横方向にだけ水平に移動させ、必要な位置に来たら、操作を終了する。これにより、次の撮像を行うことが可能となる。また更に横(回転)方向と縦(回転)方向の操作が必要な正対化でも、縦横のアイコンに従って、横(回転)方向はドローン装置300のパン軸操作、縦(回転)方向はジンバル装置のチルト軸操作を行うことで、検査対象面に対する正対化を行うことができる。なお、この時、検査対象面が地面に対して垂直ではない場合にも正対化を行うことができ、正確な変状の検査が可能となる。
【0106】
[第3の実施形態]
第1の実施形態では回転指示情報をユーザに通知していたが、本実施形態では、回転指示情報を雲台装置200に出力して、該雲台装置200に該回転指示情報に応じたカメラ装置100の回転制御を行わせ、該カメラ装置100を検査対象面に正対化させる。
【0107】
本実施形態に係る撮像システムの動作について、
図9Aのフローチャートに従って説明する。第1の実施形態と同様に、ユーザは撮像システムを(例えば
図6A(a)に示す如く)検査対象面に向けて設置する。そして、ユーザがリモコン装置210を操作して正対化制御を開始するための操作を行うと、撮像素子104によって撮像された撮像画像がライブビュー画像として、表示部105により該カメラ装置100の背面の表示画面に表示される。そして、
図9Aのフローチャートに従った処理が開始される。
【0108】
なお、ステップS901~S904の各ステップにおける処理は、上記のステップS701~S704の各ステップにおける処理と同様であるため、これらのステップに係る説明は省略する。
【0109】
ステップS905では、特定部126は、ステップS904において求めた差分の絶対値が閾値以上であるか否かを判断する。この判断の結果、差分の絶対値が閾値以上であれば、処理はステップS908に進み、差分の絶対値が閾値未満であれば、処理はステップS906に進む。
【0110】
ステップS908では特定部126は、正対化検出方向が「縦方向」であれば、カメラ装置100の回転軸を「チルト軸」とし、正対化検出方向が「横方向」であれば、カメラ装置100の回転軸を「パン軸」とする。
【0111】
ステップS909では、出力部127は、ステップS908で特定したカメラ装置100の回転軸と、ステップS904において求めた差分と、を含む回転軸制御信号を生成し、該回転軸制御信号を、外部I/F110を介して雲台装置200に対して送信する。
【0112】
一方、ステップS906では、出力部127は、差分=0を含む回転軸制御信号(つまり、回転のための駆動停止を指示する信号)を生成し、該回転軸制御信号を、外部I/F110を介して雲台装置200に対して送信する。
【0113】
ステップS910で雲台装置200は、カメラ装置100から送信された回転軸制御信号を外部I/F204を介して受信し、該回転軸制御信号に基づいてカメラ装置100の回転を制御することで、該カメラ装置100を検査対象面に対して正対化させる。ステップS910における処理の詳細については後述する。
【0114】
ステップS911では、CPU101は、差分=0であるか否かを判断し、差分=0であれば、
図9Aのフローチャートに従った処理は終了し、差分≠0であれば、処理はステップS903に進む。
【0115】
次に、上記のステップS910における処理の詳細について、
図9Bのフローチャートに従って説明する。ステップS912では、CPU201は、カメラ装置100から送信された回転軸制御信号を外部I/F204を介して受信する。
【0116】
ステップS913では、CPU201は、ステップS912で受信した回転軸制御信号に含まれている「回転軸」を取得する。ステップS914では、CPU201は、ステップS912で受信した回転軸制御信号に含まれている「差分」を制御信号として取得する。
【0117】
ステップS915では、CPU201は、ステップS914で取得した制御信号が示す差分が0であるか否かを判断する。この判断の結果、ステップS914で取得した制御信号が示す差分が0である場合には、処理はステップS926に進み、ステップS914で取得した制御信号が示す差分が0ではない場合には、処理はステップS916に進む。
【0118】
ステップS916では、CPU201は、ステップS914で取得した制御信号が示す差分が正の値(符号が正)であるか否かを判断する。この判断の結果、ステップS914で取得した制御信号が示す差分が正の値(符号が正)であれば、処理はステップS917に進む。一方、この判断の結果、ステップS914で取得した制御信号が示す差分が負の値(符号が負)であれば、処理はステップS918に進む。
【0119】
ステップS917では、CPU201は、ステップS913で取得した回転軸周りにカメラ装置100を回転させる回転方向として正回転を選択する。一方、ステップS918では、CPU201は、ステップS913で取得した回転軸周りにカメラ装置100を回転させる回転方向として逆回転を選択する。
【0120】
ステップS919では、CPU201は、ステップS914で取得した制御信号が示す差分の絶対値を取得する。ステップS920では、CPU201は、ステップS919で取得した絶対値が10よりも大きいか否かを判断する。この判断の結果、ステップS919で取得した絶対値が10よりも大きい場合には、処理はステップS921に進み、ステップS919で取得した絶対値が10以下であれば、処理はステップS922に進む。
【0121】
ステップS922では、CPU201は、ステップS919で取得した絶対値が5よりも大きいか否かを判断する。この判断の結果、ステップS919で取得した絶対値が5よりも大きい場合には、処理はステップS923に進み、ステップS919で取得した絶対値が5以下であれば、処理はステップS924に進む。
【0122】
ステップS921では、CPU201は、回転速度として「大」を設定する。ステップS923では、CPU201は、回転速度として「中」を設定する。ステップS924では、CPU201は、回転速度として「小」を設定する。
【0123】
ステップS925では、CPU201はP/T軸駆動部208を制御して、ステップS913で取得した回転軸周りに、ステップS921,S923,S924の何れかで設定した回転速度で、ステップS917、S918の何れかで選択した回転方向にカメラ装置100を回転させる。
【0124】
なお、ステップS925では、CPU201はP/T軸駆動部208を制御して、雲台装置200に接続されたDCモータ、DCブラシレスモータ、あるいはステッピングモータなどによる、ダイレクトドライブあるいはウォームギヤ等を介した、様々な駆動方式による駆動を実行する。しかし、本実施形態では、雲台装置200の駆動方式は直接関係は無いので説明を省略する。また、本実施形態では、駆動速度を「大」、「中」、「小」の3段階としたが、雲台装置200の駆動軸の制御において、帰還制御における発振動作やモータの脱調が行らない範囲で、速度や段階を変更しても構わない。一方、ステップS926では、CPU201はP/T軸駆動部208を制御して、カメラ装置100の回転を停止させる。
【0125】
このように、本実施形態によれば、撮像システムを検査対象面に向けて設置し、さらにリモコン装置210で正対化制御の開始操作を行うことで、雲台装置200等の操作を行うこと無く、正対化を実行可能となる。これにより、ユーザは迅速に行われた正対化の後に、直ちに、正確な変状の検査を行うことが可能となる。
【0126】
なお、本実施形態は、カメラ装置100を搭載したドローン装置300にも適用できる。この場合、
図10に示す如く、ドローン装置300を遠隔から制御するためにユーザが操作するコントローラ装置329は、正対化の制御の開始を指示するためのボタン1001を有する。
【0127】
この場合、ドローン装置300の正面を概ね検査対象面に向けた状態で、ユーザが上記のボタン1001を押下すると、コントローラ装置329のCPU315は、正対化の制御の開始指示を無線I/F318を介してドローン装置300に対して送信する。そしてドローン装置300のCPU301は、該開始指示を受けると、カメラ装置100に
図9Aのフローチャートに従った処理(ステップS910を除く)を実行させる。
【0128】
ここで、ステップS909もしくはステップS906で出力された回転軸制御信号は、システムバス313を介して、ミキサー部314に送出される。ミキサー部314は、この回転軸制御信号と、センサ処理部309が取得したセンサ情報と、をミックスして飛行制御部308に送出する。これにより飛行制御部308は、センサ処理部309が取得したセンサ情報に応じてドローン装置300の飛行制御を行っている状態において、ステップS909もしくはステップS906で出力された回転軸制御信号に応じた飛行制御を行う。
【0129】
本実施形態では、回転軸制御信号は、ドローン装置300のパン軸に対して作用することで、検査対象面に対して正対化の制御を行う。このような構成にすることで、ドローン装置300のユーザは、スティックコントローラ322の微妙なパン軸回転操作を行うこと無く、ドローン装置300の飛行制御部308による正対化制御を行うことが可能となる。
【0130】
[第4の実施形態]
本実施形態では、カメラ装置100を検査対象面に対して正対化させるべくドローン装置300を回転させる前に該カメラ装置100が撮像していた注目点を該回転の後も撮像可能にするべく、該ドローン装置300を該検査対象面に対して平行移動させる。
【0131】
図11(a)に示す如く、社会インフラ構造物400における検査対象面の検査対象領域403を含む撮像領域404が、ドローン装置300に搭載されたカメラ装置100の撮像範囲602に収まっているとする。そして、カメラ装置100を検査対象面に正対化させるべく、
図11(b)、(c)の順に示す如くドローン装置300を回転させると、検査対象面において撮像範囲602に収まる撮像領域は撮像領域1101、1102の順にずれていき、検査対象領域403の一部が撮像領域から外れてしまう。また、このずれは、カメラ装置100と検査対象領域との間の距離が大きいほど顕著となる。
【0132】
本実施形態では、ドローン装置300を回転させた後も検査対象領域403がカメラ装置100の撮像領域に収まるようにするべく、ドローン装置300を回転させた後に、該ドローン装置300を検査対象面に対して平行移動させる。
【0133】
カメラ装置100が取得したデフォーカス量から、カメラ装置100と被写体との間の距離を求めるための手順を、
図12のグラフを用いて説明する。
図12において横軸はレンズ装置113におけるレンズのフォーカス位置、縦軸はカメラ装置100から被写体までの距離を示す。
【0134】
特性曲線1201は、レンズ装置113におけるレンズのフォーカス位置と、カメラ装置100から被写体までの距離と、の関係を表す曲線である。線分1202は、レンズ装置113における現在のフォーカス位置、線分1203は、取得したデフォーカス量、線分1204は、現在のフォーカス位置(線分1202)にデフォーカス量(線分1203)を加えたフォーカス位置(=合焦位置)を示す。点1205は、特性曲線1201と線分1204との交点であり、点1205の縦軸の値を、被写体までの距離1206として求めることができる。
【0135】
次に、カメラ装置100を回転させて検査対象面に正対化させた場合に、回転前に撮像していた注目点を回転後も撮像可能にするためにカメラ装置100を検査対象面に対して平行移動させる量(平行移動量)を求める手順について、
図13を用いて説明する。
【0136】
図13では、位置1302から注目点1301を撮像しているカメラ装置100を回転させて検査対象面に正対化させた後、平行移動量o1303だけ平行移動させることで、カメラ装置100の撮像範囲に注目点1301が収まるようにしている。以下では、この平行移動量o1303を求める手順について説明する。
【0137】
図13において、∠Aはレンズ装置113の画角を示し、L1及びL2はそれぞれ、横方向の正対度合を検出する為に配置されたデフォーカス量の取得位置1304及び1305におけるカメラ装置100と被写体との間の距離を示す。なお、実際にはデフォーカス量の取得位置は、レンズ装置113の画角の端部とは若干位置が異なるが、ここでは演算を簡単にする為にレンズ装置113の画角の端部両端でデフォーカス量を取得しているものとする。また、L3は、位置1302から検査対象面上の、画角の中央にある注目点1301までの距離を示している。また、aは検査対象面におけるレンズ装置113の画角で捉えられた距離を示し、dはL2とL1との差分(L2-L1)を示す。また、eは、位置1302と取得位置1304とを両端とする線分、位置1302と位置1305とを結ぶ線分において位置1302から距離L1の位置と位置1302とを両端とする線分、の間の角度を∠Aとした三角形の残りの辺の長さである。また、∠Dは、距離aを有する辺A、距離eを有する辺E、距離dを有する辺D、の三辺を有する三角形における辺Aと辺Eとの間の角度を示している。ここで、eはL1と角度∠Aからe=2×L1×sin(A/2)となり、aは余弦定理からa=√(L1<SUP>2</SUP>+L2<SUP>2</SUP>-2×L1×L2×cosA)となる。よって、角度∠Dは、cos(D)=(a
2+e
2-d
2)/(2×a×e)として表すことができる。ここで、角度∠Dは角度∠D’と同値である。∠D’は、検査対象面に正対しているカメラ装置100の位置と注目点1301の位置とを通る線分1390と、位置1302と注目点1301の位置とを通る線分と、がなす角度である。そのため、平行移動距離oはL1、L2、L3、及び∠Aから、o=L3×cos(D)として導き出すことが可能である。
【0138】
位置1302から検査対象面上の注目点1301に向けて配置されているドローン装置300を、注目点1301を撮像範囲に補足しつつ検査対象面に正対するように回転および平行移動させる一連の動作について、
図14A~14Cを用いて説明する。
【0139】
図14Aでは、ドローン装置300は、位置1302から検査対象面上の注目点1301に向けて配置されている。この状態においてドローン装置300は、上記の如く、取得したデフォーカス量間の差分に基づいて回転(パン軸周りに角度1401だけ回転)して検査対象面に正対し、ドローン装置300は注目点1402に向けて配置される。つまり、カメラ装置100の注目点は注目点1402となる。
【0140】
次に、
図14Bに示す如く、検査対象面に正対化したドローン装置300は、センサ処理部309が取得したセンサ情報によって得られる現在位置座標から、上記の演算によって求められた平行移動量o1303だけ平行移動する。その結果、
図14Cに示す如く、カメラ装置100及びドローン装置300の注目点は、正対化の為の回転が行われる前の注目点1301に戻ることになる。
【0141】
次に、本実施形態に係る撮像システムの動作について、
図15のフローチャートに従って説明する。以下では、ドローン装置300が検査対象面の注目点1301に向けて設置されている状態を例にとり、この状態において、ユーザが上記のボタン1001を押下すると、
図15のフローチャートに従った処理が開始されるケースについて説明する。
【0142】
なお、ステップS1501~S1506、S1508~S1511の各ステップにおける処理は、上記のステップS901~S906、S908~S911の各ステップにおける処理と同様であるため、これらのステップに係る説明は省略する。
【0143】
ステップS1511では、CPU101は、差分=0であるか否かを判断し、差分=0であれば、
図14Aに示されたような、ドローン装置300の正対化の為の回転制御が完了したと判断し、処理はステップS1513に進む。
【0144】
なお、本実施形態では、ステップS1503において、デフォーカス量を取得する検査対象面上の複数の位置として、正対化制御の為の位置である取得位置1304および位置1305に加えて、注目点1301の位置についてもデフォーカス量を取得する。
【0145】
ステップS1513では、特定部126は、レンズ装置113から、上記の特性曲線1201、レンズ装置113の現在のフォーカス位置(線分1202)、レンズ装置113の画角∠A、を含むレンズ特性情報を取得する。レンズ特性情報は、レンズ装置113におけるRAM116やROM115に格納されており、レンズ通信部119およびカメラ通信部107を介して該レンズ装置113から取得する。
【0146】
ステップS1514で特定部126は、ステップS1503で取得したデフォーカス量、レンズ特性情報に含まれている特性曲線1201および現在のフォーカス位置(線分1202)、を用いて上記の処理を行うことで、上記の距離L1、L2,L3を求める。
【0147】
ステップS1515では、特定部126は、平行移動量oを、ステップS1513で取得した情報およびステップS1514で求めた距離L1、L2,L3を用いて上記の処理を行うことで求める。
【0148】
ステップS1516では、ドローン装置300の飛行制御部308は、駆動部310を制御し、センサ処理部309が取得したセンサ情報によって得られる現在位置座標から、ステップS1515で求めた平行移動量oだけ、検査対象面に対して平行移動する。
【0149】
このように、本実施形態では、ユーザがドローン装置300及びカメラ装置100を検査対象面に対して概略正対化させ、さらに、検査対象面上の注目点1301を捉えるように配置した後に、コントローラ装置329のボタン1001を押下する。これにより、ドローン装置300を、注目点1301を捕捉しつつ、正確に正対化して配置することが可能となり、該配置された位置で撮像された画像を用いて、該注目点に関する、正確な変状の検査を行うことが可能となる。
【0150】
[第5の実施形態]
上記の実施形態では、デフォーカス量を取得する取得位置はあらかじめ定められた位置としていた。しかし、常に同じ位置からデフォーカス量を取得する場合、例えば、次のような問題が生じる。
【0151】
図16は、カメラ装置100で取得したデフォーカス量に基づいて、検査対象面1601に対する間違った正対化の為の回転制御が行われた例を示している。
図16において、参照番号1602は検査対象面1601の前面に設置された構造材、参照番号1603及び1604はレンズ装置113の画角のほぼ端部に配置されているデフォーカス量の取得位置を示している。ここで、右側のデフォーカス量の取得位置1604は検査対象面1601の表面上に位置しているが、左側のデフォーカス量の取得位置1603は構造材1602の表面上に位置している。このような状態において、取得位置1603のデフォーカス量と取得位置1604のデフォーカス量との差分を小さくするようにドローン装置300の回転制御を行うと、
図16に示す如く、ドローン装置300は、検査対象面1601と正対しない状態となる。つまり、
図16のように取得位置1603および取得位置1604から取得したデフォーカス量に基づいて正対化の為の回転制御を行うと、検査対象面1601に対する正対化が失敗している。
【0152】
本実施形態では、このような問題に鑑み、ユーザが撮像画像を閲覧しながらデフォーカス量を取得する取得位置として望ましい位置を設定することを可能にする。以下に、ユーザがカメラ装置100を操作して、デフォーカス量の取得位置を設定する方法について、
図17A,17Bを用いて説明する。
【0153】
図17A(a)は、
図16の検査対象面1601を正面から捉えた状態におけるカメラ装置100の背面の表示画面1701の様子を示した図である。表示画面1701には、検査対象面1601の正面だけでなく、構造材1602の一部が映っている。取得位置1603に対応する表示画面1701上の対応位置にはアイコン1603aが表示されており、取得位置1604に対応する表示画面1701上の対応位置にはアイコン1604aが表示されている。ユーザは、左側のデフォーカス量の取得位置1603を検査対象面1601上の位置に変更するべく、表示画面1701上で次のような操作を行う。以下では、表示画面1701はタッチパネル画面であるとするので、表示画面1701上で操作を行うが、表示画面1701がタッチパネル画面ではない場合には、例えば、操作部106を用いて操作を行う。
【0154】
先ず、ユーザは表示画面1701上で、アイコン1603aおよびアイコン1604aを消去するための操作を行う。これにより、表示画面1701から、アイコン1603aおよび1604aは消去される。アイコン1603aおよび1604aを消去すると、それぞれのアイコンに対応する「デフォーカス量の取得位置」も消去される。
【0155】
そしてユーザは、表示画面1701上でデフォーカス量の取得位置を自身の指でタッチする。これにより、該タッチした位置が、新たな「デフォーカス量の取得位置」として設定される。新たな「デフォーカス量の取得位置」を設定する操作を行った場合における表示画面1701の様子を
図17A(b)に示す。
図17A(b)では、アイコン1603aおよびアイコン1604aは消去されており、ユーザは、構造材1602を避けた位置(検査対象面1601上の位置)を自身の指1703でタッチしている。これにより、該タッチした位置にはアイコン1702が表示され、また、該タッチした位置が「デフォーカス量の取得位置」として設定される。
【0156】
このようにして、ユーザは左側のデフォーカス量の取得位置を設定する。そしてユーザは同様の操作により、右側のデフォーカス量の取得位置を設定する。つまりユーザは、表示画面1701上で右側のデフォーカス量の取得位置を自身の指でタッチする。これにより、該タッチした位置が、新たな「右側のデフォーカス量の取得位置」として設定される。
図17A(b)の状態において新たな「右側のデフォーカス量の取得位置」を設定する操作を行った場合における表示画面1701の様子を
図17B(a)に示す。
図17B(a)では、ユーザは、構造材1602を避けた位置(検査対象面1601上の位置)を自身の指1703でタッチしており、これにより、該タッチした位置にはアイコン1704が表示されている。また、該タッチした位置が「デフォーカス量の取得位置」として設定される。
【0157】
そして、
図17Aおよび
図17Bでは、「左側のデフォーカス量の取得位置」を設定してから「右側のデフォーカス量の取得位置」を設定したので、正対化検出方向を左側から右側(つまり横方向(回転軸=パン軸))として設定する。
図17B(b)では、左側から右側を正対化検出方向とすることを示す矢印アイコン1705が表示されている。この矢印アイコン1705は、「左側のデフォーカス量の取得位置」を設定してから「右側のデフォーカス量の取得位置」を設定したこと(つまり、デフォーカス量の取得位置の設定順)をも表している。
【0158】
本実施形態に係る撮像システムの動作について、
図18のフローチャートに従って説明する。ユーザは撮像システムを検査対象面に向けて設置し、撮像素子104によって撮像された撮像画像がライブビュー画像として、表示部105により該カメラ装置100の背面の表示画面に表示される。そして、ユーザが上記のボタン1001を押下すると、
図18のフローチャートに従った処理が開始される。
【0159】
例えば、
図16に示す検査対象面1601に対して、カメラ装置100が概略正対化して配置されているとする。ここで、ユーザは、カメラ装置100の表示画面1701において、デフォルトのデフォーカス量の取得位置1603及び1604を確認可能な状態にある。ここで、ユーザがコントローラ装置329のボタン1001を押下すると、
図18のフローチャートに従った処理が開始される。
【0160】
ステップS1801では、カメラ装置100のCPU101は、表示画面に対するタッチ操作があったか否かを判断する。この判断の結果、タッチ操作があった場合には、処理はステップS1803に進み、タッチ操作がなかった場合には、処理はステップS1802に進む。
【0161】
図17A(a)の場合、ユーザは、カメラ装置100の表示画面1701を介して、左側のデフォーカス量の取得位置1603が構造材1602の上にあることを確認しているため、表示画面1701に対するタッチ操作を行う。
【0162】
ステップS1802では、CPU101は、上記のボタン1001が再度押下されたか否かを判断する。ボタン1001が押下されると、コントローラ装置329は該押下を検知し、該押下を検知したことをカメラ装置100やドローン装置300に通知する。この判断の結果、上記のボタン1001が再度押下された場合には、処理はステップS1803に進み、上記のボタン1001が再度押下されていない場合には、処理はステップS1801に進む。
【0163】
ステップS1803では、CPU101は、「デフォーカス量の取得位置」を設定するためのタッチ操作を受け付ける。そしてCPU101は、ユーザによるタッチ操作を検知すると、タッチされた位置にアイコンを表示するとともに、該タッチされた位置を「デフォーカス量の取得位置」として設定する。
【0164】
例えば、
図17A(b)に示す如く、左側のデフォーカス量の取得位置を設定するためのタッチ操作を検知すると、タッチされた位置にアイコン1702を表示するとともに、該タッチされた位置を左側のデフォーカス量の取得位置として設定する。その後、
図17B(a)に示す如く、右側のデフォーカス量の取得位置を設定するためのタッチ操作を検知すると、タッチされた位置にアイコン1704を表示するとともに、該タッチされた位置を右側のデフォーカス量の取得位置として設定する。
【0165】
ステップS1804では、CPU101は、ユーザが先にタッチした位置から後にタッチされた位置に向かうベクトルを求め、該求めたベクトルの方向を正対化検出方向として設定する。
【0166】
なお、ステップS1805~S1808、S1811~S1815の各ステップにおける処理は、上記のステップS902~S905、S908~S911、S906の各ステップにおける処理と同様であるため、これらのステップに係る説明は省略する。
【0167】
ステップS1814では、CPU101は、差分=0であるか否かを判断し、差分=0であれば、ドローン装置300の正対化の為の回転制御が完了したと判断し、処理はステップS1816に進む。
【0168】
ステップS1816では、CPU101は、ステップS1803で先に設定された「デフォーカス量の取得位置」の設定順を1、後に設定された「デフォーカス量の取得位置」の設定順を2として取得する。
【0169】
そしてステップS1817では、CPU101は、設定順が1の「デフォーカス量の取得位置」から設定順が2の「デフォーカス量の取得位置」に向かう矢印を示す矢印アイコンを表示画面に表示させる。
【0170】
このように、本実施形態によれば、ユーザが表示画面1701を確認しながら正対化の為のデフォーカス量の取得位置を指定することが可能となる。例えば、構造材1602などを避けてデフォーカス量の取得位置を設定することが可能となる。これにより、確実な正対化の為の回転制御が可能となる。
【0171】
また、デフォーカス量の取得位置をユーザが設定可能とすることにより、正対化検出方向の設定も上書きすることが可能である。また、ユーザが、隣接した検査対象面の撮像を行う際に、その方向を記録する目的で、ステップS1803における取得位置の順番を定めることで、表示画面1701にその方向を矢印アイコン1705として提示させることが可能となる。
【0172】
さらには、ドローン装置300及びカメラ装置100を自律制御することで、隣接する検査対象面を連続して撮像する構成とする場合には、前述の取得位置の設定内容を用いて、正対化制御の回転方向及び連続撮像の方向を指定することが可能となる。
【0173】
[第6の実施形態]
カメラ装置100の表示画面内でどの位置にデフォーカス量の取得位置を設定するのが良いのか(もしくはどの位置にデフォーカス量の取得位置を設定するのが良くないのか)の判断基準を、該表示画面に表示してもよい。
【0174】
例えば、カメラ装置100の撮像範囲内における各位置に対するデフォーカス量を取得し、それぞれの位置におけるデフォーカス量のうち他と大きくかけ離れているデフォーカス量(外れ値)を取得した位置を表示画面に表示してもよい。また、表示画面において外れ値を取得した位置を除く位置を表示画面に表示してもよい。また、外れ値を取得した位置と、外れ値ではないデフォーカス量を取得した位置と、を識別可能に表示画面に表示してもよい。
【0175】
なお、上記の各実施形態において情報の表示は、カメラ装置100の背面の表示画面において行うものとしたが、どの画面に表示してもよい。また、上記の説明において、A=Bであるか否かの判断は、AとBとが完全に一致しているか否かの判断であってもよいが、AとBとの差分が許容範囲内にあるか否かの判断であってもよい。つまり、AとBとの差異が許容範囲内であれば、A=Bとみなしてもよい。
【0176】
また、上記の説明において使用した数値、処理タイミング、処理順などは、具体的な説明を行うために一例として挙げたものであり、これらの数値、処理タイミング、処理順などに限定することを意図したものではない。
【0177】
また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。
【0178】
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0179】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0180】
122:決定部 123:取得部 124:制御部 125:差分演算部 126:特定部 127:出力部