(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022133328
(43)【公開日】2022-09-13
(54)【発明の名称】画像処理装置、及び、画像処理方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20220906BHJP
G06T 7/90 20170101ALI20220906BHJP
G06T 7/50 20170101ALI20220906BHJP
G01C 11/28 20060101ALI20220906BHJP
G01C 15/06 20060101ALI20220906BHJP
【FI】
G06T7/00 300F
G06T7/90 A
G06T7/50
G01C11/28
G01C15/06 T
【審査請求】有
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022101192
(22)【出願日】2022-06-23
(62)【分割の表示】P 2018559026の分割
【原出願日】2017-12-14
(31)【優先権主張番号】P 2016253064
(32)【優先日】2016-12-27
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】真子 創志
(72)【発明者】
【氏名】村越 象
(57)【要約】
【課題】対空標識を撮影した撮影画像から、対空標識を精度良く検出することができるようにする。
【解決手段】飛行体の飛行経路及び対空標識が配置される標識位置を含む所定の飛行経路に基づいて、前記飛行体の飛行が制御され、前記飛行経路と前記標識位置に基づいて、少なくとも一つの撮影画像が撮像され、前記撮像された撮影画像に含まれる前記対空標識が検出され、検出された前記対空標識の情報が出力される。本技術は、例えば、空撮した撮影画像から、地上に設置された対空標識を検出する場合等に適用できる。
【選択図】
図2
【特許請求の範囲】
【請求項1】
飛行体の飛行経路及び対空標識が配置される標識位置を含む所定の飛行経路に基づいて、前記飛行体の飛行を制御する制御部と、
前記飛行体に備えられ、前記飛行経路と前記標識位置に基づいて、少なくとも一つの撮影画像を撮像する撮像部と、
前記撮像された撮影画像に含まれる前記対空標識を検出し、検出した前記対空標識の情報を出力する検出部と
を有する
画像処理装置。
【請求項2】
前記検出部は、前記飛行体に備えられる
請求項1に記載の画像処理装置。
【請求項3】
前記検出部は、
前記撮影画像から、前記対空標識が映る領域の候補である候補領域を抽出する候補領域抽出部と、
前記候補領域の特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記対空標識を識別する識別部と
を有する請求項1に記載の画像処理装置。
【請求項4】
前記特徴量抽出部は、前記候補領域、及び、前記対空標識のテンプレート画像の相関を前記候補領域の特徴量として抽出する
請求項3に記載の画像処理装置。
【請求項5】
前記対空標識は、複数の円が同心円状に配置された平面形状を有し、前記複数の円のうちの隣接する円の輝度又は色相が異なる
請求項3に記載の画像処理装置。
【請求項6】
前記候補領域抽出部は、前記複数の円のうちの、半径が2番目に小さい円の色相、彩度、及び、明度のうちの、少なくとも色相を利用して、前記候補領域を抽出する
請求項5に記載の画像処理装置。
【請求項7】
前記特徴量抽出部は、前記特徴量として、前記複数の円のうちの、半径が最小の円の輝度又は色相と、半径が2番目に小さい円の輝度又は色相との距離を抽出する
請求項5に記載の画像処理装置。
【請求項8】
前記特徴量抽出部は、前記特徴量として、前記候補領域と、その候補領域を、2πの整数倍以外の所定の角度だけ回転した回転画像との相関を抽出する
請求項5に記載の画像処理装置。
【請求項9】
前記特徴量抽出部は、前記候補領域、及び、前記対空標識のテンプレート画像に対して、前記円に付された色彩を強調するフィルタを適用し、前記フィルタの適用後の前記候補領域と前記テンプレート画像との相関を、前記特徴量として抽出する
請求項3に記載の画像処理装置。
【請求項10】
前記対空標識は、前記対空標識に関する情報を取得する検出装置を内蔵し、
前記候補領域抽出部は、前記検出装置で検出された前記対空標識に関する情報を利用して、前記候補領域を抽出する
請求項3に記載の画像処理装置。
【請求項11】
前記対空標識は、照度を検出する照度検出装置を内蔵し、
前記特徴量抽出部は、前記特徴量として、前記複数の円のうちの、半径が最小の円の輝度又は色相と、半径が2番目に小さい円の輝度又は色相との距離を抽出し、
前記識別部は、前記距離と、所定の閾値とを比較し、その比較結果に基づいて、前記候補領域が前記対空標識であるかどうかを識別するのに用いる前記所定の閾値を、前記照度検出装置で検出された前記対空標識の照度を利用して設定する
請求項5に記載の画像処理装置。
【請求項12】
前記対空標識の識別結果を用いて、3次元モデルを作成する
請求項3に記載の画像処理装置。
【請求項13】
前記3次元モデルから土量計測を行う
請求項12に記載の画像処理装置。
【請求項14】
制御部と、
撮像部と、
検出部と
を有する画像処理装置の
前記制御部が、飛行体の飛行経路及び対空標識が配置される標識位置を含む所定の飛行経路に基づいて、前記飛行体の飛行を制御し、
前記撮像部が、前記飛行体に備えられ、前記飛行経路と前記標識位置に基づいて、少なくとも一つの撮影画像を撮像し、
前記検出部が、前記撮像された撮影画像に含まれる前記対空標識を検出し、検出した前記対空標識の情報を出力する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、画像処理装置、及び、画像処理方法に関し、特に、例えば、対空標識を撮影した撮影画像から、対空標識を精度良く検出することができるようにする画像処理装置、及び、画像処理方法に関する。
【背景技術】
【0002】
例えば、対空標識を設置して撮影し、その撮影により得られる撮影画像に映る対空標識が設置された標定点に基づいて、3次元モデルを作成することで、実空間内の建物その他の計測を容易に行う技術が提案されている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
対空標識を撮影し、その対空標識を撮影した撮影画像を用いて、建物や土量その他の計測を行うにあたっては、撮影画像から対空標識を精度良く検出することが要請される。
【0005】
本技術は、このような状況に鑑みてなされたものであり、対空標識を撮影した撮影画像から、対空標識を精度良く検出することができるようにするものである。
【課題を解決するための手段】
【0006】
本技術の画像処理装置は、飛行体の飛行経路及び対空標識が配置される標識位置を含む所定の飛行経路に基づいて、前記飛行体の飛行を制御する制御部と、前記飛行体に備えられ、前記飛行経路と前記標識位置に基づいて、少なくとも一つの撮影画像を撮像する撮像部と、前記撮像された撮影画像に含まれる前記対空標識を検出し、検出した前記対空標識の情報を出力する検出部とを有する画像処理装置である。
【0007】
本技術の画像処理方法は、制御部と、撮像部と、検出部とを有する画像処理装置の前記制御部が、飛行体の飛行経路及び対空標識が配置される標識位置を含む所定の飛行経路に基づいて、前記飛行体の飛行を制御し、前記撮像部が、前記飛行体に備えられ、前記飛行経路と前記標識位置に基づいて、少なくとも一つの撮影画像を撮像し、前記検出部が、前記撮像された撮影画像に含まれる前記対空標識を検出し、検出した前記対空標識の情報を出力する画像処理方法である。
【0008】
本技術の画像処理装置、及び、画像処理方法においては、飛行体の飛行経路及び対空標識が配置される標識位置を含む所定の飛行経路に基づいて、前記飛行体の飛行が制御され、前記飛行経路と前記標識位置に基づいて、少なくとも一つの撮影画像が撮像され、前記撮像された撮影画像に含まれる前記対空標識が検出され、検出された前記対空標識の情報が出力される。
【0009】
なお、検出部は、飛行体が備えてもよいし、飛行体が備えていなくてもよい。
【0010】
対空標識は、半径が異なる複数の円が同心円状に配置された平面形状を有し、前記複数の円のうちの隣接する円の輝度又は色相が異なる対空標識であってよい。
【0011】
画像処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
【0012】
画像処理装置の構成要素は、複数の装置に分散して内蔵させることができる。
【0013】
プログラムを伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【0014】
本技術によれば、対空標識を撮影した撮影画像から、対空標識を精度良く検出することができる。
【0015】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0016】
【
図1】本技術を適用した土量計測システムの一実施の形態の概要を説明する図である。
【
図2】土量計測システムで行われる土量計測の作業フローの例を説明するフローチャートである。
【
図3】対空標識10の第1の例を示す平面図である。
【
図4】対空標識10の第2の例を示す平面図である。
【
図5】対空標識10の第3の例を示す平面図である。
【
図6】対空標識10としての第2の複数円型標識の例を示す斜視図である。
【
図8】所定の2色の混色の発生の有無を説明する図である。
【
図9】クラウドサーバ30としてのコンピュータのハードウェアの構成例を示すブロック図である。
【
図10】画像処理装置(検出装置)として機能するクラウドサーバ30の機能的な構成例を示すブロック図である。
【
図11】対空標識10を検出する検出処理の例を説明するフローチャートである。
【
図12】撮影画像の各画素の2値化の詳細な処理の例を説明するフローチャートである。
【
図13】対空標識10(の円11及び12)のテンプレート画像の例を示す図である。
【
図14】候補領域及びテンプレート画像それぞれの、円11及び12に付された色彩を強調するフィルタの例を示す図である。
【
図15】特徴量として、円11及び12それぞれの色相の距離DFを抽出する処理の例を説明するフローチャートである。
【
図16】ドローン20の構成例を示すブロック図である。
【
図17】本技術を適用した土量計測システムの他の一実施の形態の概要を説明する図である。
【
図18】複数円型標識の対空標識10の第1の変形例を示す平面図である。
【
図19】複数円型標識の対空標識10の第2の変形例を示す斜視図である。
【
図20】複数円型標識の対空標識10の第3の変形例を示す斜視図である。
【
図21】複数円型標識の対空標識10の第4の変形例を示す斜視図である。
【
図22】複数円型標識の対空標識10の第5の変形例を示す斜視図である。
【
図23】複数円型標識の対空標識10の第6の変形例を示す斜視図である。
【
図24】複数円型標識の対空標識10の第7の変形例を示す斜視図である。
【
図25】複数円型標識の対空標識10の第8の変形例を示す斜視図である。
【
図26】複数円型標識の対空標識10の第9の変形例を示す斜視図である。
【
図27】複数円型標識の対空標識10の第10の変形例を示す斜視図である。
【
図28】複数円型標識の対空標識10の第11の変形例を示す斜視図である。
【
図29】複数円型標識の対空標識10の第12の変形例を示す平面図である。
【
図30】複数円型標識の対空標識10の第13の変形例を示す斜視図である。
【
図32】輝度を用いた対空標識10の検出の概要を説明する図である。
【
図33】対空標識10が、円11ないし13を有する場合の、輝度を用いた対空標識10の検出の概要を説明する図である。
【
図34】検出処理の他の例を説明するフローチャートである。
【
図35】ステップS131-1で行われる撮影画像の各画素の2値化の詳細な処理の例を説明するフローチャートである。
【
図36】ステップS132で行われる特徴量抽出処理において、特徴量として、円11及び12それぞれの輝度の距離を抽出する処理の例を説明するフローチャートである。
【発明を実施するための形態】
【0017】
<本技術を適用した土量計測システムの一実施の形態>
【0018】
図1は、本技術を適用した土量計測システムの一実施の形態の概要を説明する図である。
【0019】
図1の土量計測システムでは、UAV(Unmanned Aerial Vehicle)による土量計測が行われる。
【0020】
図1において、地上には、対空標識10が設置されている。対空標識10は、人手によって設置することや、ドローン等の無人航空機や人が操縦する航空機等の飛行体からばらまくこと等によって設置することができる。さらに、ドローンの背中に対空標識10を設置することで、対空標識10そのものが移動するようにしてあってもよい。
【0021】
対空標識10は、空撮される。
図1では、ドローン20にカメラ21が搭載されており、ドローン20を飛行させ、そのドローン20に搭載されたカメラ21で、対空標識10の撮影(対空標識10の空撮)が行われる。
【0022】
カメラ21で対空標識10を撮影することにより得られる撮影画像(例えば、静止画)は、無線通信や有線通信によって、例えば、クラウドサーバ30に送信される。
【0023】
クラウドサーバ30は、カメラ21からの撮影画像の画像処理を行うことで、撮影画像に映る対空標識10を検出する。さらに、クラウドサーバ30は、対空標識10の検出結果を用いて、地上の地形の3次元モデルを作成し、その3次元モデルから、地上の地形等の土量計測を行って、その土量計測の計測結果を出力する。
【0024】
なお、上述のクラウドサーバ30が行う処理は、クラウドサーバ30ではなく、ドローン20で行うことができる。また、上述のクラウドサーバ30が行う処理は、ドローン20とクラウドサーバ30とで分担することができる。
【0025】
さらに、対空標識10の空撮の方法は、ドローン20を用いる方法に限定されるものではない。すなわち、対空標識10の空撮は、ドローン20のような無人機を用いる方法の他、例えば、人が搭乗して操縦する飛行体や、人工衛星等を用いて行うことができる。
【0026】
また、対空標識10としては、所定の図形を印刷した紙やプラスチック等を採用することができる。また、対空標識10としては、所定の形状のプラスチックやゴム等の平板状の材料を重ねたものを採用することができる。さらに、対空標識10としては、所定の図形を表示するLCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の表示パネルを採用することができる。また、対空標識10としては、レフ板のような広げて展開するものも採用することができる。
【0027】
図2は、
図1の土量計測システムで行われる土量計測の作業フローの例を説明するフローチャートである。
【0028】
ステップS11において、例えば、土量計測を行う管理者によって、土量計測の事前計画がたてられる。事前計画では、ドローン20の飛行ルートの決定や、対空標識10を設置する標定点(となる位置)の決定等が行われる。
【0029】
ステップS12において、事前計画に従い、例えば、数百メートル程度の間隔等で設定された標定点に、対空標識10が設置される。対空標識10の設置は、例えば、人手や移動可能なロボット等によって行うことができる。さらに、対空標識10そのものが移動可能なロボットであってもよい。
【0030】
ステップS13において、対空標識10が設置された標定点の水平位置(緯度及び経度)と標高とが計測される。
【0031】
ステップS14において、事前計画に従い、ドローン20を飛行させ、そのドローン20に搭載されたカメラ21によって、対空標識10の空撮、すなわち、対空標識10が設置された地上(土量計測の対象としての所定の地表範囲)の撮影が行われる。
【0032】
対空標識10の空撮では、1枚以上の撮影画像が撮影画像データとして撮影される。さらに、対空標識10の空撮は、すべての撮影画像に映る撮影範囲を集めたときに、その撮影範囲の集まりに、対空標識10が設置された範囲の全体が映るように行われる。
【0033】
また、対空標識10の空撮は、ある撮影画像に映る撮影範囲と、他の撮影画像に映る撮影範囲との一部が重複するように行われる。
【0034】
ステップS15において、地上に設置された対空標識10が回収されるとともに、カメラ21で対空標識10を撮影した撮影画像データが、クラウドサーバ30にアップロード(送信される)。
【0035】
ステップS16において、クラウドサーバ30は、カメラ21が撮影した撮影画像から、その撮影画像に映る対空標識10(の画像)を検出する検出処理を行う。
【0036】
ステップS17において、クラウドサーバ30は、ステップS13で計測された標定点の水平位置及び標高と、ステップS16で行われた検出処理で得られる対空標識10の検出結果データを用いて、地上の3次元モデルデータを生成する処理を行う。
【0037】
ステップS18において、クラウドサーバ30は、地上の3次元モデルデータを用いて、土量計測処理を行い、その土量計測の計測結果データを出力する処理を行う。
【0038】
<対空標識10>
【0039】
図3は、対空標識10の第1の例を示す平面図である。
【0040】
図3の対空標識10は、星型、エックス(X)型、プラス(+)型とそれぞれ呼ばれる対空標識である。
【0041】
星型、エックス型、及び、プラス型の対空標識10では、隣接する2つの領域に、色相がない白色及び黒色が、それぞれ付されている。
【0042】
ここで、地上に設置された対空標識10の空撮では、なるべく高い高度から、対空標識10の撮影を行った方が広い範囲を撮影することができ、撮影画像の枚数を少なくすることができる。
【0043】
撮影画像の枚数を少なくすることにより、ある撮影画像に映る撮影範囲と、他の撮影画像に映る撮影範囲とで重複する範囲や、撮影画像をクラウドサーバ30にアップロードする時間、クラウドサーバ30が撮影画像を処理するときの負荷等を削減することができる。
【0044】
但し、高い高度から、対空標識10の撮影を行う場合には、撮影画像に映る対空標識10(の画像)は小さくなる。
【0045】
さらに、対空標識10が、星型、エックス型、又は、プラス型の対空標識のように、白色及び黒色が付された標識である場合、撮影画像において、白色の膨張、及び、黒色の収縮等が生じることや、積雪によって、地面の黒い土と雪の白とにより似たようなパターンを生じる可能性があり、これにより、撮影画像から対空標識10を検出する検出精度が低下することがある。
【0046】
また、星型、エックス型、又は、プラス型の対空標識10については、白色と黒色と(が付された領域)の境界線(の延長線)どうしの交点が、対空標識10の中心として検出される。そのため、白色の膨張、及び、黒色の収縮が生じると、対空標識10の中心を検出する検出精度が低下することがある。
【0047】
図4は、対空標識10の第2の例を示す平面図である。
【0048】
図4の対空標識10では、白色の矩形内に、黒色の円が配置されている。
【0049】
図4の対空標識10は、
図3の対空標識10に比較して、シンプルな構成であるため、撮影画像に、黒丸状に映る物体が、誤って、対空標識10として検出されることがあり得る。
【0050】
ここで、
図4の対空標識10は、1個の円を有するので、単一円型標識ということができる。
【0051】
図5は、対空標識10の第3の例を示す平面図である。
【0052】
図5の対空標識10は、半径が異なる複数の円が同心円状に配置された平面形状を有し、複数の円のうちの隣接する円の色相が異なる標識になっている。
【0053】
ここで、平面形状とは、物体を平面図に表したときに、その平面図に描かれる物体の形状を意味する。
【0054】
図5の対空標識10は、複数の円を有するので、複数円型標識ということができる。
【0055】
複数円型標識の対空標識10によれば(
図4の単一円型標識も同様)、撮影画像に映る対空標識の10の向き(回転)を考慮せずに、対空標識10の検出を行うことができ、クラウドサーバ30での、対空標識10を検出する検出処理の負荷を軽減することができる。さらに、対空標識10の中心を、容易に検出することができる。
【0056】
図5のAは、対空標識10としての第1の複数円型標識の例を示す平面図である。
【0057】
図5のAの対空標識10は、半径が異なる3つの円11,12、及び、13が同心円状に配置され、かつ、その3つの円11ないし13を包含する、例えば、正方形や長方形等の矩形の枠領域14が配置された平面形状を有する。
【0058】
図5では、円11ないし13の順で、半径が大きくなっている。
【0059】
さらに、
図5では、円11ないし13のうちの隣接する円の色相が異なっている。
【0060】
すなわち、
図5では、半径が最小の円11の色彩は、例えば、有彩色(色相がある色)の1つである青色になっており、半径が2番目に小さい円12の色彩は、例えば、有彩色の他の1つである赤色になっている。さらに、半径が3番目に小さい(最も大きい)円13の色彩は、例えば、無彩色の1つである黒色になっている。
【0061】
なお、対空標識10としての複数円型標識では、隣接する円の色相が異なっていれば良く、したがって、隣接する円11及び12の色相が異なるとともに、隣接する円12及び13の色相が異なっていれば、隣接しない円11及び13の色相は、同一であっても良い。
【0062】
すなわち、円11ないし13の色彩としては、それぞれ、例えば、無彩色の黒色、有彩色の赤色、無彩色の黒色を採用することができる。
【0063】
枠領域14は、例えば、矩形状の紙やプラスチック等で構成することができる。
【0064】
枠領域14を、矩形状の紙やプラスチック等で構成する場合、対空標識10は、例えば、紙やプラスチック等の枠領域14に、円11ないし13を印刷することにより構成することができる。
【0065】
また、円11ないし13、及び、枠領域14は、例えば、プラスチックやゴム等の平板状の材料で構成することができる。この場合、対空標識10は、円11ないし13、及び、枠領域14としての平板状の材料を、枠領域14、円13,12,11に順で、下から上に重ねることにより構成することができる。
【0066】
その他、対空標識10は、例えば、LCDや有機ELディスプレイ等の表示パネルで構成し、その表示パネルに、円11ないし13、及び、枠領域14を表示させることで、対空標識10として機能させることができる。
【0067】
なお、枠領域14の、円11ないし13以外の領域には、対空標識10の設置の日付その他のコメントを記述することができる。
【0068】
図5のBは、対空標識10としての第2の複数円型標識の例を示す平面図である。
【0069】
図5のBの対空標識10は、
図5のAの複数円型標識に対して、枠領域14を設けていない構成になっている。したがって、
図5のBの対空標識10は、半径が異なる3つの円11ないし13が同心円状に配置された構成になっている。
【0070】
図5のCは、対空標識10としての第3の複数円型標識の例を示す平面図である。
【0071】
図5のCの対空標識10は、
図5のAの複数円型標識に対して、円13及び枠領域14を設けていない構成になっている。したがって、
図5のCの対空標識10は、半径が異なる2つの円11及び12が同心円状に配置された構成になっている。
【0072】
図5のDは、対空標識10としての第4の複数円型標識の例を示す平面図である。
【0073】
図5のDの対空標識10は、
図5のAの複数円型標識に対して、円11及び枠領域14を設けていない構成になっている。したがって、
図5のDの対空標識10は、半径が異なる2つの円12及び13が同心円状に配置された構成になっている。
【0074】
なお、対空標識10としては、その他、例えば、
図5のCやDの複数円型標識に、枠領域14が設けられた構成や、半径が異なる4つ以上の円が同心円状に配置された構成を採用することができる。
【0075】
図6は、
図5のBの対空標識10としての第2の複数円型標識の例を示す斜視図である。
【0076】
ここで、第2の複数円型標識は、平面形状が3つの円11ないし13で構成されるので、以下、3円型標識ともいう。
【0077】
図6の対空標識10としての3円型標識は、円11となる高さの低い円柱状の部材(以下、円柱状部材11ともいう)、円12となる平板状の円状の部材(以下、円状部材12ともいう)、及び、円13となる平板状の円状の部材(以下、円状部材13ともいう)で構成される。
【0078】
すなわち、
図6の対空標識10は、円柱状部材11、円状部材12及び13を、円状部材13,12、円柱状部材11の順で、下から上に重ねて構成されている。
【0079】
円柱状部材11は、例えば、プラスチック(ABS樹脂)等で構成することができる。さらに、円柱状部材11は、内部を空洞に構成し、対空標識10(上)の照度を検出する照度センサを含む照度検出装置、無線通信を行うアンテナ及び回路を含む通信装置、さらには、照度検出装置で検出された情報を時系列に記録する半導体などの記録媒体を含む記録装置等(いずれも図示せず)を内蔵させることができる。なお対空標識10は対空標識の円柱状部材11以外の一部にこれらの照度検出装置等を内蔵してもよい。また対空標識10は円柱状部材11やその他の部材に照度センサ以外のその他のセンサを内蔵し、当該センサにより検出した対空標識に関するデータを通信装置で送信したり、記録装置で記録してもよい。
【0080】
例えば、円柱状部材11に、照度検出装置と、通信装置とを内蔵させる場合には、対空標識10において、照度検出装置で検出された照度の情報を、通信装置で送信することができる。
【0081】
対空標識10から送信される照度等の情報は、クラウドサーバ30で受信し、クラウドサーバ30での処理に役立てることができる。
【0082】
なお、円柱状部材11に、照度検出装置、通信装置等を内蔵させない場合には、円柱状部材11は、円状部材12や13と同様に、平板状の円状に構成することができる。また、円柱状部材11に内蔵させる装置は、充電等のために、円柱状部材11から取り出す(はずす)ことができる。
【0083】
円状部材12は、例えば、ゴム等の、紫外線によって変色しにくい部材等で構成することができる。円状部材12を、紫外線によって変色しにくい部材で構成することにより、対空標識10の検出に、円状部材12に付された色彩の色相を用いた場合に、円状部材12の変色によって、対空標識10の検出精度が低下することを抑制することができる。
【0084】
円状部材13は、例えば、ポリプロピレン等の絶縁体等で構成することができる。円状部材13を絶縁体で構成することにより、円状部材12や、円柱状部材11、さらには、円柱状部材11に内蔵される通信装置等と、地上(アース)とが、電気的に接続されることを防止することができる。
【0085】
ここで、後述するように、対空標識10の識別(のための、撮影画像からの、対空標識10の候補となる候補領域の抽出)には、円状部材12の色彩の、少なくとも色相が用いられる。
【0086】
対空標識10が、円状部材13を設けずに構成される場合、対空標識10が地上に設置されたときに、円状部材12が地上と接する。対空標識10の設置場所の色彩としては、様々な色彩が存在し得るため、対空標識10の設置場所の色彩によっては、撮影画像において、円状部材12の色彩と、対空標識10の設置場所の色彩との間に、程度の大きな混色が発生し、対空標識10の識別が、混色の程度に応じた影響を受ける。
【0087】
そこで、対空標識10を、円状部材13を設けて構成することにより、円状部材12の色彩と、対空標識10の設置場所の色彩との間の混色の発生を防止することができる。
【0088】
なお、この場合、円状部材12及び13それぞれの色彩の間の混色が、対空標識10の識別に影響を与える。
【0089】
但し、円状部材13を設けずに対空標識10を構成する場合には、円状部材12の色彩と対空標識10の設置場所の色彩との間の混色の程度は、対空標識10の設置場所の色彩によって変動する。したがって、円状部材12の色彩と対空標識10の設置場所の色彩との間の混色が、対空標識10の識別に影響を与える程度は、対空標識10の設置場所の色彩によって変動する。
【0090】
これに対して、円状部材13を設けて対空標識10を構成する場合には、円状部材12及び13それぞれの色彩の間の混色の程度は、対空標識10の設置場所の色彩によっては変動しない。したがって、円状部材12及び13それぞれの色彩の間の混色が、対空標識10の識別に影響を与える程度は、対空標識10の設置場所の色彩によっては変動しない。
【0091】
以上のように、円状部材13によれば、対空標識10の設置場所の色彩によって、円状部材12の色彩との間で生じる混色の程度が変動することを防止することができる。
【0092】
ここで、対空標識10としての複数円型標識のサイズとしては、人が対空標識10を設置する場合の、対空標識10の持ち運びを考慮し、人が、ある程度の数の対空標識10を携帯することができるように、例えば、10ないし30cm四方の正方形等の直径30cm程度のサイズを採用することができる。
【0093】
【0094】
ここで、クラウドサーバ30は、
図1及び
図2で説明したように、空撮により得られた撮影画像から、その撮影画像に映る対空標識10を検出する。
【0095】
クラウドサーバ30は、対空標識10の検出を、例えば、円(円状部材)12の色相を用いて行う。すなわち、クラウドサーバ30は、例えば、円12の色相そのものや、円12の色相と、円12に隣接する円11の色相との距離等を用いて、対空標識10を検出する。
【0096】
対空標識10の検出を、円12の色相そのものや、隣接する円11及び12それぞれの色相の距離を用いて行うことに着目すると、円11及び12それぞれの色彩は、ある程度の高度、すなわち、例えば、空撮が予定されている高度から撮影したときに、混色が発生しにくい色彩(混色の程度が小さい色彩)であることが有効である。
【0097】
本件発明者が行った実験によれば、例えば、円11及び円12の色彩の組み合わせとして、円11の色彩を黒色とするとともに、円12の色彩を、黒色と色相が異なる色とする組み合わせを採用した場合に、混色が抑制されることが確認されている。
【0098】
例えば、円11及び円12の色彩の組み合わせとして、円11の色彩を黒色とするとともに、円12の色彩を赤色とする組み合わせを採用した場合、高度65mから空撮を行った撮影画像で、円11の黒色及び円12の赤色を視認することができる程度に、混色が留まることが確認されている。
【0099】
なお、円11が、円12との比較で大きすぎると、撮影画像に映る円12の彩度が低くなり、円12を識別しづらくなる。一方、円11が、円12との比較で小さすぎると、撮影画像に映る円11の明度が低くなり、円12を識別しづらくなる。
【0100】
そこで、円11及び12のサイズは、円12の識別性が高くなるサイズに設定することが有効である。
【0101】
本件発明者が行った実験によれば、円12の、円11を除いた部分の面積を、円11の面積の略1.0ないし3.0倍程度とすることにより、円12の識別性が高くなることが確認されている。
【0102】
対空標識10の検出を、隣接する円11及び12それぞれの色相の距離を用いて行うことに着目すると、円11及び12それぞれの色彩の組み合わせは、自然界に存在する可能性がなるべく小さい組み合わせであることが有効である。
【0103】
さらに、円11及び12それぞれの色彩の組み合わせは、それぞれの色彩の色相がなるべく異なる組み合わせであることが有効である。
【0104】
また、円11及び12それぞれの色彩の組み合わせは、ある程度の高度から撮影したときに、混色の程度がなるべく低い組み合わせ、すなわち、例えば、撮影画像から得られる円11の色相と円12の色相との距離がなるべく大きい組み合わせであることが有効である。
【0105】
図7は、対空標識10を撮影した撮影画像から得られる、円11及び12それぞれの画素の色相のヒストグラムの例を示している。
【0106】
ここで、円12とは、特に断らない限り、円12としての円全体のうちの、円11を除いた円環状の部分を意味する。
【0107】
図7のヒストグラムでは、撮影画像から、円11(と推定される領域)の画素と、円12(と推定される画素)とが検出され、それらの円11及び12の画素を対象として、各色相を有する画素の度数(画素数)が示されている。
【0108】
なお、
図7において、横軸は、色相を表し、縦軸は、度数を表す。
【0109】
撮影画像から検出された円11及び12の画素を対象とする色相のヒストグラム(以下、色相ヒストグラムともいう)には、例えば、
図7に示すように、第1の色相をピークとする分布と、第2の色相をピークとする分布との2つの分布が存在する。
【0110】
円11及び12それぞれの色相の距離としては、例えば、色相ヒストグラムに存在する2つの分布それぞれのピークどうしの距離(ピークどうしの色相の違い)を採用することができる。
【0111】
また、円11及び12それぞれの色相の距離としては、例えば、撮影画像から検出された円11及び12の画素それぞれの色相の平均値等の積算値の違いを採用することができる。
【0112】
いま、円11及び12それぞれの色相の距離DFとして、例えば、撮影画像から検出された円11及び12の画素それぞれの色相の平均値の違いを採用することとすると、円11及び12それぞれの色相の距離DFは、式(1)で表される。
【0113】
【0114】
式(1)において、Hi,jは、撮影画像の位置(i,j)の画素の色相を表す。N1及びN2は、撮影画像から検出された円11及び12の画素の画素数をそれぞれ表す。右辺第1項のサメーション(Σ)は、撮影画像から検出された円11の画素((i,j)∈Area1の画素)を対象とするサメーションを表し、右辺第2項のサメーション(Σ)は、撮影画像から検出された円12の画素((i,j)∈Area2の画素)を対象とするサメーションを表す。
【0115】
なお、撮影画像の画素の画素値が、RGB色空間のR(Red)値、G(Green)値、及び、B(Blue)値で表される場合、そのR値、G値、及び、B値は、式(2)に従って、HLS空間の色相H(Hue)、彩度S(Saturation)、及び、輝度L(Lightness)に変換することができる。
【0116】
【0117】
式(2)において、max(A,B,C)は、A,B,Cの中の最大値を表し、min(A,B,C)は、A,B,Cの中の最小値を表す。式(2)に示すように、色相Hについては、R値、G値、及び、B値のうちのいずれが最小値mであるかによって、RGBからの変換式が異なる。
【0118】
円11及び12それぞれの色相の距離DFは、円11及び12それぞれの色彩の混色の程度を表し、距離DFが大であるほど、混色の程度が小さい。
【0119】
そこで、色相の距離DFが所定の閾値TH以上になる所定の2色を、混色が発生しにくい色彩(混色の程度が小さい色彩)であるとして、円11及び12それぞれの色彩に採用することができる。
【0120】
以下、説明を簡単にするため、色相の距離DFが所定の閾値TH以上になる2色を、混色が発生しない色彩ともいい、色相の距離DFが所定の閾値TH以上にならない2色を、混色が発生する色彩ともいうこととする。
【0121】
図8は、所定の2色の混色の発生の有無を説明する図である。
【0122】
なお、色相の距離DFとしては、例えば、式(1)の色相の平均値の違い(差分絶対値)を採用することとする。
【0123】
図8に示すように、色相が異なる所定の2色c1及びc2のうちの一方の色c1と他方の色c2とが隣接する2つの領域に付された、例えば、対空標識10と同程度のサイズの標識を、カメラで撮影し、標識が映った撮影画像を得る。標識が映った撮影画像の撮影は、例えば、対空標識10の空撮を行う場合と同程度の距離だけ離れて行うことができる。
【0124】
さらに、標識が映った撮影画像から、標識(の領域)を検出し、その標識から、色c1が付された(付されていると推定される)領域A1と、色c2が付された領域A2とを特定する。
【0125】
そして、領域A1及びA2それぞれの色相の距離DFを、領域A1及びA2それぞれの画素の画素値を用い、式(1)に従って算出する。
【0126】
距離DFが、閾値TH以上でない場合(DF<TH)、色c1及びc2を、混色が発生する(発生しやすい)2色として、その2色は、円11及び12の色彩として採用しないこととすることができる。
【0127】
一方、距離DFが、閾値TH以上である場合(DF>=TH)、色c1及びc2を、混色が発生しない(発生しにくい)2色として、円11及び12の色彩として採用することができる。
【0128】
距離DFの閾値THとしては、例えば、式(3)で表される閾値THを採用することができる。
【0129】
【0130】
式(3)において、H1は、色c1単体の近接撮影(例えば、最短合焦距離での撮影)を行った場合に得られる撮影画像に映る、色c1が付された領域の画素の色相の平均値を表す。同様に、H2は、色c2単体の近接撮影を行った場合に得られる撮影画像に映る、色c2が付された領域の画素の色相の平均値を表す。
【0131】
近接撮影を行った場合に得られる撮影画像に映る、色c1及びc2が付された領域の画素の色相の平均値は、それぞれ、例えば、色c1及びc2の理論上の色相になることが期待される。したがって、H1及びH2としては、色c1及びc2の理論上の色相を採用することもできる。
【0132】
式(3)の閾値THによれば、色相の距離DFが、色c1及びc2の色相の違い|H1-H2|の0.5倍以上である場合に、色c1及びc2が、円11及び12の色彩(色)として採用され得る。
【0133】
以上のように、距離DFが閾値TH以上となる2色を、円11及び12の色彩として採用することにより、隣接する円11及び12に付された色彩の混色に起因する、対空標識10の検出精度の低下を抑制し、対空標識10を精度良く検出することができる。
【0134】
なお、以上の点、隣接する円11及び12の色彩の他、隣接する円12及び13の色彩についても同様である。すなわち、円11及び12の色彩として、距離DFが閾値TH以上となる2色を採用し、円12及び13の色彩としても、距離DFが閾値TH以上となる2色を採用することで、円11及び12の色彩として、距離DFが閾値TH以上となる2色を採用するだけの場合と比較して、対空標識10の検出精度をより向上させることができる。
【0135】
ここで、
図8では、領域A1及びA2として、矩形状の領域を採用したが、領域A1及びA2としては、その他、例えば、円11及び12と同様の円形の領域を、それぞれ採用することができる。
【0136】
<クラウドサーバ30の構成例>
【0137】
図9は、
図1のクラウドサーバ30としてのコンピュータのハードウェアの構成例を示すブロック図である。
【0138】
クラウドサーバ30は、CPU(Central Processing Unit)32を内蔵しており、CPU32には、バス31を介して、入出力インタフェース40が接続されている。
【0139】
CPU32は、入出力インタフェース40を介して、ユーザ(オペレータ)等によって、入力部37が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)33に格納されているプログラムを実行する。あるいは、CPU32は、ハードディスク35に格納されたプログラムを、RAM(Random Access Memory)34にロードして実行する。なおCPU32は1または複数の処理回路により構成される。
【0140】
これにより、CPU32は、各種の処理を行い、クラウドサーバ30を所定の機能を有する装置として機能させる。そして、CPU32は、各種の処理の処理結果を、必要に応じて、例えば、入出力インタフェース40を介して、出力部36から出力、あるいは、通信部38から送信、さらには、ハードディスク35に記録等させる。
【0141】
なお、入力部37は、キーボードや、マウス、マイク等で構成される。また、出力部36は、LCDやスピーカ等で構成される。
【0142】
また、CPU32が実行するプログラムは、クラウドサーバ30に内蔵されている記録媒体としてのハードディスク35やROM33に予め記録しておくことができる。
【0143】
あるいはまた、プログラムは、リムーバブル記録媒体41に格納(記録)しておくことができる。このようなリムーバブル記録媒体41は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体41としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【0144】
また、プログラムは、上述したようなリムーバブル記録媒体41からクラウドサーバ30にインストールする他、通信網や放送網を介して、クラウドサーバ30にダウンロードし、内蔵するハードディスク35にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、クラウドサーバ30に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、クラウドサーバ30に有線で転送することができる。
【0145】
CPU32は、上述したように、プログラムを実行することにより、クラウドサーバ30を所定の機能を有する装置として機能させる。
【0146】
例えば、CPU32は、クラウドサーバ30を、カメラ21からの撮影画像の画像処理を行う画像処理装置として機能させる。この場合、画像処理装置としてのクラウドサーバ30は、撮影画像に映る対空標識10を検出する検出処理を行う。したがって、クラウドサーバ30は、そのような検出処理を行う検出装置であるということもできる。
【0147】
図10は、以上のような画像処理装置(検出装置)として機能するクラウドサーバ30の機能的な構成例を示すブロック図である。
【0148】
図10において、クラウドサーバ30は、候補領域抽出部61、特徴量抽出部62、及び、識別部63を有する。候補領域抽出部61、特徴量抽出部62、及び、識別部63は例えば
図9のCPU32により構成される。
【0149】
カメラからの撮影画像は、候補領域抽出部61及び識別部63に供給される。
【0150】
候補領域抽出部61は、カメラ21からの、対空標識10を撮影した撮影画像から、対空標識10(の円12)が映る領域の候補である候補領域を抽出し、特徴量抽出部62に供給する。
【0151】
特徴量抽出部62は、候補領域抽出部61からの候補領域から、その候補領域の特徴量を抽出し、識別部63に供給する。
【0152】
識別部63は、特徴量抽出部62からの候補領域の特徴量に基づいて、撮影画像に映る対空標識10(の円12)(が映る領域)を識別する。
【0153】
すなわち、識別部63は、候補領域の特徴量に基づいて、その候補領域が、対空標識10であるかどうかを識別する。
【0154】
そして、識別部63は、対空標識10の識別結果に基づき、カメラ21からの撮影画像から、対空標識10を検出し、その検出結果(例えば、対空標識10の画像や、撮影画像内の対空標識10の位置等)を出力する。
【0155】
<検出処理>
【0156】
図11は、
図10の画像処理装置としてのクラウドサーバ30のCPU32が行う、対空標識10を検出する検出処理の例を説明するフローチャートである。
【0157】
ステップS31において、候補領域抽出部61は、カメラ21からの撮影画像から、候補領域を抽出する候補領域抽出処理を行う。
【0158】
候補領域抽出処理では、ステップS31-1において、候補領域抽出部61は、対空標識10の円12に付された色彩の画素であるか、又は、その色彩以外の色彩の画素であるかによって、撮影画像の各画素(の画素値)を2値化する。
【0159】
例えば、対空標識10の円12に付された色彩が赤色である場合、候補領域抽出部61は、円12の色彩である赤色のHSV空間の色相H(Hue)を色相を利用し、その赤色の色相Hとみなせる、例えば、320ないし360(度)の範囲の色相Hの画素を、円12に付された色彩の画素であると判定して、その画素値を0及び1のうちの一方である、例えば、1に設定する。
【0160】
また、候補領域抽出部61は、色相Hが320ないし360の範囲以外の画素(円12に付された色彩の画素であると判定されない画素)を、円12に付された色彩の画素ではない画素であると判定して、その画素値を0及び1のうちの他方である0に設定する。
【0161】
なお、撮影画像の画素の2値化は、円12の色彩のHSV空間の色相Hの他、彩度S(Saturation)や、明度(輝度)V(Value)をも利用して行うことができる。
【0162】
例えば、対空標識10の円12に付された色彩が赤色である場合、HSV空間の色相Hが320ないし360の範囲であり、かつ、彩度Sが30ないし255の範囲の画素を、円12に付された色彩の画素であると判定することができる。
【0163】
あるいは、HSV空間の色相Hが320ないし360の範囲であり、彩度Sが30ないし255の範囲であり、かつ、明度Vが50ないし255の範囲の画素を、円12に付された色彩の画素であると判定することができる。
【0164】
以上のように、候補領域抽出処理では、円12の色彩の色相、彩度、及び、明度のうちの、少なくとも色相を利用して、候補領域を抽出するための2値化を行うことができる。
【0165】
また、候補領域抽出処理において、円12の色相の他、彩度や明度のうちの、少なくとも色相を利用して、候補領域を抽出するための2値化を行うことにより、対空標識10が映る領域として、より確からしい候補領域を抽出し、ひいては、対空標識10の検出精度を向上させることができる。
【0166】
候補領域抽出処理では、ステップS31-2において、候補領域抽出部61は、撮影画像の2値化により得られる2値化画像のerosion処理(浸食処理)を行い、2値化画像のノイズを抑制する。
【0167】
さらに、候補領域抽出処理では、ステップS31-3において、候補領域抽出部61は、erosion処理後の2値化画像のdilation処理(膨張処理)を行う。
【0168】
その後、候補領域抽出処理では、ステップS31-4において、候補領域抽出部61は、dilation処理後の2値化画像において、画素値が1になっている画素の領域、すなわち、撮影画像において、円12が映っていると推定される画素の領域の輪郭を検出する輪郭検出処理を行う。
【0169】
そして、候補領域抽出処理では、ステップS31-5において、候補領域抽出部61は、輪郭検出処理により検出された輪郭に外接する最小の矩形に対応する領域を、撮影画像から候補領域として抽出し、特徴量抽出部62に供給する。
【0170】
輪郭検出処理により検出された輪郭が複数である場合には、その複数の輪郭それぞれに対して、候補領域が抽出される。
【0171】
ステップS32において、特徴量抽出部62は、候補領域抽出部61からの候補領域それぞれについて、その候補領域の特徴量を抽出する特徴量抽出処理を行い、その特徴量抽出処理により得られる候補領域の特徴量を、識別部63に供給する。
【0172】
特徴量抽出部62は、特徴量抽出処理において、例えば、以下のような候補領域の特徴量を抽出することができる。
【0173】
すなわち、特徴量抽出部62は、候補領域の特徴量として、例えば、候補領域のサイズと、撮影画像に対空標識10が映っている場合の、その対空標識10(の円12)のサイズを推定した推定サイズとの比(以下、サイズ比ともいう)とを求めることができる。
【0174】
ここで、カメラ21で撮影された撮影画像は、例えば、EXIF(Exchangeable Image File Format)形式でファイルに記録される。EXIF形式のファイルには、撮影のメタデータとして、撮影日時や、焦点距離、撮影位置の緯度や、経度、標高(高度)等のGPS情報等が記録される。
【0175】
特徴量抽出部62は、例えば、EXIF形式のファイルに記録された撮影位置の標高と焦点距離から、撮影画像に対空標識10が映っている場合の、その対空標識10のサイズを推定する。
【0176】
サイズ比によれば、サイズが大きすぎる、又は、小さすぎる候補領域を、対空標識10(の円12の領域)に識別することを抑制することができる。例えば、サイズ比率が1.0に近いほど、候補領域は、対空標識10(の円12)に識別されやすくなる。
【0177】
特徴量抽出部62は、候補領域の特徴量として、例えば、候補領域のアスペクト比を求めることができる。
【0178】
候補領域のアスペクト比によれば、横長又は縦長の候補領域を、対空標識10に識別することを抑制することができる。例えば、候補領域のアスペクト比が1.0に近いほど、候補領域は、対空標識10に識別されやすくなる。
【0179】
特徴量抽出部62は、候補領域の特徴量として、例えば、候補領域と、対空標識10(の円11及び12)のテンプレート画像との相関(類似度)を求めることができる。例えば、候補領域とテンプレート画像との相関が大きい(相関性がある)ほど、候補領域は、対空標識10に識別されやすくなる。
【0180】
なお、対空標識10のテンプレート画像は、あらかじめ用意される。
【0181】
また、相関としては、例えば、相関係数や、差分の自乗和の平均値等を採用することができる。
【0182】
特徴量抽出部62は、候補領域の特徴量として、例えば、候補領域と、その候補領域を回転した回転画像との相関を求めることができる。候補領域と回転画像との相関が大きいほど、候補領域は、対空標識10に識別されやすくなる。
【0183】
対空標識10は、円11ないし13が同心円状に配置されているため、対称性を有する。候補領域の特徴量として、候補領域と、その候補領域を回転した回転画像との相関を用いて、対空標識10を識別する場合には、対空標識10の対称性を用いて、対空標識10の識別精度を向上させることができる。
【0184】
なお、回転画像を求めるときの候補画像の回転は、2πの整数倍以外の所定の角度だけ行われる。
【0185】
特徴量抽出部62は、例えば、候補領域、及び、テンプレート画像に対して、円11及び12に付された色彩を強調するフィルタ(関数)を適用し、そのフィルタの適用後の候補領域とテンプレート画像との相関を、候補領域の特徴量として求めることができる。例えば、フィルタ適用後の候補領域とテンプレート画像との相関が大きいほど、候補領域は、対空標識10に識別されやすくなる。
【0186】
なお、候補領域、及び、テンプレート画像に対して適用するフィルタとしては、円11及び12に付された色彩を強調するフィルタの他、例えば、円11及び12のいずれか一方に付された色彩だけを強調するフィルタ等を採用することができる。
【0187】
特徴量抽出部62は、候補領域の特徴量として、円11及び12それぞれの色相の距離を求めることができる。
【0188】
すなわち、特徴量抽出部62は、候補領域が、円12に外接する領域であると仮定して、候補領域に存在するであろう円11及び12が映る画素の色相を用いて、
図7で説明した円11及び12それぞれの色相の距離、例えば、式(1)の距離DFを、候補領域の特徴量として求めることができる。
【0189】
例えば、円11及び12それぞれの色相の距離DFが、式(3)の閾値TH以上である場合、候補領域は、対空標識10に識別されやすくなる。
【0190】
ステップS33において、識別部63は、各候補領域について、特徴量抽出部62からの候補領域の特徴量に基づいて、撮影画像から、その撮影画像に映る対空標識10(の円12)(が映る領域)を識別する。
【0191】
すなわち、識別部63は、候補領域の特徴量に基づいて、その候補領域が、対空標識10であるかどうかを識別する。
【0192】
さらに、識別部63は、候補領域が対空標識10であると識別された場合、その識別結果に基づき、カメラ21からの撮影画像から、対空標識10を検出し、その検出結果を出力する。
【0193】
クラウドサーバ30では、
図2で説明したように、以上のようにして得られる対空標識10の検出結果を用いて、地上の3次元モデルが作成される。
【0194】
ここで、識別部63において、候補領域の特徴量に基づいて、その候補領域が、対空標識10であるかどうかを識別する識別方法としては、任意の方法を採用することができる。例えば、候補領域の各特徴量を閾値処理し、その閾値処理の処理結果の多数決や、その処理結果を表す点数の重み付け加算等によって、候補領域が、対空標識10であるかどうかを識別することができる。また、例えば、候補領域の各特徴量を、あらかじめ学習を行ったニューラルネットワーク等で構成される識別器に入力し、その入力に対する識別器の出力に基づいて、候補領域が、対空標識10であるかどうかを識別することができる。
【0195】
なお、特徴量抽出部62で抽出する候補領域の特徴量は、上述した特徴量に限定されるものではない。
【0196】
但し、候補領域の特徴量に、円11及び12それぞれの色相の距離DFを含めることで、対空標識10を、より精度良く検出することができる。
【0197】
すなわち、例えば、円12の色彩が赤色である場合、候補領域抽出部61は、円12の、すくなくとも色相を用いて、候補領域の検出(のための2値化)を行うので、例えば、赤色のパイロンが映る領域が候補領域として抽出されることがあり得る。この場合、候補領域の特徴量に、円11及び12それぞれの色相の距離DFを含めないときには、誤って、パイロンが映る候補領域が対空標識10であると識別される可能性が高くなる。
【0198】
一方、候補領域の特徴量に、円11及び12それぞれの色相の距離DFを含めるときには、誤って、パイロンが映る候補領域が対空標識10であると識別される可能性を抑制し、対空標識10の検出精度を向上させることができる。
【0199】
なお、
図6で説明したように、対空標識10の円柱状部材11が、対空標識10の照度を検出する照度検出装置、無線通信を行う通信装置等を内蔵する場合には、クラウドサーバ30は、対空標識10から、照度検出装置で検出された対空標識10の照度(対空標識10の照度(輝度)の分布)に関する照度情報を利用して、
図11の検出処理を行うことができる。
【0200】
例えば、候補領域抽出部61は、照度情報を利用して、候補領域を抽出することができる。
【0201】
例えば、候補領域抽出部61は、照度情報を利用して、撮影画像に映る対空標識10の円12の色彩の色相や、彩度、明度の範囲を推定し、その範囲内の色相や、彩度、明度を有する画素を、円12が映る画素であると判定して、候補領域の抽出(のための2値化)を行うことができる。
【0202】
また、例えば、識別部63は、照度情報を利用して、対空標識10の識別を行うことができる。
【0203】
具体的には、例えば、識別部63は、候補領域の特徴量としての、円11及び12それぞれの色相の距離DFと、式(3)の閾値THとを比較し、その比較結果に基づき、距離DFが閾値TH以上である場合に、候補領域が対空標識10であると識別する可能性を高くして、対空標識10の識別を行うことができる。
【0204】
識別部63では、以上のような対空標識10の識別に用いる閾値THを、照度情報を利用して設定することができる。
【0205】
すなわち、識別部63は、照度情報が表す照度の条件下で、対空標識10を撮影した場合に得られる、円11及び12それぞれの画素の色相を推定し、その推定により得られる円11及び12それぞれの画素の色相(の推定値)の平均値を、式(3)のH1及びH2として用いて、式(3)の閾値THを設定することができる。
【0206】
以上のように、照度検出装置で検出された対空標識10の照度情報を利用して、候補領域の抽出や、対空標識10の識別を行うことにより、対空標識10の検出精度を向上させることができる。
【0207】
図12は、
図11のステップS31-1で行われる撮影画像の各画素の2値化の詳細な処理の例を説明するフローチャートである。
【0208】
ステップS51において、候補領域抽出部61は、撮影画像の画素のうちの、まだ、注目画素に選択していない画素の1つを、注目画素に選択し、処理は、ステップS52に進む。
【0209】
ステップS52では、候補領域抽出部61は、注目画素の色相Hを求めることにより取得し、処理は、ステップS53に進む。
【0210】
ステップS53では、候補領域抽出部61は、注目画素の色相Hが、円12の色彩の色相とみなせるかどうか、すなわち、注目画素の色相Hが、式α<H、及び、式H<βを満たすかどうかを判定する。
【0211】
ここで、α及びβは、円12の色彩の色相とみなせる範囲の最小値及び最大値を、それぞれ表す。
【0212】
ステップS53において、注目画素の色相Hが、式α<H、及び、式H<βを満たすと判定された場合、処理は、ステップS54に進む。ステップS54では、候補領域抽出部61は、注目画素が、円12の色相の画素であるとして、注目画素の画素値を、円12の色相の画素であることを表す1に設定し、処理は、ステップS56に進む。
【0213】
また、ステップS53において、注目画素の色相Hが、式α<H、及び、式H<βのうちの少なくとも一方を満たさないと判定された場合、処理は、ステップS55に進む。ステップS55では、候補領域抽出部61は、注目画素が、円12の色相の画素でないとして、注目画素の画素値を、円12の色相の画素でないことを表す0に設定し、処理は、ステップS56に進む。
【0214】
ステップS56では、候補領域抽出部61は、撮影画像の全画素を注目画素に選択したかどうかを判定する。
【0215】
ステップS56において、撮影画像の全画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップS51に戻る。ステップS51では、候補領域抽出部61は、撮影画像の画素のうちの、まだ、注目画素に選択していない画素の1つを、注目画素に新たに選択し、以下、同様の処理が繰り返される。
【0216】
また、ステップS56において、撮影画像の全画素を、注目画素に選択したと判定された場合、2値化の処理は終了する。
【0217】
図13は、特徴量抽出部62において候補領域の特徴量の抽出に用いられる、対空標識10(の円11及び12)のテンプレート画像の例を示す図である。
【0218】
いま、係数a,μ、及び、σで定義されるガウス関数を、式(4)に示すように、Gaussian(a,μ,σ)と表すこととする。
【0219】
【0220】
円11及び12の色彩として、例えば、青色及び赤色を、それぞれ採用する場合には、テンプレート画像としては、例えば、
図13に示す、ガウス関数で定義される画像を採用することができる。
【0221】
図13のAは、テンプレート画像の第1の例を示しており、
図13のBは、テンプレート画像の第2の例を示している。
【0222】
いま、テンプレート画像の画素値としての色相を、yと表すとともに、式(4)のガウス関数Gaussian(a,μ,σ)の変数xが、テンプレート画像の中心からの距離を表すこととする。
【0223】
この場合、
図13のAのテンプレート画像の色相yは、式y=360-Gaussian(a=50,μ=0,σ=0.3)で表される。また、
図13のBのテンプレート画像の色相yは、式y=360-Gaussian(a=100,μ=0,σ=0.3)で表される。
【0224】
図14は、
図11のステップS32の特徴量抽出処理において、候補領域及びテンプレート画像それぞれの、円11及び12に付された色彩を強調する場合に用いられるフィルタの例を示す図である。
【0225】
例えば、円11及び12に付された色彩が、それぞれ、青色及び赤色であるとすると、円11に付された色彩を強調するフィルタは、青色を強調する青フィルタであり、円12に付された色彩を強調するフィルタは、赤色を強調する赤フィルタである。
【0226】
いま、フィルタの出力としての色相を、yと表すとともに、式(4)のガウス関数Gaussian(a,μ,σ)の変数xが、フィルタに入力される色相を表すこととする。
【0227】
この場合、赤フィルタは、式y=Gaussian(a=255,μ=10,σ=20)(但し、xが、10<=x<=180の範囲の値の場合)、式y=Gaussian(a=255,μ=350,σ=20)(但し、xが、180<=x<=350の範囲の値の場合)、及び、式y=255(xが他の範囲の値の場合)で表される。
【0228】
また、青フィルタは、式y=Gaussian(a=128,μ=270,σ=40)で表される。
【0229】
なお、
図14において、実線は、赤フィルタの入出力特性を表し、点線は、青フィルタの入出力特性を表す。
【0230】
また、
図14において、画像P1は、円12が映る候補領域であって、画素値として色相Hを採用した候補領域を、横×縦を50×50画素にリサイズして、中心の30×30画素を抽出した画像である。さらに、画像Q1は、円12が映っていない候補領域であって、画素値として色相Hを採用した候補領域を、50×50画素にリサイズして、中心の30×30画素を抽出した画像である。
【0231】
画像P2及びQ2は、それぞれ、画像P1及びQ1に、青フィルタを適用した画像であり、画像P3及びQ3は、それぞれ、画像P1及びQ1に、赤フィルタを適用した画像である。
【0232】
図15は、
図11のステップS32で行われる特徴量抽出処理において、特徴量として、円11及び12それぞれの色相の距離DFを抽出する処理の例を説明するフローチャートである。
【0233】
ステップS71において、特徴量抽出部62は、候補領域が、円12に外接する領域であると仮定して、候補領域に存在する円11及び12それぞれが映る画素(映っているはずの画素)(以下、それぞれを、円11の領域の画素、及び、円12の領域の画素ともいう)を検出し、処理は、ステップS72に進む。
【0234】
ステップS72では、特徴量抽出部62は、円11の領域の画素それぞれの色相Hを求めることにより取得するとともに、円12の領域の画素それぞれの色相Hを求めることにより取得し、処理は、ステップS73に進む。
【0235】
ステップS73では、特徴量抽出部62は、式(1)に従い、円11の領域の画素それぞれの色相Hの平均値(式(1)右辺第1項のΣHi,j/N1)と、円12の領域の画素それぞれの色相Hの平均値(式(1)右辺第2項のΣHi,j/N2)との差分絶対値を、円11及び12それぞれの色相の距離DFとして求め、処理は終了する。
【0236】
なお、対空標識10としては、例えば、
図4の単一円型標識と、
図5や
図6の複数円型標識とを混在して設置し、単一円型標識を十分な精度で検出することができる場合には、複数円型標識の検出を行わずに、単一円型標識の検出を行い、単一円型標識を十分な精度で検出することができない場合には、複数円型標識の検出を行うことができる。
【0237】
<ドローン20の構成例>
【0238】
図16は、
図1のドローン20の構成例を示すブロック図である。
【0239】
図16では、ドローン20は、通信部111、制御部112、駆動制御部113、及び、飛行機構114を有する。
【0240】
通信部111は、制御部112の制御に従い、クラウドサーバ30や、ドローン20を操縦する図示せぬコントローラ(プロポーショナルコントロールシステム)、その他の任意の装置との間で、無線又は有線による通信を行う。
【0241】
制御部112は、図示せぬCPUやメモリ等で構成され、通信部111や、駆動制御部113、カメラ21を制御する。
【0242】
また、制御部112は、カメラ21で撮影された撮影画像を、通信部111に送信させる。
【0243】
駆動制御部113は、制御部112の制御に従い、飛行機構114の駆動を制御する。
【0244】
飛行機構114は、ドローン20を飛行させるための機構で、例えば、図示せぬモータやプロペラ等を含む。飛行機構114は、駆動制御部113の制御に従って駆動し、ドローン20を飛行させる。
【0245】
以上のように構成されるドローン20では、制御部112が、例えば、通信部111で受信された、プロポーショナルコントロールシステムからの信号に従い、駆動制御部113を制御することにより、飛行機構114を駆動させる。これにより、ドローン20は、プロポーショナルコントロールシステムの操作に従って飛行する。
【0246】
また、制御部112は、プロポーショナルコントロールシステムからの信号に従い、カメラ21を制御し、撮影を行わせる。カメラ21による撮影により得られる撮影画像は、制御部112を介して、通信部111から送信される。
【0247】
<本技術を適用した土量計測システムの他の一実施の形態>
【0248】
図17は、本技術を適用した土量計測システムの他の一実施の形態の概要を説明する図である。
【0249】
なお、図中、
図1の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【0250】
図17の土量計測システムは、対空標識10、ドローン20、クラウドサーバ30、及び、管制装置121を有する。
【0251】
したがって、
図17の土量計測システムは、管制装置121が新たに設けられている点で、
図1の場合と異なる。
【0252】
管制装置121は、GCS(Ground Control Station)(Ground Station)として機能する専用の装置で構成される。又は、管制装置121は、PC(Personal Computer)、タブレット、若しくは、スマートフォン等の通信機能を有する装置が、そのような装置をGCSとして機能させるためのプログラムを実行することで構成される。
【0253】
管制装置121は、操作者の操作に従って、ドローン20と通信を行い、ドローン20の飛行の制御や、位置の取得、ドローン20に搭載されたカメラ21に対する撮影の指令、カメラ21で撮影された撮影画像の取得の指令等を行う。
【0254】
管制装置121は、操作者の操作に従って、ドローン20から取得した撮影画像から、対空標識10(の画像)を検出する検出処理を行い、その検出処理で得られる対空標識10の検出結果を表示することができる。操作者は、対空標識10の検出結果から、対空標識10の撮影が適切に行われたかを確認することができる。
【0255】
対空標識10の撮影が適切に行われていない場合、例えば、検出処理で対空標識10を検出することができなかった場合、操作者は、管制装置121を操作することにより、ドローン20を再度飛行させ、対空標識10の撮影を行わせることができる。
【0256】
なお、管制装置121は、ドローン20から取得した撮影画像を、クラウドサーバ30にアップロードすることができる。
【0257】
また、例えば、
図6等で説明したように、対空標識10が、照度検出装置等を内蔵し、照度検出装置で検出された照度情報を送信する場合には、その照度情報は、管制装置121で受信することができる。
【0258】
<複数円型標識の対空標識10の変形例>
【0259】
図18は、複数円型標識の対空標識10の第1の変形例を示す平面図である。
【0260】
図18の対空標識10は、円11及び12(又は円12及び13)並びに枠領域14から構成され、
図5のAの対空標識10に対して、円13(又は円11)を設けていない構成となっている。
【0261】
なお、
図18の対空標識10は、
図5のC(又はD)の対空標識10に対して、枠領域14が設けられた構成になっている。
【0262】
図18において、円11及び12(又は円12及び13)並びに枠領域14の色彩としては、それぞれ、例えば、無彩色の黒色、有彩色の赤色、無彩色の黒色を採用することができる。
【0263】
図19は、複数円型標識の対空標識10の第2の変形例を示す斜視図である。
【0264】
図19の対空標識10は、例えば、円11となる所定の高さ(厚み)の円柱状の部材201、円12となる所定の高さの略円環状の部材202、及び、円13となる所定の高さの略円環状の部材203で構成される。
【0265】
図19では、部材201ないし203の高さは同一になっている。
【0266】
そして、部材202は、所定の高さの円柱の中心部分を円柱状にくり抜いた略円環状になっており、円柱状の部材201は、部材202の円柱状にくり抜かれた空洞部分に嵌め込まれている。
【0267】
同様に、部材203は、所定の高さの円柱の中心部分を円柱状にくり抜いた略円環状になっており、略円環状の部材202は、部材203の円柱状にくり抜かれた空洞部分に嵌め込まれている。
【0268】
図19の対空標識10では、部材201,202、又は、203の内部を空洞に構成し、
図6等で説明した照度検出装置等を、部材201,202、又は、203に内蔵させることができる。
【0269】
また、照度検出装置等は、部材201ないし203の複数に亘って内蔵させることができる。
【0270】
図6の対空標識10では、円11となる円柱状の部材の高さ(厚み)が、円12となる円状の部材や、円13となる円状の部材に比較して突出している。そのため、太陽光の向きによっては、円11となる円柱状の部材の影が、円12上に大きく形成され、対空標識10の検出精度が劣化することがあり得る。
【0271】
一方、
図19の対空標識10では、部材201ないし203の高さは同一になっているため、
図6の場合のように、円11となる部材201の影が円12上に形成されることがなく、対空標識10の検出精度が劣化することを抑制することができる。
【0272】
なお、
図19の対空標識10は、円柱状の部材201、略円環状の部材202及び203で構成する他、例えば、所定の高さの円柱状の1つの部材の上面に、円11ないし円13となる着色を施して構成することができる。
【0273】
その他、
図19の対空標識10は、例えば、所定の高さの円柱状の1つの部材に、円11及び12の着色を施し、その部材を、略円環状の部材203に嵌め込むことや、略円環状の部材に、円12及び13の着色を施し、部材201を嵌め込むこと等によって構成することができる。
【0274】
ここで、以下では、円11ないし13の色彩としては、それぞれ、例えば、無彩色の黒色、有彩色の赤色、無彩色の黒色を採用することとする。
【0275】
図20は、複数円型標識の対空標識10の第3の変形例を示す斜視図である。
【0276】
なお、図中、
図19の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
【0277】
図20の対空標識10は、例えば、円11となる所定の高さの円柱状の部材201、円12となる所定の高さの略円環状の部材202、及び、円13となる所定の高さの略円環状の部材213で構成される。
【0278】
したがって、
図20の対空標識10は、部材203に代えて、部材213が設けられている点で、
図19の場合と相違する。
【0279】
部材213は、所定の高さの円柱の中心部分を、底板213Aを残す形で円柱状にくり抜いた略円環状、又は、所定の高さの円柱の中心部分を円柱状にくり抜き、底板213Aを設けた略円環状になっている。
【0280】
そして、略円環状の部材202は、部材203の円柱状にくり抜かれた空洞部分に嵌め込まれており、円柱状の部材201は、部材202の円柱状にくり抜かれた空洞部分に着脱可能なように構成されている。
【0281】
なお、底板213Aは、円柱状の部材201が取り外された状態の対空標識10において、部材202の空洞部分から露出する底板213Aが円11として機能するように、部材201と同一の色彩、すなわち、ここでは、無彩色の黒色になっている。
【0282】
また、部材213の円柱状にくり抜かれた空洞部分の深さは、部材201及び202の高さと同様の深さになっている。したがって、部材213の空洞部分に、部材202(及び部材201)が嵌め込まれたときに、対空標識10の上面は平面になる。
【0283】
図20の対空標識10では、部材201の内部を空洞に構成し、
図6等で説明した照度検出装置等を、部材201に内蔵させることができる。
【0284】
照度情報が必要である場合には、円柱状の部材201を、部材202の円柱状にくり抜かれた空洞部分に装着して、対空標識10を使用することができる。
【0285】
一方、照度情報が必要でない場合には、対空標識10から、円柱状の部材201を取り外して、対空標識10を使用することができる。
【0286】
円柱状の部材201を取り外した状態の対空標識10では、露出した底板213Aに、部材202の影が形成され得るが、ここでは、底板213Aの色彩は、黒色であるため、露出した底板213Aに形成され得る部材202の影は、対空標識10の検出精度に(ほぼ)影響しない。
【0287】
なお、
図20の部材202及び213の部分は、例えば、所定の高さの円柱状の1つの部材の中心部分を、底板213Aを残す形で円柱状に、部材201を着脱可能なようにくり抜いたような部材に、円11ないし円13となる着色を施して構成することができる。
【0288】
図21は、複数円型標識の対空標識10の第4の変形例を示す斜視図である。
【0289】
なお、図中、
図20の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
【0290】
図21の対空標識10は、部材202、及び、部材213で構成される。
【0291】
したがって、
図21の対空標識10は、着脱可能な部材201が設けられていないことを除き、
図20の場合と同様に構成される。
【0292】
図21の対空標識10では、部材202又は213の内部を空洞に構成し、
図6等で説明した照度検出装置等を、部材202又は213に内蔵させることができる。
【0293】
また、照度検出装置等は、部材202及び213に亘って内蔵させることができる。
【0294】
図21の対空標識10では、
図20の、円柱状の部材201を取り外した状態の対空標識10と同様に、露出した底板213Aに、部材202の影が形成され得るが、ここでは、底板213Aの色彩は、黒色であるため、露出した底板213Aに形成され得る部材202の影は、対空標識10の検出精度に影響しない。
【0295】
図22は、複数円型標識の対空標識10の第5の変形例を示す斜視図である。
【0296】
なお、図中、
図19の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
【0297】
図22の対空標識10は、部材201及び202、並びに、円13となる平板状の円状の部材223で構成される。
【0298】
したがって、
図22の対空標識10は、部材203に代えて、部材223が設けられていることを除き、
図19の場合と同様に構成される。
【0299】
図22の対空標識10は、例えば、部材201を部材202にはめ込み、その部材201を嵌め込んだ部材202(又は、円11及び12として構成された1つの円柱状の部材)を、部材223に重ねることで構成される。
【0300】
図22の対空標識10では、部材201又は202の内部を空洞に構成し、
図6等で説明した照度検出装置等を、部材201又は202に内蔵させることができる。
【0301】
また、照度検出装置等は、部材201及び202に亘って内蔵させることができる。
【0302】
図22の対空標識10では、部材202の影が、部材223上に形成され得るが、ここでは、円13となる部材223の色彩は、黒色であるため、部材223に形成され得る部材202の影は、対空標識10の検出精度に影響しない。
【0303】
図23は、複数円型標識の対空標識10の第6の変形例を示す斜視図である。
【0304】
なお、図中、
図22の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
【0305】
図23の対空標識10は、部材201及び202、並びに、部材223で構成される。
【0306】
但し、部材201は、部材202の円柱状にくり抜かれた空洞部分に着脱可能なように構成されている。
【0307】
また、部材201が、部材202の空洞部分から取り外されると、その空洞部分から、部材223の一部としての円形部分223Aが露出するが、その円形部分223Aは、円11として機能するように、部材201と同一の色彩、すなわち、ここでは、無彩色の黒色になっている。
【0308】
図23の対空標識10では、部材201の内部を空洞に構成し、
図6等で説明した照度検出装置等を、部材201に内蔵させることができる。
【0309】
照度情報が必要である場合には、円柱状の部材201を、部材202の円柱状にくり抜かれた空洞部分に装着して、対空標識10を使用することができる。
【0310】
一方、照度情報が必要でない場合には、対空標識10から、円柱状の部材201を取り外して、対空標識10を使用することができる。
【0311】
円柱状の部材201を取り外した状態の対空標識10では、露出した円形部分223Aに、部材202の影が形成され得る。また、部材201の着脱にかかわらず、部材202の影が、部材223上に形成され得る。
【0312】
但し、ここでは、円形部分223Aを含む部材223の色彩は、黒色であるため、円形部分223Aを含む部材223に形成され得る部材202の影は、対空標識10の検出精度に影響しない。
【0313】
図24は、複数円型標識の対空標識10の第7の変形例を示す斜視図である。
【0314】
なお、図中、
図23の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
【0315】
図24の対空標識10は、着脱可能な部材201が設けられていないことを除き、
図23の場合と同様に構成される。
【0316】
図24の対空標識10では、部材202の内部を空洞に構成し、
図6等で説明した照度検出装置等を、部材202に内蔵させることができる。
【0317】
図24の対空標識10では、
図23の場合と同様に、部材202の影が、円形部分223Aや部材223上に形成され得るが、円形部分223Aを含む部材223の色彩は、黒色であるため、部材202の影は、対空標識10の検出精度に影響しない。
【0318】
図25は、複数円型標識の対空標識10の第8の変形例を示す斜視図である。
【0319】
なお、図中、
図20の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
【0320】
【0321】
部材213は、
図20で説明したように、所定の高さの円柱の中心部分を、底板213Aを残す形で円柱状にくり抜いた略円環状、又は、所定の高さの円柱の中心部分を円柱状にくり抜き、底板213Aを設けた略円環状になっている。
【0322】
但し、
図25では、部材213の底板213Aには、その底板213Aが、円11及び12として機能するように、色彩が付されている。すなわち、ここでは、底板213Aの中心部分の円形の領域が、円11として機能するように、黒色になっており、その円形の周囲の領域が、円12として機能するように、赤色になっている。
【0323】
図25の対空標識10では、部材213(の円13として機能する部分)の内部を空洞に構成し、
図6等で説明した照度検出装置等を、部材213に内蔵させることができる。
【0324】
図26は、複数円型標識の対空標識10の第9の変形例を示す斜視図である。
【0325】
なお、図中、
図25の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
【0326】
図26の対空標識10は、円11及び12となる所定の高さの円柱状の部材231、及び、部材213で構成される。
【0327】
部材231は、例えば、
図19の部材201が嵌め込まれた部材202と同様の形状(円柱形状)になっている。また、部材231には、その部材231を円11及び12として機能させるように、円11及び12となる着色が施されている。
【0328】
図26の対空標識10では、部材231は、部材213の空洞部分に対して着脱可能になっている。
【0329】
図26の対空標識10では、部材231の内部を空洞に構成し、
図6等で説明した照度検出装置等を、部材231に内蔵させることができる。
【0330】
照度情報が必要である場合には、部材231を、部材213の空洞部分に装着して、対空標識10を使用することができる。
【0331】
一方、照度情報が必要でない場合には、対空標識10から、部材231を取り外して、対空標識10を使用することができる。
【0332】
なお、部材231は、1つの円柱状の部材で構成する他、例えば、
図19の部材201及び202で構成することができる。
【0333】
図27は、複数円型標識の対空標識10の第10の変形例を示す斜視図である。
【0334】
なお、図中、
図19、又は、
図25の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
【0335】
図27の対空標識10は、例えば、部材213の底板213Aの、円11となる領域に、部材201を重ねることで構成される。
【0336】
図27の対空標識10では、部材201又は部材213(の円13として機能する部分)の内部を空洞に構成し、
図6等で説明した照度検出装置等を、部材201又は部材213に内蔵させることができる。
【0337】
また、
図27の対空標識10では、部材201及び213の内部を空洞に構成し、照度検出装置等を、部材201及び213に分けて内蔵させることができる。
【0338】
なお、
図27に示すように、円11及び13が、ある程度の厚みを持つ対空標識10は、上述した構成に限定されるものではない。すなわち、円11及び13が、ある程度の厚みを持つ対空標識10は、例えば、円11となる部分及び円13となる部分のうちの一方又は両方が着脱可能となるように構成することができる。
【0339】
図28は、複数円型標識の対空標識10の第11の変形例を示す斜視図である。
【0340】
図28の対空標識10は、ある程度の厚みのある平板形状の部材250で構成される。
【0341】
部材250の上面には、円11ないし円13が印刷等によって描かれている。
【0342】
部材250は、例えば、白色等の半透明の材料で構成し、内部を空洞に構成することができる。
【0343】
部材250には、例えば、図示せぬ照明装置を内蔵させることができる。
【0344】
この場合、照明装置を点灯することで、対空標識10を発光させることができる。
【0345】
対空標識10を発光させることにより、夜間等の暗い状況でも、対空標識10を検出可能な状態で撮影することや、対空標識10を、ドローン20の着陸の際の目印等に利用することができる。
【0346】
図29は、複数円型標識の対空標識10の第12の変形例を示す平面図である。
【0347】
図29の対空標識10では、例えば、赤色の円12の部分と、白色の枠領域14の部分とが、例えば、LED(Light Emitting Diode)等の発光体で構成される。
【0348】
赤色の円12の部分と、白色の枠領域14の部分とを発光させることにより、夜間等の暗い状況でも、対空標識10を検出可能な状態で撮影することや、対空標識10を、ドローン20の着陸の際の目印等に利用することができる。
【0349】
図30は、複数円型標識の対空標識10の第13の変形例を示す斜視図である。
【0350】
図30の対空標識10は、ドローン用のランディングパッドに、対空標識10の図柄が印刷等によって描かれており、したがって、対空標識として機能するとともに、ランディングパッドとしても機能する。
【0351】
ここで、ランディングパッドは、ドローンの離着陸時に、地面の砂等が巻き上がって、ドローンのモータ等に入ることを防止することや、ドローンの着陸場所の明確化等のために使用される。
【0352】
図30の対空標識10によれば、ドローン20において、撮影画像から、対空標識10となっているランディングパッドの位置を検出することが可能となる。
【0353】
さらに、
図30の対空標識10によれば、ドローン20において、カメラ21の取り付け位置を考慮の上、常に、カメラ21で撮影される撮影画像に映る対空標識10が一定位置となるように、飛行状態を制御することで、対空標識10に対して、垂直に離着陸を行うことが可能となり、対空標識10となっているランディングパッドの利便性を高めることができる。
【0354】
また、
図30の対空標識10によれば、撮影画像に映る対空標識10としての図柄の変化や、ドローン20の離着陸を認識し、その離着陸の時刻を記録に残すことができる。かかる時刻は、土量計測等の報告書の自動作成等に活用することができる。
【0355】
<その他の実施の形態>
【0356】
以上においては、対空標識10として、半径が異なる複数の円が同心円状に配置された平面形状を有し、複数の円のうちの隣接する円の色相が異なる標識を採用することとしたが、対空標識10としては、半径が異なる複数の円が同心円状に配置された平面形状を有し、複数の円のうちの隣接する円の輝度又は色相が異なる標識を採用することができる。
【0357】
すなわち、
図1ないし
図30の実施の形態については、「色相」を、「輝度又は色相」に読み替えることができる。
【0358】
例えば、
図5等において、円11ないし13としては、隣接する円の輝度又は色相が異なる円を採用することができる。
【0359】
なお、対空標識10では、隣接する円の輝度又は色相が異なっていれば良く、したがって、隣接する円11及び12の輝度又は色相が異なるとともに、隣接する円12及び13の輝度又は色相が異なっていれば、隣接しない円11及び13の輝度又は色相は、同一であっても良い。
【0360】
また、対空標識10において、隣接する円については、輝度だけ又は色相だけが異なっていても良いし、輝度及び色相の両方が異なっていても良い。
【0361】
対空標識10の検出を、隣接する円11及び12それぞれの輝度の距離、さらには、必要に応じて色相の距離を用いて行う場合、円11及び12それぞれの色彩の組み合わせは、自然界に存在する可能性がなるべく小さい組み合わせであることが有効である。
【0362】
さらに、円11及び12それぞれの色彩の組み合わせは、それぞれの色彩の輝度又は色相がなるべく異なる組み合わせであることが有効である。
【0363】
また、円11及び12それぞれの色彩の組み合わせは、ある程度の高度から撮影したときに、混色の程度がなるべく低い組み合わせ、すなわち、例えば、撮影画像から得られる円11の輝度又は色相と円12の輝度又は色相との距離がなるべく大きい組み合わせであることが有効である。
【0364】
ここで、円11及び12それぞれの色相の距離としては、
図7で説明したように、色相ヒストグラムに存在する2つの分布それぞれのピークどうしの距離(ピークどうしの色相の違い)を採用することができる。
【0365】
同様に、円11及び12それぞれの輝度の距離としては、撮影画像から検出された円11及び12の画素を対象とする輝度のヒストグラムに現れる第1の輝度をピークとする分布と、第2の輝度をピークとする分布との2つの分布それぞれのピークどうしの距離(ピークどうしの輝度の違い)を採用することができる。
【0366】
また、円11及び12それぞれの色相の距離としては、その他、例えば、
図7で説明したように、撮影画像から検出された円11及び12の画素それぞれの色相の平均値等の積算値の違い(例えば、式(1)のDF等)を採用することができるが、円11及び12それぞれの輝度の距離としても、同様に、撮影画像から検出された円11及び12の画素それぞれの輝度の平均値等の積算値の違いを採用することができる。
【0367】
以下、輝度、さらには、必要に応じて色相を用いて行われる対空標識10の検出について説明する。
【0368】
【0369】
HLS色空間300において、縦軸は、輝度Lを表し、輝度Lの軸(以下、輝度軸ともいう)に垂直は2次元平面上の、輝度軸からの距離は、彩度Sを表す。また、輝度軸回りの角度は色相Hを表す。輝度軸の点が、無彩色を表す。
【0370】
図32は、輝度を用いた対空標識10の検出の概要を説明する図である。
【0371】
図10の画像処理装置は、撮影画像に映る対空標識10の円11及び12(の領域と仮定(推定)される領域)それぞれの輝度の距離(輝度差)を用いて、候補領域から、対空標識10の領域と、そうでない領域とを判別することができる。
【0372】
例えば、円11が黒色で、円12が赤色である場合、円11及び12それぞれの輝度の距離を用いて、候補領域から、対空標識10の領域と、そうでない領域とを、比較的精度良く判別することができる。
【0373】
また、
図10の画像処理装置は、円11及び12それぞれの輝度の距離が小である場合、撮影画像に映る対空標識10の円11及び12それぞれの色相の距離(色相差)を用いて、候補領域から、対空標識10の領域と、そうでない領域とを判別することができる。
【0374】
例えば、円11が青色等の有彩色で、円12が赤色等の他の有彩色である場合に、円11及び12それぞれの輝度の距離が小であれば、画像処理装置は、円11及び12それぞれの色相の距離を用いて、候補領域から、対空標識10の領域と、そうでない領域とを判別することができる。
【0375】
輝度を用いた対空標識10の検出は、隣接する円11及び12それぞれの輝度の距離を用いて行う他、さらに、隣接する円12及び13それぞれの輝度の距離や、隣接しない円11及び13それぞれの輝度の距離をも用いて行うことができる。
【0376】
図33は、対空標識10が、円11ないし13を有する場合の、輝度を用いた対空標識10の検出の概要を説明する図である。
【0377】
ここで、円11ないし13としては、黒色、赤色、及び、黒色の円を、それぞれ採用することができる。
【0378】
対空標識10が、円11ないし13を有する場合には、円11及び12それぞれの輝度の距離A、円11及び13それぞれの輝度の距離B、並びに、円12及び13それぞれの輝度の距離Cを用いて、対空標識10の検出を行うことができる。
【0379】
そして、距離AないしCのうちの、例えば、距離A及びCのうちの一方又は両方が小である場合には、円11及び12それぞれの色相の距離、円11及び13それぞれの色相の距離、並びに、円12及び13それぞれの色相の距離を用いて、対空標識10の検出を行うことができる。
【0380】
図34は、
図10の画像処理装置としてのクラウドサーバ30のCPU32が行う、対空標識10を検出する検出処理の他の例を説明するフローチャートである。
【0381】
ステップS131において、候補領域抽出部61は、カメラ21からの撮影画像から、候補領域を抽出する候補領域抽出処理を行う。
【0382】
候補領域抽出処理では、ステップS131-1において、候補領域抽出部61は、対空標識10の円12の画素であるかどうかによって、撮影画像の各画素(の画素値)を1又は0に2値化する。
【0383】
ステップS131-1の2値化は、例えば、画素の輝度や色相を閾値処理することで行うことができる。
【0384】
候補領域抽出処理では、ステップS131-2において、候補領域抽出部61は、撮影画像の2値化により得られる2値化画像のerosion処理(浸食処理)を行い、2値化画像のノイズを抑制する。
【0385】
さらに、候補領域抽出処理では、ステップS131-3において、候補領域抽出部61は、erosion処理後の2値化画像のdilation処理(膨張処理)を行う。
【0386】
その後、候補領域抽出処理では、ステップS131-4において、候補領域抽出部61は、dilation処理後の2値化画像において、画素値が、例えば、1になっている画素の領域、すなわち、撮影画像において、円12が映っていると推定される画素の領域の輪郭を検出する輪郭検出処理を行う。
【0387】
そして、候補領域抽出処理では、ステップS131-5において、候補領域抽出部61は、輪郭検出処理により検出された輪郭に外接する最小の矩形に対応する領域を、撮影画像から候補領域として抽出し、特徴量抽出部62に供給する。
【0388】
輪郭検出処理により検出された輪郭が複数である場合には、その複数の輪郭それぞれに対して、候補領域が抽出される。
【0389】
ステップS132において、特徴量抽出部62は、候補領域抽出部61からの候補領域それぞれについて、その候補領域の特徴量を抽出する特徴量抽出処理を行い、その特徴量抽出処理により得られる候補領域の特徴量を、識別部63に供給する。
【0390】
特徴量抽出部62は、ステップS132の特徴量抽出処理において、
図11のステップS32の場合と同様の特徴量の他、例えば円11及び12それぞれの輝度の距離を求める。
【0391】
すなわち、ステップS132の特徴量抽出処理では、特徴量抽出部62は、円11及び12それぞれの色相の距離に代えて、円11及び12それぞれの輝度の距離を求め、その輝度の距離が小である場合には、円11及び12それぞれの色相の距離を求める。
【0392】
ここで、例えば、
図11及び12それぞれの輝度の距離が、式(3)の閾値THと同様にして求められる輝度の距離の閾値以上である場合、候補領域は、対空標識10に識別されやすくなる。
【0393】
ステップS133において、識別部63は、各候補領域について、特徴量抽出部62からの候補領域の特徴量に基づいて、撮影画像から、その撮影画像に映る対空標識10(の円12)(が映る領域)を識別する。
【0394】
すなわち、識別部63は、候補領域の特徴量に基づいて、その候補領域が、対空標識10であるかどうかを、
図11のステップS33の場合と同様に識別する。
【0395】
さらに、識別部63は、候補領域が対空標識10であると識別された場合、その識別結果に基づき、カメラ21からの撮影画像から、対空標識10を検出し、その検出結果を出力する。
【0396】
なお、ステップS133では、識別部63は、円11及び12それぞれの距離が大である場合(閾値以上である場合)には、候補領域が対空標識10であるかどうかの識別を、円11及び12それぞれの色相の距離を用いずに行うことができる。
【0397】
また、ステップS133では、識別部63は、円11及び12それぞれの輝度の距離が小である(大でない)場合には、候補領域が対空標識10であるかどうかの識別に、円11及び12それぞれの色彩の距離を用いることができる。
【0398】
以上のように、候補領域の特徴量に、円11及び12それぞれの輝度や色相の距離を含めることで、対空標識10を、より精度良く検出することができる。
【0399】
図35は、
図34のステップS131-1で行われる撮影画像の各画素の2値化の詳細な処理の例を説明するフローチャートである。
【0400】
なお、ここでは、対空標識10の円12の色については、自然界の色との区別をつけやすくするため、輝度L及び色相Hの両方が存在する有彩色(例えば、赤色)を用いることとする。
【0401】
ステップS151において、候補領域抽出部61は、撮影画像の画素のうちの、まだ、注目画素に選択していない画素の1つを、注目画素に選択し、処理は、ステップS152に進む。
【0402】
ステップS152では、候補領域抽出部61は、注目画素の輝度L及び色相Hを求めることにより取得し、処理は、ステップS153に進む。
【0403】
ステップS153では、候補領域抽出部61は、注目画素の色相Hが、円12の色彩の色相とみなせるかどうか、すなわち、注目画素の色相Hが、式α<H、及び、式H<βを満たすかどうかを判定する。
【0404】
ここで、α及びβは、円12の色彩の色相とみなせる範囲の最小値及び最大値を、それぞれ表し、あらかじめ設定される。
【0405】
さらに、ステップS153では、候補領域抽出部61は、注目画素の輝度Lが、円12の輝度とみなせるかどうか、すなわち、注目画素の輝度Lが、式γ<H、及び、式H<δを満たすかどうかを判定する。
【0406】
ここで、γ及びδは、円12の輝度とみなせる範囲の最小値及び最大値を、それぞれ表し、あらかじめ設定される。
【0407】
ステップS153において、注目画素の色相Hが、式α<H、及び、式H<βを満し、かつ、注目画素の輝度Lが、式γ<H、及び、式H<δを満たすと判定された場合、処理は、ステップS154に進む。
【0408】
ステップS154では、候補領域抽出部61は、注目画素が、円12の輝度及び色相の画素であるとして、注目画素の画素値を、円12の輝度及び色相の画素であることを表す1に設定し、処理は、ステップS156に進む。
【0409】
また、ステップS153において、注目画素の色相Hが、式α<H、及び、式H<βのうちの少なくとも一方を満たさないか、又は、注目画素の輝度Lが、式γ<H、及び、式H<δのうちの少なくとも一方を満たさないと判定された場合、処理は、ステップS155に進む。
【0410】
ステップS155では、候補領域抽出部61は、注目画素が、円12の輝度及び色相の画素でないとして、注目画素の画素値を、円12の輝度及び色相の画素でないことを表す0に設定し、処理は、ステップS156に進む。
【0411】
ステップS156では、候補領域抽出部61は、撮影画像の全画素を注目画素に選択したかどうかを判定する。
【0412】
ステップS156において、撮影画像の全画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップS151に戻る。ステップS151では、候補領域抽出部61は、撮影画像の画素のうちの、まだ、注目画素に選択していない画素の1つを、注目画素に新たに選択し、以下、同様の処理が繰り返される。
【0413】
また、ステップS156において、撮影画像の全画素を、注目画素に選択したと判定された場合、2値化の処理は終了する。
【0414】
図36は、
図34のステップS132で行われる特徴量抽出処理において、特徴量として、円11及び12それぞれの輝度の距離を抽出する処理の例を説明するフローチャートである。
【0415】
ステップS171において、特徴量抽出部62は、候補領域が、円12に外接する領域であると仮定して、候補領域に存在する円11及び12それぞれが映る画素(映っているはずの画素)(円11の領域の画素、及び、円12の領域の画素)を検出し、処理は、ステップS172に進む。
【0416】
ステップS172では、特徴量抽出部62は、円11の領域の画素それぞれの輝度を求めることにより取得するとともに、円12の領域の画素それぞれの輝度を求めることにより取得し、処理は、ステップS173に進む。
【0417】
ステップS173では、特徴量抽出部62は、円11の領域の画素それぞれの輝度の平均値と、円12の領域の画素それぞれの輝度の平均値との差分絶対値を、円11及び12それぞれの輝度の距離として求め、処理は終了する。
【0418】
以上のように、撮影画像からの対空標識10の検出には、対空標識10の隣接する円どうしの輝度及び色相の距離のうちの一方又は両方を用いて行うことができる。
【0419】
ここで、本明細書において、クラウドサーバ30等のコンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
【0420】
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【0421】
さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0422】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0423】
すなわち、本実施の形態では、本技術を、土量計測システムに適用した場合について説明したが、本技術は、土量計測システム以外の、例えば、建物その他の、対空標識の空撮を利用する任意の計測を行うシステムに適用することができる。
【0424】
さらに、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0425】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0426】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0427】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【0428】
なお、本技術は、以下の構成をとることができる。
【0429】
<1>
複数の円が同心円状に配置された平面形状を有し、
前記複数の円のうちの隣接する円の輝度又は色相が異なる
対空標識を撮影した撮影画像から、前記対空標識が映る領域の候補である候補領域を抽出する候補領域抽出部と、
前記候補領域の特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記対空標識を識別する識別部と
を備える画像処理装置。
<2>
前記候補領域抽出部は、前記複数の円のうちの、半径が2番目に小さい円の色相、彩度、及び、明度のうちの、少なくとも色相を利用して、前記候補領域を抽出する
<1>に記載の画像処理装置。
<3>
前記特徴量抽出部は、前記特徴量として、前記複数の円のうちの、半径が最小の円の輝度又は色相と、半径が2番目に小さい円の輝度又は色相との距離を抽出する
<1>又は<2>に記載の画像処理装置。
<4>
前記特徴量抽出部は、前記特徴量として、前記候補領域と、その候補領域を、2πの整数倍以外の所定の角度だけ回転した回転画像との相関を抽出する
<1>ないし<3>のいずれかに記載の画像処理装置。
<5>
前記特徴量抽出部は、前記候補領域、及び、前記対空標識のテンプレート画像に対して、前記円に付された色彩を強調するフィルタを適用し、前記フィルタの適用後の前記候補領域と前記テンプレート画像との相関を、前記特徴量として抽出する
<1>ないし<4>のいずれかに記載の画像処理装置。
<6>
前記対空標識は、前記対空標識に関する情報を取得する検出装置を内蔵し、
前記候補領域抽出部は、前記検出装置で検出された前記対空標識に関する情報を利用して、前記候補領域を抽出する
<1>ないし<5>のいずれかに記載の画像処理装置。
<7>
前記対空標識は、照度を検出する照度検出装置を内蔵し、
前記特徴量抽出部は、前記特徴量として、前記複数の円のうちの、半径が最小の円の輝度又は色相と、半径が2番目に小さい円の輝度又は色相との距離を抽出し、
前記識別部は、前記距離と、所定の閾値とを比較し、その比較結果に基づいて、前記候補領域が前記対空標識であるかどうかを識別するのに用いる前記所定の閾値を、前記照度検出装置で検出された前記対空標識の照度を利用して設定する
<1>ないし<6>のいずれかに記載の画像処理装置。
<8>
前記対空標識の識別結果を用いて、3次元モデルを作成する
<1>ないし<7>のいずれかに記載の画像処理装置。
<9>
前記3次元モデルから土量計測を行う
<8>に記載の画像処理装置。
<10>
複数の円が同心円状に配置された平面形状を有し、
前記複数の円のうちの隣接する円の輝度又は色相が異なる
対空標識を撮影した撮影画像から、前記対空標識が映る領域の候補である候補領域を抽出することと、
前記候補領域の特徴量を抽出することと、
前記特徴量に基づいて、前記対空標識を識別することと
を含む画像処理方法。
<11>
複数の円が同心円状に配置された平面形状を有し、
前記複数の円のうちの隣接する円の輝度又は色相が異なる
対空標識を撮影した撮影画像から、前記対空標識が映る領域の候補である候補領域を抽出する候補領域抽出部と、
前記候補領域の特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記対空標識を識別する識別部と
して、コンピュータを機能させるためのプログラム。
<12>
半径が異なる複数の円が同心円状に配置された平面形状を有し、
前記複数の円のうちの隣接する円の輝度又は色相が異なる
対空標識。
<13>
前記複数の円として、2つの円を有する
<12>に記載の対空標識。
<14>
前記複数の円として、3つの円を有する
<12>に記載の対空標識。
<15>
前記複数の円のうちの隣接する2つの円の色彩は、前記2つの円の色彩が隣接する2つの領域に付された標識を撮影した撮影画像から得られる前記2つの領域それぞれの輝度又は色相どうしの距離が所定の閾値以上になる所定の2色である
<12>ないし<14>のいずれかに記載の対空標識。
<16>
前記複数の円のうちの、半径が最小の円、及び、半径が2番目に小さい円の色彩が、前記所定の2色である
<15>に記載の対空標識。
<17>
前記半径が2番目に小さい円の、前記半径が最小の円を除いた部分の面積は、前記半径が最小の円の面積の略1.0ないし3.0倍である
<16>に記載の対空標識。
<18>
前記複数の円が同心円状に配置され、かつ、前記複数の円を包含する矩形が配置された平面形状を有する
<12>ないし<17>のいずれかに記載の対空標識。
<19>
前記複数の円のうちの、半径が最小の円の部分に、照度を検出する照度検出装置を内蔵する
<12>ないし<18>のいずれかに記載の対空標識。
【符号の説明】
【0430】
10 対空標識, 11 円(円柱状部材), 12,13 円(円状部材), 14 枠領域, 20 ドローン, 21 カメラ, 30 クラウドサーバ, 31 バス, 32 CPU, 33 ROM, 34 RAM, 35 ハードディスク, 36 出力部, 37 入力部, 38 通信部, 39 ドライブ, 40 入出力インタフェース, 41 リムーバブル記録媒体, 61 候補領域抽出部, 62 特徴量抽出部, 63 識別部, 111 通信部, 112 制御部, 113 駆動制御部, 114 飛行機構, 121 管制装置, 201ないし203,213,223,231,250 部材 ,300 HLS色空間