(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-13
(45)【発行日】2022-10-21
(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム
(51)【国際特許分類】
G01B 11/24 20060101AFI20221014BHJP
G06T 7/12 20170101ALI20221014BHJP
【FI】
G01B11/24 K
G06T7/12
(21)【出願番号】P 2020570324
(86)(22)【出願日】2019-02-08
(86)【国際出願番号】 JP2019004655
(87)【国際公開番号】W WO2020161899
(87)【国際公開日】2020-08-13
【審査請求日】2021-05-20
(73)【特許権者】
【識別番号】507240370
【氏名又は名称】インテグラル・テクノロジー株式会社
(74)【代理人】
【識別番号】110000947
【氏名又は名称】弁理士法人あーく事務所
(72)【発明者】
【氏名】西浦 光一
(72)【発明者】
【氏名】三上 和之
(72)【発明者】
【氏名】ジエン スマディ
【審査官】九鬼 一慶
(56)【参考文献】
【文献】特開平08-044872(JP,A)
【文献】特開2010-223914(JP,A)
【文献】特開2002-203233(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/24
G06T 7/12
(57)【特許請求の範囲】
【請求項1】
2次元写真画像の画像情報に基づいて各画素の輝度をそれぞれ取得する輝度取得手段と、
前記各画素のうち一の画素群の輝度と該一の画素群に隣接する他の画素群の輝度との輝度差である判定輝度差に基づいて凸エッジであるか否かを判定する形状判定手段と
、
前記各画素の輝度に基づいて前記2次元写真画像の撮影対象物における面を判定する面判定手段と
を備え
、
前記形状判定手段は、前記凸エッジ及び前記面の形状から凹エッジを判定す
ることを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置であって、
前記各画素の輝度に基づいて前記2次元写真画像の撮影対象物におけるエッジを判定するエッジ判定手段をさらに備え、
前記形状判定手段は、前記判定輝度差として前記各画素のうち前記エッジを間にした一方側の周辺画素の輝度と他方側の周辺画素の輝度との輝度差を算出し、算出した前記判定輝度差の絶対値が所定の凸エッジ閾値よりも大きい場合は、凸エッジであると判定することを特徴とする画像処理装置。
【請求項3】
請求項
1又は請求項2に記載の画像処理装置であって、
前記面判定手段は、隣り合う前記画素の輝度差の絶対値が段階的に大きくなるか、或いは、小さくなる場合に、曲面であると判定し、
前記形状判定手段は、前記曲面の隣接する面の面積が小さい方の面とのエッジが凸エッジであり、前記曲面の隣接する面の面積が大きい方の面とのエッジが凹エッジであるときは、該曲面が凸側曲面であると判定することを特徴とする画像処理装置。
【請求項4】
請求項
1から請求項
3までの何れか1つに記載の画像処理装置であって、
前記面判定手段は、隣り合う前記画素の輝度差の絶対値が段階的に大きくなるか、或いは、小さくなる場合に、曲面であると判定し、
前記形状判定手段は、前記曲面の隣接する面の面積が小さい方の面とのエッジが凹エッジであり、前記曲面の隣接する面の面積が大きい方の面とのエッジが凸エッジであるときは、該曲面が凹側曲面であると判定することを特徴とする画像処理装置。
【請求項5】
請求項1から請求項
4までの何れか1つに記載の画像処理装置であって、
前記2次元写真画像の画像情報から前記2次元写真画像の凸エッジの情報を付加した3次元データを取得する3次元データ取得手段をさらに備えることを特徴とする画像処理装置。
【請求項6】
画像処理装置が行う画像処理方法であって、
2次元写真画像の画像情報に基づいて各画素の輝度をそれぞれ取得する輝度取得ステップと、
前記各画素のうち一の画素群の輝度と該一の画素群に隣接する他の画素群の輝度との輝度差である判定輝度差に基づいて凸エッジであるか否かを判定する形状判定ステップと
、
前記各画素の輝度に基づいて前記2次元写真画像の撮影対象物における面を判定する面判定ステップと
を含
み、
前記形状判定ステップは、前記凸エッジ及び前記面の形状から凹エッジを判定する
ことを特徴とする画像処理方法。
【請求項7】
請求項
6に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴と
する画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、2次元写真画像の画像情報から撮影対象物の形状を判定する画像処理装置及び画像処理方法、特に、2次元写真画像の画像情報から撮影対象物の形状を判定して3次元データを取得する画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
車両や飛行体等の移動体に搭載したカメラ(デジタルビデオカメラ、デジタルカメラ)により地形や構造物等の撮影対象物を撮影する画像処理装置として、撮影対象物を複数の位置及び角度から写真撮影し、撮影した複数枚の写真の2次元写真画像と該複数枚の写真を撮影した時のカメラの撮影情報(例えば撮影位置や撮影姿勢の情報)とに基づいて3次元データ(座標)を取得する画像処理装置が従来から知られている。2次元写真画像の画像情報から3次元データを得る手法としては、代表的には、ステレオマッチングによる手法を挙げることができる(例えば特許文献1参照)。また、特許文献1の段落[0058],[0059]には、撮影対象物のエッジを認識する点が開示されている。
【0003】
ところで、2次元写真画像における撮影対象物は、立方体で構成されているものが多く、そのような撮影対象物は、少なくとも凸エッジの形状を持つ。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、2次元写真画像の画像情報から3次元データを得る従来の手法では、2次元写真画像の撮影対象物においてエッジを認識できたとしても、そのエッジが凸エッジなのか否かを認識することができない。
【0006】
そこで、本発明は、2次元写真画像の撮影対象物においてエッジが凸エッジなのか否かを認識することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
前記課題を解決するために、次の画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【0008】
(1)画像処理装置
本発明に係る画像処理装置は、2次元写真画像の画像情報に基づいて各画素の輝度をそれぞれ取得する輝度取得手段と、前記各画素のうち一の画素群の輝度と該一の画素群に隣接する他の画素群の輝度との輝度差である判定輝度差に基づいて凸エッジであるか否かを判定する形状判定手段と、前記各画素の輝度に基づいて前記2次元写真画像の撮影対象物における面を判定する面判定手段とを備え、前記形状判定手段は、前記凸エッジ及び前記面の形状から凹エッジを判定することを特徴とする。
【0009】
(2)画像処理方法
本発明に係る画像処理方法は、画像処理装置が行う画像処理方法であって、2次元写真画像の画像情報に基づいて各画素の輝度をそれぞれ取得する輝度取得ステップと、前記各画素のうち一の画素群の輝度と該一の画素群に隣接する他の画素群の輝度との輝度差である判定輝度差に基づいて凸エッジであるか否かを判定する形状判定ステップと、前記各画素の輝度に基づいて前記2次元写真画像の撮影対象物における面を判定する面判定ステップとを含み、前記形状判定ステップは、前記凸エッジ及び前記面の形状から凹エッジを判定することを特徴とする。
【0010】
(3)画像処理プログラム
本発明に係る画像処理プログラムは、前記本発明に係る画像処理方法の各ステップをコンピュータに実行させることを特徴とする。
【発明の効果】
【0011】
本発明によると、2次元写真画像の撮影対象物においてエッジが凸エッジなのか否かを認識することが可能となる。
【図面の簡単な説明】
【0012】
【
図1】
図1は、本発明の実施の形態に係る画像処理装置のシステム構成を示すブロック図である。
【
図2】
図2は、カメラで撮影した撮影対象物の2次元写真画像の一例である。
【
図3】
図3は、
図2に示す2次元写真画像をエッジで表した図である。
【
図4】
図4は、本発明の実施の形態に係る画像処理装置による画像処理のメインルーチンの一例を示すフローチャートである。
【
図5】
図5は、形状判定ステップのサブルーチンの一例を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、本発明に係る実施の形態について図面を参照しながら説明する。
【0014】
図1は、本発明の実施の形態に係る画像処理装置100のシステム構成を示すブロック図である。
【0015】
画像処理装置100は、2次元写真画像の画像情報に対して画像処理して2次元写真画像の形状を判定する装置である。
図2は、カメラで撮影した撮影対象物Mの2次元写真画像の一例である。
図3は、
図2に示す2次元写真画像をエッジ(輪郭)で表した図である。
図4は、本発明の実施の形態に係る画像処理装置100による画像処理のメインルーチンの一例を示すフローチャートである。また、
図5は、形状判定ステップS5のサブルーチンの一例を示すフローチャートである。
【0016】
画像処理装置100は、制御部10と、記憶部20と、データベース30とを備えている。記憶部20は、ROM等の不揮発性メモリ、RAM等の揮発性メモリを含む。制御部10は、画像処理装置全体の制御を司る。制御部10は、CPU等のコンピュータからなる。制御部10は、記憶部20のROMに予め格納された画像処理プログラムPPを記憶部20のRAM上にロードして実行することにより、各種構成要素の作動制御を行う。
【0017】
制御部10は、輝度取得手段P1と、背景判定手段P2と、面判定手段P3と、エッジ判定手段P4と、形状判定手段P5、3次元データ取得手段P6とを備える手段として機能する。すなわち、画像処理プログラムPPは、輝度取得ステップS1と、背景判定ステップS2と、面判定ステップS3と、エッジ判定ステップS4と、形状判定ステップS5と、3次元データ取得ステップS6とを含むステップを制御部10に実行させるためのプログラムである。
【0018】
[画像処理装置の処理手順]
図4に示すように、輝度取得ステップS1では、制御部10は、車両や無人飛行体(いわゆるドローン)等の移動体に搭載したカメラ(デジタルビデオカメラ又はデジタルカメラ)で撮影した撮影対象物Mの動画写真又は複数の静止画写真(
図2参照)の2次元写真画像の画像情報(アナログデータ)に基づいて各画素の輝度をそれぞれ取得する。2次元写真画像の画像情報は、データベース30に保存される。制御部10は、2次元写真画像がカラー画像である場合、白黒画像に変換した2次元写真画像を用いることができる。制御部10は、各画素の画像情報(アナログデータ)を量子化(0~255の256階調に輝度分解)する。
【0019】
背景判定ステップS2では、制御部10は、各画素の輝度に基づいて2次元写真画像の背景B(
図2、
図3参照)を判定する。例えば、制御部10は、2次元写真画像の画像端部を含んでおり、隣り合う画素の輝度差の絶対値が所定の背景閾値範囲(例えば0~5)内にある画素が所定の画素数(例えば50画素)以上連続している場合は、背景Bであると判定する。背景閾値範囲は、記憶部20に予め記憶されている。
【0020】
面判定ステップS3では、制御部10は、各画素の輝度に基づいて2次元写真画像の撮影対象物Mにおける面F(1)~F(i)(iは面の数、i=8)(
図3参照)を判定する。面判定ステップS3では、例えば、制御部10は、2次元写真画像の画像端部を含んでおらず、隣り合う画素の輝度差の絶対値が所定の平面閾値範囲(例えば0~5)内にある画素が所定の画素数(例えば50画素)以上連続している場合は、平面であると判定する。この例では、
図3に示すように、制御部10は、面F(1)~F(7)が平面であると判定する。平面閾値範囲は、記憶部20に予め記憶されている。また、面判定ステップS3では、制御部10は、例えば、隣り合う画素の輝度差の絶対値が段階的に〔例えば輝度差の絶対値が所定画素数(3画素)毎に所定範囲(1~5)内の値ずつ段階的に〕大きくなるか、或いは、小さくなる場合に、曲面であると判定する。この例では、制御部10は、面F(8),F(9)が曲面であると判定する。
【0021】
エッジ判定ステップS4では、制御部10は、各画素の輝度に基づいて2次元写真画像の撮影対象物MにおけるエッジE(1)~E(j)(jはエッジの数、j=18)(
図3参照)を判定する。ここで、エッジは、形状の切り替わる部分、すなわち形状の起点であり、辺、頂点を含む概念である。例えば、制御部10は、隣り合う面F,F間をエッジEであると判定する。この例では、制御部10は、平面F(1),F(2)間をエッジE(1)であると、平面F(1),F(3)間をエッジE(2)であると、平面F(1),F(4)間をエッジE(3)であると、平面F(1),F(5)間をエッジE(4)であると、平面F(2),F(3)間をエッジE(5)であると、平面F(3),F(4)間をエッジE(6)であると、平面F(4),F(5)間をエッジE(7)であると、平面F(6),F(8)間をエッジE(8)であると、平面F(7)と曲面F(9)との間をエッジE(10)であると、平面F(1)と曲面F(8)との間をエッジE(9)であると、平面F(1)と曲面F(9)との間をエッジE(11)であると判定する。また、制御部10は、平面F(1)と背景Bとの間をエッジE(12)であると、平面F(2)と背景Bとの間をエッジE(13)であると、平面F(3)と背景Bとの間をエッジE(14)であると、平面F(4)と背景Bとの間をエッジE(15)であると、平面F(5)と背景Bとの間をエッジE(16)であると判定する。
【0022】
-形状判定ステップ-
図5に示す形状判定ステップS5では、制御部10は、各画素のうち一の画素群の輝度と該一の画素群に隣接する他の画素群の輝度との輝度差である判定輝度差に基づいて凸エッジであるか否かを判定する。ここで、判定輝度差としては、それぞれの画素群の平均輝度の輝度差とすることができる。
【0023】
詳しくは、形状判定ステップS5では、制御部10は、判定輝度差として各画素のうちエッジ〔例えばエッジE(1)〕を間にした一方側〔例えば平面F(1)側〕の周辺画素〔エッジE(1)から所定の画素数(例えば50画素)以上の領域〕の輝度(平均輝度、例えば250)と他方側〔例えば平面F(2)側〕の周辺画素〔エッジE(1)から所定の画素数(例えば50画素)以上の領域〕の輝度(平均輝度、例えば60)との輝度差(例えば190)を算出する(S51)。ここで、判定輝度差としては、それぞれの周辺画素の平均輝度の輝度差とすることができ、例えば、エッジに隣接するそれぞれの面が平面の場合には、それぞれの周辺画素の任意の画素の輝度差、一方側の周辺画素の平均輝度と他方側の周辺画素の最大輝度又は最小輝度との輝度差、一方側の周辺画素の最大輝度と他方側の周辺画素の最小輝度との輝度差を用いてもよい。
【0024】
次に、制御部10は、算出した判定輝度差(例えば190)が所定の凸エッジ閾値(例えば50)よりも大きい場合は(S52:Yes)、凸エッジであると判定する(S53)。この例では、制御部10は、エッジE(1)~E(5),E(7),E(8),E(11)が凸エッジであると判定する。凸エッジ閾値は、記憶部20に予め記憶されている。
【0025】
また、制御部10は、判定輝度差が所定の凸エッジ閾値以下の場合は(S52:No)、凹エッジの判定処理を行う(S54)。凹エッジの判定処理S54では、例えば、制御部10は、凸エッジ及び面の形状から凹エッジを判定する。この例では、制御部10は、エッジE(6)の周りにある面F(1),F(3),F(4)が平面であり、平面F(1),F(3),F(4)のエッジE(2),E(3),E(5),E(7)が凸エッジであることから、エッジE(6)が凹エッジであると判定する。制御部10は、エッジE(9)の周りにある面F(1),F(8)がそれぞれ平面、曲面であり、曲面F(8)の平面F(6)との間のエッジE(8)が凸エッジであることから、エッジE(9)が凹エッジであると判定する。また、制御部10は、エッジE(10)の周りにある面F(7),F(9)がそれぞれ平面、曲面であり、曲面F(9)の平面F(1)との間のエッジE(11)が凸エッジであることから、エッジE(10)が凹エッジであると判定する。
【0026】
次に、制御部10は、凸側曲面の判定処理を行う(S55)。凸側曲面の判定処理S55では、例えば、制御部10は、曲面の隣接する面の面積が小さい方の面とのエッジが凸エッジであり、曲面の隣接する面の面積が大きい方の面とのエッジが凹エッジであるときは、該曲面が凸側曲面であると判定する。この例では、制御部10は、曲面F(8)の隣接する面の面積が小さい方の面F(6)とのエッジE(8)が凸エッジであり、曲面F(8)の隣接する面の面積が大きい方の面F(1)とのエッジE(9)が凹エッジであることから、曲面F(8)が凸側曲面であると判定する。
【0027】
次に、制御部10は、凹側曲面の判定処理を行う(S56)。凹側曲面の判定処理S56では、例えば、制御部10は、曲面の隣接する面の面積が小さい方の面とのエッジが凹エッジであり、曲面の隣接する面の面積が大きい方の面とのエッジが凸エッジであるときは、該曲面が凹側曲面であると判定する。この例では、制御部10は、曲面F(9)の隣接する面の面積が小さい方の面F(7)とのエッジE(10)が凹エッジであり、曲面F(9)の隣接する面の面積が大きい方の面F(1)とのエッジE(11)が凸エッジであることから、曲面F(9)が凹側曲面であると判定する。そして、制御部10は、
図4に示すメインルーチンに戻る。
【0028】
-3次元データ取得-
図4に示す3次元データ取得ステップS6では、制御部10は、2次元写真画像の画像情報から2次元写真画像の凸エッジ、凹エッジ、凸側曲面及び凹側曲面のうち少なくとも凸エッジの情報を付加した3次元データ(x,y,z)(xはx軸の値、yはx軸に直交するy軸の値、zはx軸及びy軸の双方に直交するz軸の値)を取得する。2次元写真画像の凸エッジ、凹エッジ、凸側曲面及び凹側曲面のうち少なくとも凸エッジの情報を付加した3次元データは、データベース30に保存される。
【0029】
ここで、2次元写真画像の画像情報から3次元データを取得する画像処理としては、代表的には、ステレオマッチングによる写真測量を挙げることができる。かかる写真測量における調整計算法としては、代表的には、誤差の二乗和を最小化する最小二乗法を用いて各写真の画像間の対応点を空間上で結ぶことにより写真相互間のつながりをつけて3次元座標を計算するバンドル調整法(いわゆるバンドル計算)を例示できる。また、車両や無人飛行体等の移動体にGNSS(Global Navigation Satellite System:全地球測位システム)受信機を搭載し、制御部10は、衛星からの電波を受信したGNSS受信機からのGNSS情報(具体的には日付、時刻、緯度、経度、標高といった情報)により、絶対的な撮影情報の値を取得するようにしてもよい。
【0030】
2次元写真画像の画像情報から3次元データを取得する画像処理は、従来公知の手法で行うことができる。従って、2次元写真画像の画像情報から3次元データを取得する処理の詳しい説明は省略する。
【0031】
(本実施の形態にいて)
本実施の形態によれば、制御部10は、各画素のうち一の画素群の輝度と該一の画素群に隣接する他の画素群の輝度との輝度差である判定輝度差に基づいて凸エッジであるか否かを判定するので、2次元写真画像の撮影対象物Mにおいてエッジが凸エッジであることを認識することができる。従って、2次元写真画像の撮影対象物Mにおいてエッジが凸エッジなのか否かを認識することができる。しかも、凸エッジを判定するために判定輝度差を用いるので、簡単な制御構成で凸エッジを判定することができる。
【0032】
本実施の形態において、制御部10は、判定輝度差として各画素のうちエッジを間にした一方側の周辺画素の輝度と他方側の周辺画素の輝度との輝度差を算出し、算出した判定輝度差の絶対値が凸エッジ閾値よりも大きい場合は、凸エッジであると判定する。こうすることで、凸エッジを精度良く判定することができる。
【0033】
本実施の形態において、制御部10は、各画素の輝度に基づいて2次元写真画像の撮影対象物Mにおける面を判定する。こうすることで、2次元写真画像における面を簡単な制御構成で判定することができる。
【0034】
本実施の形態において、制御部10は、凸エッジ及び面の形状から凹エッジを判定する。こうすることで、エッジが凹エッジであることを簡単な制御構成で判定することができる。
【0035】
本実施の形態において、制御部10は、曲面の隣接する面の面積が小さい方の面とのエッジが凸エッジであり、曲面の隣接する面の面積が大きい方の面とのエッジが凹エッジであるときは、該曲面が凸側曲面であると判定する。こうすることで、2次元写真画像における曲面が凸側曲面であることを簡単な制御構成で判定することができる。
【0036】
本実施の形態において、制御部10は、曲面の隣接する面の面積が小さい方の面とのエッジが凹エッジであり、曲面の隣接する面の面積が大きい方の面とのエッジが凸エッジであるときは、該曲面が凹側曲面であると判定する。こうすることで、2次元写真画像における曲面が凹側曲面であることを簡単な制御構成で判定することができる。
【0037】
本実施の形態において、3次元データ取得ステップS6では、制御部10は、2次元写真画像の画像情報から2次元写真画像の凸エッジ、凹エッジ、凸側曲面及び凹側曲面のうち少なくとも凸エッジの情報を付加した3次元データを取得する。こうすることで、凸エッジ、凹エッジ、凸側曲面及び凹側曲面のうち少なくとも凸エッジの情報を付加した利用価値が高い3次元データを得ることができる。例えば、2次元写真画像からリアルタイムに3次元形状を認識することで、自動運転に関する技術に利用することができる。また、2次元写真画像から3次元メッシュを生成することで、都市強度(集中性)予測に関する技術に利用することができる。これにより、都市のモデル化に貢献することができる。また、インターネット上に存在する地図情報サービスの3次元データと組み合わせることで、さらに精度の高い3次元データを得ることができる。
【0038】
本発明は、以上説明した実施の形態に限定されるものではなく、他のいろいろな形で実施することができる。そのため、係る実施の形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【0039】
本発明は、2次元写真画像の画像情報から撮影対象物の形状を判定する画像処理技術に係るものであり、特に、2次元写真画像の撮影対象物においてエッジが凸エッジなのか否かを認識するための用途、例えば、自動運転や都市強度予測の用途に適用できる。
【符号の説明】
【0040】
10 制御部
20 記憶部
30 データベース
100 画像処理装置
B 背景
E エッジ
F 面
M 撮影対象物
P1 輝度取得手段
P2 背景判定手段
P3 面判定手段
P4 エッジ判定手段
P5 形状判定手段
P6 3次元データ取得手段
PP 画像処理プログラム
S1 輝度取得ステップ
S2 背景判定ステップ
S3 面判定ステップ
S4 エッジ判定ステップ
S5 形状判定ステップ
S6 3次元データ取得ステップ