(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024141898
(43)【公開日】2024-10-10
(54)【発明の名称】対象物抽出システム、対象物抽出方法、及び対象物抽出プログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20241003BHJP
【FI】
G06T7/70 Z
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023053768
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】000233055
【氏名又は名称】株式会社日立ソリューションズ
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】黒澤 明
(72)【発明者】
【氏名】舟田 宗弥
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA02
5L096AA06
5L096AA09
5L096BA03
5L096CA02
5L096FA66
5L096FA69
5L096GA51
(57)【要約】
【課題】抽出対象物を表す平面を正確に決定する。
【解決手段】画像から対象物の情報を抽出する対象物抽出システムであって、演算処理を実行する演算部と、前記演算部がアクセス可能な記憶部とを備え、前記演算部は、画素毎に計測された距離情報を含む距離画像を取得し、前記距離画像を複数の領域に分割し、前記分割された領域において、距離毎の画素数を計数し、前記計数された画素数の極大値のうち、撮影点から最短距離の極大値から所定の距離範囲内の画素を抽出し、前記分割された領域毎に、前記抽出された画素を表す第1の平面を算出し、前記領域毎に算出された第1の平面間の関係を用いて、前記分割された領域をグループ化し、前記グループ化によって生成されたグループを一つ選択して、当該選択されたグループの領域内の前記抽出された画素を表す第2の平面を算出する。
【選択図】
図8
【特許請求の範囲】
【請求項1】
画像から対象物の情報を抽出する対象物抽出システムであって、
演算処理を実行する演算部と、前記演算部がアクセス可能な記憶部とを備え、
前記演算部は、
画素毎に計測された距離情報を含む距離画像を取得し、
前記距離画像を複数の領域に分割し、
前記分割された領域において、距離毎の画素数を計数し、
前記計数された画素数の極大値のうち、撮影点から最短距離の極大値から所定の距離範囲内の画素を抽出し、
前記分割された領域毎に、前記抽出された画素を表す第1の平面を算出し、
前記領域毎に算出された第1の平面間の関係を用いて、前記分割された領域をグループ化し、
前記グループ化によって生成されたグループを一つ選択して、当該選択されたグループの領域内の前記抽出された画素を表す第2の平面を算出することを特徴とする対象物抽出システム。
【請求項2】
請求項1に記載の対象物抽出システムであって、
前記演算部は、前記グループ化によって生成されたグループのうち、撮影点から最短距離のグループを選択することを特徴とする対象物抽出システム。
【請求項3】
請求項1に記載の対象物抽出システムであって、
前記演算部は、前記算出された第2の平面から所定の距離の画素を、対象物の画素として抽出することを特徴とする対象物抽出システム。
【請求項4】
請求項1に記載の対象物抽出システムであって、
前記演算部は、第1の領域を表す平面と隣接する第2の領域で抽出された画素群の重心の距離が所定の閾値より小さい場合に、前記第1の領域と前記第2の領域を一つのグループにグループ化することを特徴とする対象物抽出システム。
【請求項5】
請求項1に記載の対象物抽出システムであって、
前記演算部は、隣接する二つの前記領域で各々算出された法線ベクトルの角が所定の閾値より小さければ、当該二つの領域を一つのグループにグループ化することを特徴とする対象物抽出システム。
【請求項6】
請求項1に記載の対象物抽出システムであって、
前記演算部は、隣接する二つの前記領域内で各々抽出された画素群の重心の距離が所定の閾値より小さければ、当該二つの領域を一つのグループにグループ化することを特徴とする対象物抽出システム。
【請求項7】
対象物抽出システムが画像から対象物の情報を抽出する対象物抽出方法であって、
前記対象物抽出システムは、演算処理を実行する演算部と、前記演算部がアクセス可能な記憶部とを有する計算機によって構成され、
前記対象物抽出方法は、
前記演算部が、画素毎に計測された距離情報を含む距離画像を取得し、
前記演算部が、前記距離画像を複数の領域に分割し、
前記演算部が、前記分割された領域において、距離毎の画素数を計数し、
前記演算部が、前記計数された画素数の極大値のうち、撮影点から最短距離の極大値から所定の距離範囲内の画素を抽出し、
前記演算部が、前記分割された領域毎に、前記抽出された画素を表す第1の平面を算出し、
前記演算部が、前記領域毎に算出された第1の平面間の関係を用いて、前記分割された領域をグループ化し、
前記演算部が、前記グループ化によって生成されたグループを一つ選択して、当該選択されたグループの領域内の前記抽出された画素を表す第2の平面を算出することを特徴とすることを特徴とする対象物抽出方法。
【請求項8】
対象物抽出システムが画像から対象物の情報を抽出する対象物抽出プログラムであって、
前記対象物抽出システムは、演算処理を実行する演算部と、前記演算部がアクセス可能な記憶部とを有する計算機によって構成され、
前記対象物抽出プログラムは、
画素毎に計測された距離情報を含む距離画像を取得する手順と、
前記距離画像を複数の領域に分割する手順と、
前記分割された領域において、距離毎の画素数を計数する手順と、
前記計数された画素数の極大値のうち、撮影点から最短距離の極大値から所定の距離範囲内の画素を抽出する手順と、
前記分割された領域毎に、前記抽出された画素を表す第1の平面を算出する手順と、
前記領域毎に算出された第1の平面間の関係を用いて、前記分割された領域をグループ化する手順と、
前記グループ化によって生成されたグループを一つ選択して、当該選択されたグループの領域内の前記抽出された画素を表す第2の平面を算出する手順と、を前記演算部に実行させることを特徴とする対象物抽出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像に写っている対象物の位置の平面を抽出する対象物抽出システムに関する。
【背景技術】
【0002】
過去、建築の現場にて鉄筋の本数、直径、間隔等が設計と異なって施工される問題が生じており、鉄筋の検査が厳格化され、現場作業での負担が大きくなっている。この負担を軽減するため、カメラ等のセンサで鉄筋の三次元データを取得している。取得した三次元座標で表される点群には測定すべき鉄筋以外の情報が含まれており、対象とする鉄筋を表す点群を抽出する必要がある。
【0003】
本技術分野の背景技術として、以下の先行技術がある。特許文献1(特開2015-1146号公報)には、検査対象とする鉄筋を撮影する撮影装置による撮影によって得られた画像から、検査対象とする鉄筋の隣接する複数の節の画像を検出し、検出した複数の節の画像に基づいて、隣接する節の間の距離を導出し、予め定められた複数種類の径の鉄筋について、隣接する節の間の距離および対応する鉄筋の径を関連付けて予め記憶した二次記憶部から、導出した距離に対応する鉄筋の径を読み出すことにより、検査対象とする鉄筋の径を特定する鉄筋検査支援装置が記載されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
前述した公知技術では、鉄筋の位置の平面上の点群データを抽出するため、対象物までの距離と画素数のヒストグラムを利用するため、カメラ光軸と平面の法線方向が並行となるように三次元的に点群データを回転している。すなわち、ヒストグラムによる鉄筋の位置の平面を抽出するために、カメラ光軸と平面が垂直であることを前提としている。しかし、鉄筋の位置の平面に光軸が垂直になるようにカメラを正確に配置することは困難であり、光軸と平面の法線とのズレによって誤差が生じる。また、現場の環境よって、鉄筋の位置の平面に光軸が垂直にカメラを配置できないことがある。
【0006】
このため、カメラを抽出対象物に垂直に配置しなくても、抽出対象物を表す平面を正確に決定するシステムが望まれている。
【課題を解決するための手段】
【0007】
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、画像から対象物の情報を抽出する対象物抽出システムであって、演算処理を実行する演算部と、前記演算部がアクセス可能な記憶部とを備え、前記演算部は、画素毎に計測された距離情報を含む距離画像を取得し、前記距離画像を複数の領域に分割し、前記分割された領域において、距離毎の画素数を計数し、前記計数された画素数の極大値のうち、撮影点から最短距離の極大値から所定の距離範囲内の画素を抽出し、前記分割された領域毎に、前記抽出された画素を表す第1の平面を算出し、前記領域毎に算出された第1の平面間の関係を用いて、前記分割された領域をグループ化し、前記グループ化によって生成されたグループを一つ選択して、当該選択されたグループの領域内の前記抽出された画素を表す第2の平面を算出することを特徴とする。
【発明の効果】
【0008】
本発明の一態様によれば、抽出対象物を表す平面を正確に決定できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
【図面の簡単な説明】
【0009】
【
図1】本実施例の対象物抽出システムの構成を示すブロック図である。
【
図2】本実施例で取り扱われる距離画像のデータ構造の例を示す図である。
【
図3】従来の対象物抽出処理のフローチャートである。
【
図4】従来の画像における鉄筋上の3点の指定を示す図である。
【
図6】従来の鉄筋であると推定される抽出領域を示す図である。
【
図7】本実施例の対象物抽出処理のフローチャートである。
【
図8】本実施例の画像上のリージョンの定義を示す図である。
【
図9】本実施例のリージョン内の画素数と距離のヒストグラムの例を示す図である。
【
図10】本実施例のグループ化されたリージョンの例を示す図である。
【
図11】本実施例で得られる抽出座標の上面図である。
【
図12】本実施例のステーション搬送装置割付台数設定画面の一例を示す図である。
【
図13】本実施例で鉄筋であると推定される抽出領域を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明を適用した一実施の形態について説明する。
【0011】
図1は、本実施例の対象物抽出システム100の構成を示すブロック図である。
【0012】
本実施例の対象物抽出システム100は、プロセッサ(CPU)1、メモリ2、補助記憶装置3及び通信インターフェース4を有する計算機によって構成される。対象物抽出システム100は、入力インターフェース5及び出力インターフェース8を有してもよい。
【0013】
プロセッサ1は、メモリ2に格納されたプログラムを実行する演算装置である。プロセッサ1が各種プログラムを実行することによって、対象物抽出システム100の各機能部による機能が実現される。なお、プロセッサ1がプログラムを実行して行う処理の一部を、他の演算装置(例えば、ASIC、FPGA等のハードウェア)で実行してもよい。
【0014】
メモリ2は、不揮発性の記憶素子であるROM及び揮発性の記憶素子であるRAMを含む。ROMは、不変のプログラム(例えば、BIOS)などを格納する。RAMは、DRAM(Dynamic Random Access Memory)のような高速かつ揮発性の記憶素子であり、プロセッサ1が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
【0015】
補助記憶装置3は、例えば、磁気記憶装置(HDD)、フラッシュメモリ(SSD)等の大容量かつ不揮発性の記憶装置である。また、補助記憶装置3は、プロセッサ1がプログラムの実行時に使用するデータ、及びプロセッサ1が実行するプログラムを格納する。すなわち、プログラムは、補助記憶装置3から読み出されて、メモリ2にロードされて、プロセッサ1によって実行されることによって、対象物抽出システム100の各機能を実現する。
【0016】
通信インターフェース4は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。
【0017】
入力インターフェース5は、キーボード6やマウス7などの入力装置が接続され、オペレータからの入力を受けるインターフェースである。出力インターフェース8は、ディスプレイ装置9やプリンタ(図示省略)などの出力装置が接続され、プログラムの実行結果をユーザが視認可能な形式で出力するインターフェースである。なお、対象物抽出システム100にネットワークを介して接続されたユーザ端末が入力装置及び出力装置を提供してもよい。この場合、対象物抽出システム100がウェブサーバの機能を有し、ユーザ端末が対象物抽出システム100に所定のプロトコル(例えばhttp)でアクセスしてもよい。
【0018】
プロセッサ1が実行するプログラムは、リムーバブルメディア(CD-ROM、フラッシュメモリなど)又はネットワークを介して対象物抽出システム100に提供され、非一時的記憶媒体である不揮発性の補助記憶装置3に格納される。このため、対象物抽出システム100は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。
【0019】
対象物抽出システム100は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。例えば、対象物抽出システム100の機能を実現する複数のプログラムは、各々が別個の物理的又は論理的計算機上で動作するものでも、複数が組み合わされて一つの物理的又は論理的計算機上で動作するものでもよい。
【0020】
図2は、本実施例で取り扱われる距離情報を含む画像401のデータ構造の例を示す図である。
【0021】
距離画像データは、1画素にRed,Green,Blue,Depth(距離)の4情報を含むデータ構造を有する。TOFカメラ、LiDAR、ステレオカメラなど、画素ごとに距離データを取得できる撮像装置を用いると距離画像データを取得できる。また、複数の装置(例えば、RGBの画素データを出力するカメラと、点群の距離データを出力するレーザー距離計)で取得した同一の解像度の画像データと距離データを組み合わせて距離画像データを生成してもよい。
【0022】
なお、
図2では、画素毎にRGBの3色の輝度データを有するカラー画像を説明したが、画素毎に1色の輝度データを有するRAWデータでも、画素毎に白黒の輝度データを有するモノクロ画像でも、画素毎に距離データを有するものであればよい。
【0023】
次に、
図3から
図6を参照して、従来の対象物抽出手順を説明する。この従来の対象物抽出手順における平面推定方法では、対象物上の3点をオペレータが指定する。
【0024】
図3は、従来の平面推定による対象物抽出処理のフローチャートである。
【0025】
対象物抽出システム100は、抽出しようとする物体(例えば鉄筋)が写っている画像で抽出しようとする物体上の3点の指定を受け、指定された画素の画像上の座標を記憶する(301)。画像上の3点の指定は、
図4に示すように、オペレータが、画像401において、鉄筋501、502上の3点403を指定する。
【0026】
次に、対象物抽出システム100は、カメラの位置及び撮影データを用いて、指定された3点403の画像上の座標を三次元座標に変換する(302)。
【0027】
次に、対象物抽出システム100は、三次元空間において、3座標を表す平面の法線ベクトルを算出する(303)。
【0028】
次に、対象物抽出システム100は、3座標を含む平面を基準に法線方向に所定値Δの奥行を持つ領域bを定める(304)。例えば、
図5に示すように、指定された点403を含む平面(指定された3点403から算出された法線ベクトル505によって定義される平面)504から前後に所定値Δ506の範囲内の直方体の領域b507を定める。
【0029】
次に、対象物抽出システム100は、領域bに含まれる画素を抽出する(305)。例えば、
図6に示すように、領域b507内に位置する画素を抽出すると、鉄筋501、502であると推定される領域を抽出できる。
【0030】
図7は、本実施例の対象物抽出システム100が実行する対象物抽出処理のフローチャートである。対象物抽出システム100のプロセッサ1がプログラムを実行することによって
図7に示す対象物抽出処理が行われる。
【0031】
まず、対象物抽出システム100は、画像401のうち、対象物を抽出しようとする領域を所定の数又は大きさのリージョン803に区分する。リージョン803は、予め定められた大きさより小さい長方形の領域であり、対象物を抽出しようとする領域を等分するとよい。そして、区分されたリージョン803の画素数を距離毎に計数して、画素数の極大値を探索し、距離が最小の極大値を特定し、当該極大値前後の所定の距離に含まれる画素を抽出する(701)。画像401は、
図2に示すように、画素毎のRGBの各色の輝度情報と距離情報を含む。また、画像401では、カメラと鉄筋501、502による格子は正対しなくてもよい。
【0032】
例えば、
図8に示すように、オペレータが、画像401において、抽出しようとする鉄筋501、502が写っている領域を特定すると、対象物抽出システム100は、特定された領域内を所定の大きさのリージョン803に区分する。また、オペレータが、画像401において、抽出しようとする鉄筋501、502が写っている1点を指定すると、その点を含む所定の大きさのリージョン803を定義し、上下左右に隣接するリージョン803を画像401全体に定めてもよい。リージョン803は画像401の全体に定めてもよいが、画像401の上下左右の所定幅の領域(画像の外縁部)には定めなくてもよい。画像の外縁部には、抽出しようとする物体以外の物(例えば左右の壁、上方の天井、下方の床)が映っていることがあり、これらの物の検出の回避が望ましいからである
【0033】
そして、あるリージョン803において、距離毎に画素数を計数する。通常、抽出対象物が手前になる画像が撮影され、抽出対象物の画素は他の物体の画素より多く含まれるので、
図9に示すように、画素数を縦軸に距離を横軸にしたヒストグラムに表すと、抽出対象物である鉄筋501、502の画素はヒストグラム上の近距離の山に存在する。このため、距離が最小の極大値901の前後の所定の距離903に含まれる画素を抽出する。抽出対象物が鉄筋である場合、所定の距離903を鉄筋の最大直径にするとよい。なお、距離が最小の極大値901以外の極大値902は、抽出すべき対象物の背景に存在する物体のものである。
【0034】
次に、対象物抽出システム100は、カメラの位置及び撮影データを用いて、抽出された画素の画像上の座標を三次元座標に変換する(702)。
【0035】
次に、対象物抽出システム100は、三次元空間において、抽出された画素を表す平面の法線ベクトルを算出し、リージョン803内の抽出された画素の三次元座標の重心を算出する(703)。例えば、抽出された画素からの距離の合計が最小となる平面の法線ベクトルを算出するとよい。また、RANSAC法によって、リージョン803内の抽出された画素群の重心(すなわち座標の平均値)を算出し、算出された重心から各画素へのベクトルを算出して、これらの画素群の固有ベクトルによって平面の法線ベクトルを算出してもよい。そして、算出された法線ベクトルを有し、画素群の重心を通る平面が画素の三次元座標を表す平面となる。
【0036】
次に、対象物抽出システム100は、隣接するリージョン803の間で、算出されたリージョン803の間の平面及び点群の関係を用いてグループ化する(704)。例えば、ある第1のリージョン803を表す平面と隣接する第2のリージョン803内で抽出された画素群の重心の距離と、第2のリージョン803を表す平面と第1のリージョン803内で抽出された画素群の重心の距離の平均値が所定の閾値より小さい場合に、第1のリージョン803と第2のリージョン803を一つのグループにグループ化するとよい。なお、二つの距離の平均値ではなく、一つの距離(例えば、既にグループ化された第1のリージョン803を表す平面と隣接する第2のリージョン803内で抽出された画素群の重心の距離)を用いてもよい。所定の閾値は、例えば鉄筋の最大直径の2倍にするとよい。
【0037】
リージョン803のグループ化の方法は、他の方法でもよい。例えば、隣接する二つのリージョン803で算出された法線ベクトルの角が所定の閾値より小さければ当該二つのリージョン803を一つのグループにグループ化してもよい。また、隣接する二つのリージョン803内で抽出された画素群の重心の距離が所定の閾値より小さければ、当該二つのリージョン803を一つのグループにグループ化してもよい。
【0038】
以上に説明した複数の方法を用いて、一つの指標を計算して、総合的にグループ化するかを判定してもよい。
【0039】
このように、リージョン803の関係でリージョン803をグループ化することによって、物体が存在する位置を表す平面を正確に決定できる。また、領域内に鉄筋が含まれていないリージョン803や、主に背後の鉄筋が写っているリージョン803を除外できる。
【0040】
次に、対象物抽出システム100は、グループ化されたリージョングループのうち、一つのリージョングループを選択する(705)。通常、抽出しようとする対象物は手前に撮影されることから、最小距離のリージョン803を選択するとよく、奥の対象物を抽出しようとする場合、2番目に近い距離のリージョン803を選択してもよい。例えば、
図10に示すように、鉄筋501、502を含むリージョン803は灰色で示す同一グループにグループ化され、それ以外のリージョン803は除外される。
【0041】
次に、対象物抽出システム100は、選択したリージョン803内の抽出された画素の座標を表す平面の法線ベクトルを算出する(706)。例えば、
図11に示すように、選択されたリージョン803内の抽出された画素の座標1104から平面を算出する。例えば、ステップ703と同様に、RANSAC法によって法線ベクトルを算出するとよい。ステップ706で算出された平面によって、抽出しようとする対象物の位置を特定できる。
【0042】
次に、対象物抽出システム100は、3座標を含む平面を基準に法線方向に所定値Δの奥行を持つ領域bを定める(707)。例えば、
図12に示すように、ステップ706で画素1204の座標から算出された平面1203(法線ベクトル1205)から前後に所定値Δ1206の範囲内の直方体の領域b1207を定める。
【0043】
次に、対象物抽出システム100は、領域bに含まれる画素を抽出する(708)。例えば、
図13に示すように、領域b1207内に位置する画素を抽出すると、鉄筋501、502であると推定される領域を抽出できる。
【0044】
以上に説明したように、本発明の実施例によれば、抽出対象物からなる平面(例えば鉄筋格子)とカメラが正対していなくても、抽出対象物を表す平面を正確に決定できる。また、抽出対象物からなる平面から所定の範囲の画素を抽出するため、ユーザによらず安定して対象物を抽出でき、属人性を排除できる。
【0045】
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
【0046】
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
【0047】
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記憶装置、又は、ICカード、SDカード、DVD等の記録媒体に格納することができる。
【0048】
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
【符号の説明】
【0049】
1…プロセッサ、2…メモリ、3…補助記憶装置、4…通信インターフェース、5…入力インターフェース、6…キーボード、7…マウス、8…出力インターフェース、9…ディスプレイ装置、100…対象物抽出システム、401…画像、403…指定された点、501、502…鉄筋、803…リージョン、901、902…極大値、