特表-18185807IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通株式会社の特許一覧
再表2018-185807距離情報処理装置、距離情報処理方法および距離情報処理プログラム
<>
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000003
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000004
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000005
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000006
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000007
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000008
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000009
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000010
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000011
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000012
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000013
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000014
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000015
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000016
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000017
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000018
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000019
  • 再表WO2018185807-距離情報処理装置、距離情報処理方法および距離情報処理プログラム 図000020
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2018年10月11日
【発行日】2019年12月26日
(54)【発明の名称】距離情報処理装置、距離情報処理方法および距離情報処理プログラム
(51)【国際特許分類】
   G01B 21/00 20060101AFI20191129BHJP
   G06T 5/00 20060101ALI20191129BHJP
   G06T 1/00 20060101ALI20191129BHJP
【FI】
   G01B21/00 E
   G06T5/00 705
   G06T1/00 315
【審査請求】有
【予備審査請求】未請求
【全頁数】20
【出願番号】特願2019-510507(P2019-510507)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2017年4月3日
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】吉村 和浩
【テーマコード(参考)】
2F069
5B057
【Fターム(参考)】
2F069AA03
2F069AA04
2F069AA64
2F069DD15
2F069GG04
2F069GG07
2F069GG62
2F069HH09
2F069JJ08
2F069NN02
5B057CA13
5B057CA20
5B057CB08
5B057CB12
5B057CC03
5B057CE02
5B057DA08
5B057DB03
5B057DC03
5B057DC16
(57)【要約】
距離情報処理装置(100)は、立体物上の各点の3次元座標を示す3次元点群データを基にして、各点の2次元座標と各点の奥行きとを対応づけた画像データを生成する。距離情報処理装置(100)は、画像データの輪郭部分に含まれる輪郭画素に対応する3次元点群データの点を注目点として特定し、輪郭画素の周辺の画素に対応する3次元点群データの点を周辺点として特定する。距離情報処理装置(100)は、注目点との距離が所定距離未満となる周辺点の数に基づいて、注目点を削除する。
【特許請求の範囲】
【請求項1】
立体物上の各点の3次元座標を示す3次元点群データを基にして、各点の2次元座標と各点の奥行きとを対応づけた画像データを生成する生成部と、
前記画像データの輪郭部分に含まれる輪郭画素に対応する前記3次元点群データの点を注目点として特定し、前記輪郭画素の周辺の画素に対応する前記3次元点群データの点を周辺点として特定する特定部と、
前記注目点との距離が所定距離未満となる前記周辺点の数に基づいて、前記注目点を削除する削除部と
を有することを特徴とする距離情報処理装置。
【請求項2】
距離センサから前記3次元点群データを取得する取得部を更に有し、前記距離センサは、前記立体物に対してラスタスキャンを実行し、前記立体物の各点の3次元座標を所定の順番で取得することで、前記3次元点群データを生成することを特徴とする請求項1に記載の距離情報処理装置。
【請求項3】
前記特定部は、前記距離センサの焦点距離を基にして、前記画像データの1画素あたりの距離を算出し、前記1画素あたりの距離と前記所定距離との関係から、前記周辺点に対応する前記輪郭画素上の画素の範囲を特定することを特徴とする請求項2に記載の距離情報処理装置。
【請求項4】
前記削除部は、前記注目点との距離が所定距離未満となる前記周辺点の数が所定数未満の場合に、前記注目点を削除することを特徴とする請求項1に記載の距離情報処理装置。
【請求項5】
コンピュータが実行する距離情報処理方法であって、
立体物上の各点の3次元座標を示す3次元点群データを基にして、各点の2次元座標と各点の奥行きとを対応づけた画像データを生成し、
前記画像データの輪郭部分に含まれる輪郭画素に対応する前記3次元点群データの点を注目点として特定し、
前記輪郭画素の周辺の画素に対応する前記3次元点群データの点を周辺点として特定し、
前記注目点との距離が所定距離未満となる前記周辺点の数に基づいて、前記注目点を削除する
処理を実行することを特徴とする距離情報処理方法。
【請求項6】
距離センサから前記3次元点群データを取得する処理を更に実行し、前記距離センサは、前記立体物に対してラスタスキャンを実行し、前記立体物の各点の3次元座標を所定の順番で取得することで、前記3次元点群データを生成することを特徴とする請求項5に記載の距離情報処理方法。
【請求項7】
前記特定する処理は、前記距離センサの焦点距離を基にして、前記画像データの1画素あたりの距離を算出し、前記1画素あたりの距離と前記所定距離との関係から、前記周辺点に対応する前記輪郭画素上の画素の範囲を特定することを特徴とする請求項6に記載の距離情報処理方法。
【請求項8】
前記削除する処理は、前記注目点との距離が所定距離未満となる前記周辺点の数が所定数未満の場合に、前記注目点を削除することを特徴とする請求項5に記載の距離情報処理方法。
【請求項9】
コンピュータに、
立体物上の各点の3次元座標を示す3次元点群データを基にして、各点の2次元座標と各点の奥行きとを対応づけた画像データを生成し、
前記画像データの輪郭部分に含まれる輪郭画素に対応する前記3次元点群データの点を注目点として特定し、
前記輪郭画素の周辺の画素に対応する前記3次元点群データの点を周辺点として特定し、
前記注目点との距離が所定距離未満となる前記周辺点の数に基づいて、前記注目点を削除する
処理を実行させることを特徴とする距離情報処理プログラム。
【請求項10】
距離センサから前記3次元点群データを取得する処理を更に実行し、前記距離センサは、前記立体物に対してラスタスキャンを実行し、前記立体物の各点の3次元座標を所定の順番で取得することで、前記3次元点群データを生成することを特徴とする請求項9に記載の距離情報処理プログラム。
【請求項11】
前記特定する処理は、前記距離センサの焦点距離を基にして、前記画像データの1画素あたりの距離を算出し、前記1画素あたりの距離と前記所定距離との関係から、前記周辺点に対応する前記輪郭画素上の画素の範囲を特定することを特徴とする請求項10に記載の距離情報処理プログラム。
【請求項12】
前記削除する処理は、前記注目点との距離が所定距離未満となる前記周辺点の数が所定数未満の場合に、前記注目点を削除することを特徴とする請求項9に記載の距離情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離情報処理装置等に関する。
【背景技術】
【0002】
距離センサを用いて立体物の形状を測定すると、立体物の輪郭部分で実際の位置よりも奥行方向にエッジノイズが発生する場合がある。図15および図16は、エッジノイズを説明するための図である。図15に示すように、距離センサ10を用いて、立体物15を計測すると、図16に示す3次元点群データ20が得られる。図16に示す例では、3次元点群データのうち、各点21が、エッジノイズとなる。
【0003】
エッジノイズを除去する従来技術の一例について説明する。図17は、従来技術の一例を説明するための図である。従来技術は、3次元点群データ20に含まれる各点について、他点との距離を求めることで、点群密度を算出する。従来技術は、点群密度が閾値よりも高い点を残し、点群密度が閾値よりも低い点を削除する。点群密度は、注目する点を中心とする半径rの球に含まれる点の個数である。
【0004】
例えば、点22を中心とする半径rの球に含まれる点が多いため、点22は、点群密度が高いと言える。従って、従来技術は、点22を残す。一方、点23を中心とする半径rの球に含まれる点が少ないため、点23は、点群密度が低いと言える。従って、従来技術は、点23を削除する。従来技術は、3次元点群データ20に含まれる各点について、上記処理を繰り返すことで、エッジノイズとなる各点21を削除し、エッジノイズのない3次元点群データ25を生成する。
【0005】
なお、立体物の3次元点群データを算出する場合には、背景差分処理を実行する。図18は、背景差分処理の一例を示す図である。図18に示すように、背景の3次元点群データ5aと、背景+立体物の3次元点群データ5bとの差分を取ることで、立体物のみの3次元点群データ5cを得る。3次元点群データ5cの立体物付近を拡大したものが、拡大データ5dとなる。拡大データ5dには、エッジノイズ5eが含まれている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−204615号公報
【特許文献2】特開2009−229182号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上述した従来技術では、3次元点群データからノイズを削除する場合の計算量が多いという問題がある。
【0008】
上記のように、従来技術では、点群密度を算出するために、注目する点と、その他の点との距離をそれぞれ算出した後に、注目する点を中心とした半径rの球に含まれる点数をカウントする。このため、点数が増加すると計算量が増加する。例えば、3次元点数データの点数をNとすると、計算量は「O(N)」となる。
【0009】
1つの側面では、本発明は、3次元点群データからノイズを削除する場合の計算量を抑止することができる距離情報処理装置、距離情報処理方法および距離情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
第1の案では、距離情報処理装置は、生成部と、特定部と、削除部とを有する。生成部は、立体物上の各点の3次元座標を示す3次元点群データを基にして、各点の2次元座標と各点の奥行きとを対応づけた画像データを生成する。特定部は、画像データの輪郭部分に含まれる輪郭画素に対応する3次元点群データの点を注目点として特定し、輪郭画素の周辺の画素に対応する3次元点群データの点を周辺点として特定する。削除部は、注目点との距離が所定距離未満となる周辺点の数に基づいて、注目点を削除する。
【発明の効果】
【0011】
3次元点群データからノイズを削除する場合の計算量を抑止することができる。
【図面の簡単な説明】
【0012】
図1図1は、本実施例に係る距離情報処理装置の構成を示す機能ブロック図である。
図2図2は、距離センサの一例を示す図である。
図3図3は、ラスタスキャンの一例を説明するための図である。
図4図4は、3次元点群データのデータ構造の一例を示す図である。
図5図5は、2.5D画像データのデータ構造の一例を示す図である。
図6図6は、パラメータのデータ構造の一例を示す図である。
図7図7は、パラメータを補足説明するための図(1)である。
図8図8は、パラメータを補足説明するための図(2)である。
図9図9は、注目点を特定する処理を説明するための図である。
図10図10は、周辺点を特定する処理を説明するための図である。
図11図11は、本実施例に係る距離情報処理装置の処理手順を示すフローチャート(1)である。
図12図12は、本実施例に係る距離情報処理装置の処理手順を示すフローチャート(2)である。
図13図13は、3次元点群データの使用用途の一例を説明するための図である。
図14図14は、距離情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図15図15は、エッジノイズを説明するための図(1)である。
図16図16は、エッジノイズを説明するための図(2)である。
図17図17は、従来技術の一例を説明するための図である。
図18図18は、背景差分処理の一例を示す図である。
【発明を実施するための形態】
【0013】
以下に、本発明にかかる距離情報処理装置、距離情報処理方法および距離情報処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【0014】
図1は、本実施例に係る距離情報処理装置の構成を示す機能ブロック図である。図1に示すように、この距離情報処理装置100は、距離センサ50に接続される。距離センサ50は、立体物上の各点の3次元座標を示す3次元点群データを、距離情報処理装置100に出力する。
【0015】
図2は、距離センサの一例を示す図である。距離センサ50は、発光ユニット11と、受光ユニット12とを有する。発光ユニット11は、立体物15に対してレーザーを発光する装置である。受光ユニット12は、立体物15から反射するレーザーを受光する装置である。
【0016】
発光ユニット11は、制御回路11aと、発光回路11bと、ミラー11cと、レンズ11dとを有する。制御回路11aは、ミラー11cの方向を制御することで、レーザーの発光先を制御する装置である。また、制御回路11aは、発光回路11bに対して、発光タイミングを指示し、距離計測回路12bに発光タイミングを通知する。発光回路11bは、制御回路11aから指示された発光タイミングで、レーザーを発光する装置である。発光回路11から発光されたレーザーは、ミラー11c、レンズ11dを介して、立体物15に到達する。
【0017】
受光ユニット12は、レンズ12aと、距離計測回路12bとを有する。立体物15から反射するレーザーは、レンズ12aを介して、距離計測回路12bに到達する。距離計測回路12bは、レーザーの発光タイミングから、レーザーの受光タイミングまでの時間から、レーザーが到達した立体物15上の点と、距離センサ50との距離を計測する装置である。また、距離計測回路12bは、距離センサ50の3次元位置、レーザーが到達した立体物15上の点と、距離センサ50との距離を基にして、立体物15上の点の3次元座標を算出する。
【0018】
距離センサ50は、レーザーの照射位置を変更して、上記処理を繰り返し実行することで、立体物15上の各点の3次元座標を示す3次元点群データを生成する。なお、本実施例に係る距離センサ50は、ラスタスキャン(Raster scan)を実行することで、3次元点群データを生成する。
【0019】
図3は、ラスタスキャンの一例を説明するための図である。ラスタスキャンは、立体物15が存在する空間上の左端から右端に向かってスキャン(レーザーの照射位置を移動)し、右端に到達すると、1つ下のラインに移行して、上記処理を繰り返し実行するものである。ラスタスキャンを実行することで、3次元点群データに含まれる各点の3次元座標が、ラスタスキャンによりスキャンされた順番に並ぶことになる。
【0020】
距離センサ50は、図18で説明した背景差分処理を実行することで、立体物の3次元点群データを生成するものとする。
【0021】
図1の説明に戻る。距離情報処理装置100は、記憶部110と、制御部120とを有する。記憶部110は、3次元点群データ110aと、2.5D画像データ110bと、パラメータ110cとを有する。記憶部110は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。
【0022】
3次元点群データ110aは、立体物上の各点の3次元座標を示すデータである。図4は、3次元点群データのデータ構造の一例を示す図である。図4に示すように、この3次元点群データ110aは、識別番号と、x座標と、y座標と、z座標とを対応づける。識別番号は、3次元空間上の立体物15の点を一意に識別するデータである。x座標と、y座標と、z座標は、識別番号に対応する点の3次元座標を示す。3次元点群データ110aは、例えば、上からラスタスキャンの順に並んでいる。
【0023】
2.5D画像データ110bは、立体物15の各点の3次元座標から算出される2次元座標と奥行きとを対応づけたデータである。図5は、2.5D画像データのデータ構造の一例を示す図である。この2.5D画像データ110bは、u軸およびv軸により示される画素に、奥行きが対応づけられる。また、例えば、2.5D画像データの各画素は、3次元点群データ110aの識別番号に対応づけられていても良い。
【0024】
パラメータ110cは、2.5D画像データ110bを生成するために利用するパラメータである。図6は、パラメータのデータ構造の一例を示す図である。図7および図8は、パラメータを補足説明するための図である。
【0025】
図6に示すように、パラメータ110cは、パラメータの種別と値とを対応づける。パラメータには、width、height、θx、θy、depth_resolution、rが含まれる。このうち、width、θxについて、図7を用いて説明する。図7は、距離センサ50を上方から見たものである。「width」は、距離センサ50がラスタスキャンを行うx軸方向の範囲を示すものであり、x軸方向の取得点数に対応する。「θx」は、線分1aと線分1bとのなす角度である。線分1aは、x軸方向のラスタスキャンを行う範囲の左端と距離センサ50とを通る線分である。線分1bは、x軸方向のラスタスキャンを行う範囲の右端と距離センサ50とを通る線分である。
【0026】
height、fy、θyについて、図8を用いて説明する。図8は、距離センサ50を側面から見たものである。「height」は、距離センサ50がラスタスキャンを行うy軸方向の範囲を示すものであり、y軸方向の取得点数に対応する。「θy」は、線分2aと線分2bとのなす角度である。線分2aは、y軸方向のラスタスキャンを行う範囲の上端と距離センサ50とを通る線分である。線分2bは、y軸方向のラスタスキャンを行う範囲の下端と距離センサ50とを通る線分である。なお、「depth_resolution」は、z軸の解像度を示す。「r」は、点群密度を算出する場合の範囲(半径)を示す。
【0027】
制御部120は、取得部120a、生成部120b、特定部120c、削除部120dを有する。制御部120は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって実現できる。また、制御部120は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。
【0028】
取得部120aは、距離センサ50から3次元点群データ110aを取得する処理部である。取得部120aは、取得した3次元点群データ110aを、記憶部110に登録する。
【0029】
生成部120bは、3次元点群データ110aおよびパラメータ110cを基にして、2.5D画像データ110bを生成する処理部である。以下において、生成部120bの処理の一例について説明する。
【0030】
生成部120bは、3次元点群データ110aから一つの点を選択し、式(1)〜式(3)に基づいて、選択した点に対応する2.5D画像データ110b上のu軸の値、v軸の値、奥行きを算出する。生成部120bは、算出結果に基づいて、選択した点に対応する2.5D画像データ110b上のu軸の値およびv軸の値に対応する位置に奥行きをマップする。生成部120bは、2.5D画像データ110bの画素にマップする際に、選択した点の識別番号を対応づける。生成部120bは、3次元点群データ110aに含まれる全ての点に対して、上記処理を繰り返し実行することで、2.5D画像データ110bを生成する。
【0031】
u=pc[idx].x*fx/pc[idx].z+cx+1・・・(1)
v=pc[idx].y*fy/pc[idx].z+cy+1・・・(2)
depth[u][v]=pc[idx].z/depth_resolution・・・(3)
【0032】
式(1)は、u軸の値を算出するものである。式(2)は、v軸の値を算出するものである。depth[u][v]は、u軸の値およびv軸の値に対応する奥行きを算出するものである。式(1)〜(3)において、pc[idx].x、pc[idx].y、pc[idx].zは、3次元点群データ110aから選択されたidx番目の点の3次元座標(x座標値、y座標値、z座標値)を示す。
【0033】
式(1)に含まれるfxは、x軸方向の焦点距離を示すものである。生成部120bは、式(4)によりfxを算出する。式(2)に含まれるfyは、y軸方向の焦点距離を示すものである。生成部120bは、式(5)によりfyを算出する。
【0034】
fx=width/(2*tan(θx/2))・・・(4)
fy=height/(2*tan(θy/2))・・・(5)
【0035】
式(1)に含まれるcxは、x軸方向の画像中心を示すものである。生成部120bは、式(6)によりcxを算出する。式(2)に含まれるcyは、y軸方向の画像中心を示すものである。生成部120bは、式(7)によりcyを算出する。
【0036】
cx=width/2・・・(6)
cy=height/2・・・(7)
【0037】
特定部120cは、2.5D画像データ110bを基にして、輪郭部分の画素に対応する3次元点群データ110aの点を「注目点」として特定する。また、特定部120cは、輪郭部分の画素の周辺の画素に対応する3次元点群データ110aの点を「周辺点」として特定する。
【0038】
図9は、注目点を特定する処理を説明するための図である。図9に示すように、2.5D画像データ110bに対して輪郭抽出を実行すると、2.5D画像データ110bから、輪郭部分130が抽出される。例えば、特定部120cは、2.5D画像データ110bを走査し、奥行き「depth」の値が0でない領域を特定する。特定部120cは、奥行き「depth」の値が0でない領域のうち、外側(輪郭)の画素と、外側の画素に隣接する画素を、輪郭部分130として特定する。なお、どこまでを輪郭部分130とするかは、適宜調整可能である。例えば、輪郭の上下左右±3画素を、輪郭部分130としても良い。
【0039】
特定部120cは、輪郭部分130に含まれる各画素に対応する各点を、3次元点群データから特定する。図9に示す3次元点群データ111は、3次元点群データ110aを画像で示すものである。輪郭部分130に含まれる各画素に対応する各点は、各点135となる。各点135が、それぞれ注目点となる。
【0040】
図10は、周辺点を特定する処理を説明するための図である。特定部120cは、輪郭部分に含まれる画素のうち、一つの画素を注目画素として選択する。図10に示す例では、特定部120は、注目画素Aを選択する。特定部120は、点群密度を算出するための半径rの値を、パラメータ110cから取得し、注目画素Aを基準とした、半径rの円に相当する矩形範囲140を設定する。
【0041】
特定部120cは、矩形範囲140を特定するために、1画素(要素)あたりのx軸の距離ixと、1画素あたりのy軸の距離iyとを求める。例えば、特定部120cは、距離ixを式(8)により算出し、距離iyを式(9)により算出する。
【0042】
ix=(pc[width*height-1].x-pc[0].x)/width・・・(8)
iy=(pc[width*height-1].y-pc[0].y)/height・・・(9)
【0043】
ここでは便宜的に、距離ix=0.010mとし、距離iy=0.020mとする。また、点群密度を判定するための半径を半径r=0.040mとすると、矩形範囲は、上下それぞれ2画素、左右それぞれ4画素となり、図10に示す矩形範囲140となる。なお、図10において、注目画素Aに対応する3次元点群データ上の点のx座標を「−0.030」、画素Bに対応する3次元点点群データの点のx座標を「−0.020」、画素Cに対応する3次元点点群データの点のx座標を「−0.010」、画素Dに対応する3次元点点群データの点のx座標を「0」、画像Eに対応する3次元点点群データの点のx座標を「0.010」とする。注目画素Aに対応する3次元点点群データの点のy座標を「0.020」、画素Fに対応する3次元点点群データの点のy座標を「0.040」、画素Gに対応する3次元点点群データの点のy座標を「0.060」とする。
【0044】
特定部120cは、2.5D画像データ110bの矩形領域140に含まれる各画素のうち、注目画素A以外の画素を、周辺画素として特定する。なお、特定部120cは、矩形領域140に含まれる画素であっても、奥行き(depth)の値が0となる画素を、周辺画素から除外する。特定部120cは、注目画素に対応する3次元点群データ110aの注目点の情報(識別番号)と、各周辺画素に対応する3次元点群データ110aの周辺点の情報(識別番号)とを対応づけた情報を、削除部120dに出力する。
【0045】
特定部120cは、輪郭部分130に含まれる各画素について、上記処理を繰り返し実行することで、注目点の情報と、かかる注目点に対応する周辺点の情報を、削除部120dに出力する。
【0046】
削除部120dは、注目点の点群密度に基づいて、注目点を削除する処理部である。以下において、削除部120dの処理の一例について説明する。削除部120dは、注目点の情報と、この注目点に対応する複数の周辺点の情報を取得し、注目点と各周辺点との距離を算出する。削除部120dは、注目点と各周辺点の3次元座標を、3次元点群データ110aから取得する。
【0047】
削除部120dは、注目点との距離が半径r未満となる周辺点の数を、点群密度としてカウントする。削除部120dは、点群密度が閾値以上である場合には、注目点の削除を行わない。一方、削除部120dは、点群密度が閾値未満である場合には、注目点を削除する。例えば、削除部120dは、削除対象となる注目点のレコードを、3次元点群データ110aから削除する。
【0048】
削除部120dは、他の注目点についても、上記処理を繰り返し実行することで、点群密度を算出し、点群密度と閾値との比較により、注目点の削除を行う。
【0049】
次に、本実施例に係る距離情報処理装置100の処理手順の一例について説明する。図11および図12は、本実施例に係る距離情報処理装置の処理手順を示すフローチャートである。図11に示すように、距離情報処理装置100に接続される距離センサ50は、ラスタスキャンを実行することで、3次元点群データ110aを計測する(ステップS101)。
【0050】
距離情報処理装置100の生成部120bは、3次元点群データ110aを基にして、2.5D画像データ110bを生成する(ステップS102)。距離情報処理装置100の特定部120cは、2.5D画像データ110bに対して輪郭抽出を実行する(ステップS103)。特定部120cは、輪郭部分の画素と対応する3次元点群データの点を注目点に設定する(ステップS104)。
【0051】
特定部120cは、x軸、y軸それぞれの画角θx、θyから焦点距離fx、fyを算出する(ステップS105)。特定部120cは、1画素あたりのx軸y軸の距離ix、iyを算出し(ステップS106)、図12のステップS107Aに移行する。
【0052】
距離情報処理装置100の特定部120cおよび削除部120dは、全注目点に対してステップS107A〜S107Bの処理を繰り返し実行する。特定部120cは、周辺点を抽出する(ステップS108)。
【0053】
削除部120dは、全周辺点に対してステップS109A〜S109Bの処理を繰り返し実行する。削除部120dは、注目点と周辺点との距離を計算する(ステップS110)。削除部120dは、距離がr=rx=ryの球内でない場合には(ステップS111,No)、ステップS109Bに移行する。一方、削除部120dは、距離がr=rx=ryの球内である場合には(ステップS111,Yes)、注目点を中心とする球に含まれる周辺点の個数をカウントし(ステップS112)、ステップS109Bに移行する。
【0054】
削除部120dは、注目点の点群密度を計算する(ステップS113)。削除部120dは、点群密度が閾値以上である場合には(ステップS114,Yes)、注目点を残し(ステップS115)、ステップS107Bに移行する。一方、削除部120dは、点群密度が閾値未満である場合には(ステップS114,No)、注目点を削除し(ステップS116)、ステップS107Bに移行する。
【0055】
次に、本実施例に係る距離情報処理装置100の効果について説明する。距離情報処理装置100は、3次元点群データ110aの点群密度を算出する場合に、算出対象を注目点および周辺点に絞って、計算を行うため、計算対象を削減することができる。
【0056】
例えば、図9に示した2.5D画像データ110bの各画素に対応する点の数を114点とした場合、注目画素を輪部部分130に絞り込むため、注目点の数を、114点(N)から85点に削減することができる。また、周辺点は、注目点1点につき113点(N−1)から、矩形領域に含まれる45点に削減することができる。
【0057】
また、距離情報処理装置100の距離センサ50は、3次元点群データ110aを生成する場合に、ラスタスキャンを実行するため、3次元点群データ110aのレコードが、ラスタスキャンを実行した順番に並ぶことになる。このため、各3次元点群データ110aに含まれるある点周辺に存在する他の点を容易に特定することが可能となる。
【0058】
次に、本実施例に係る距離情報処理装置100によりエッジノイズが取り除かれた3次元点群データ110aの使用用途の一例について説明する。図13は、3次元点群データの使用用途の一例を説明するための図である。3次元点群データ110aは、スポーツ競技の判定などを行う場合に利用される。
【0059】
例えば、図13に示すように、距離情報処理装置100から出力されたエッジノイズを取り除かれた3次元点群データ110aは、2.5D変換されて、2.5D画像データ130aが生成される。2.5D画像データ130aは、機械学習の結果得られる辞書80と比較されて、複数の部分領域に認識されることで、認識データ130bが生成される。辞書80は、3D人物モデリング、CGモデリング及びレンダリング、機械学習の結果得られる情報である。
【0060】
認識データ130bは、骨格フィッティングにより、立体物(選手)15の骨格130cが特定される。上記の処理を繰り返し実行することで、骨格130cの動きを特定でき、例えば、技などを識別することが可能となる。
【0061】
次に、上記実施例に示した距離情報処理装置100と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図14は、距離情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
【0062】
図14に示すように、コンピュータ200は、各種演算処理を実行するCPU201と、ユーザからのデータの入力を受け付ける入力装置202と、ディスプレイ203とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読み取る読み取り装置204と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置205とを有する。コンピュータ200は、距離センサ206を有する。また、コンピュータ200は、各種情報を一時記憶するRAM207と、ハードディスク装置308とを有する。そして、各装置201〜208は、バス209に接続される。
【0063】
ハードディスク装置208は、生成プログラム208a、特定プログラム208b、削除プログラム208cを有する。CPU201は、生成プログラム208a、特定プログラム208b、削除プログラム208cを読み出してRAM207に展開する。
【0064】
生成プログラム208aは、生成プロセス207aとして機能する。特定プログラム208bは、特定プロセス207bとして機能する。削除プログラム208cは、削除プロセス207cとして機能する。
【0065】
生成プロセス207aの処理は、生成部120bの処理に対応する。特定プロセス207bの処理は、特定部120cの処理に対応する。削除プロセス207cの処理は、削除部120dの処理に対応する。
【0066】
なお、各プログラム208a〜208cについては、必ずしも最初からハードディスク装置208に記憶させておかなくても良い。例えば、コンピュータ200に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ200が各プログラム208a〜208cを読み出して実行するようにしても良い。
【符号の説明】
【0067】
50 距離センサ
100 距離情報処理装置
110 記憶部
110a 3次元点群データ
110b 2.5D画像データ
110c パラメータ
120 制御部
120a 取得部
120b 生成部
120c 特定部
120d 削除部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18

【手続補正書】
【提出日】2019年9月4日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
立体物上の各点の3次元座標を示す3次元点群データを基にして、各点の2次元座標と各点の奥行きとを対応づけた画像データを生成する生成部と、
前記画像データの輪郭部分に含まれる輪郭画素に対応する前記3次元点群データの点を注目点として特定し、前記輪郭画素の周辺の画素に対応する前記3次元点群データの点を周辺点として特定する特定部と、
前記注目点との距離が所定距離未満となる前記周辺点の数に基づいて、前記注目点を削除する削除部と
を有することを特徴とする距離情報処理装置。
【請求項2】
距離センサから前記3次元点群データを取得する取得部を更に有し、前記距離センサは、前記立体物に対してラスタスキャンを実行し、前記立体物の各点の3次元座標を所定の順番で取得することで、前記3次元点群データを生成することを特徴とする請求項1に記載の距離情報処理装置。
【請求項3】
前記特定部は、前記距離センサの焦点距離を基にして、前記画像データの1画素あたりの距離を算出し、前記1画素あたりの距離と前記所定距離との関係から、前記周辺点に対応する前記輪郭画素上の画素の範囲を特定することを特徴とする請求項2に記載の距離情報処理装置。
【請求項4】
前記削除部は、前記注目点との距離が所定距離未満となる前記周辺点の数が所定数未満の場合に、前記注目点を削除することを特徴とする請求項1に記載の距離情報処理装置。
【請求項5】
コンピュータが実行する距離情報処理方法であって、
立体物上の各点の3次元座標を示す3次元点群データを基にして、各点の2次元座標と各点の奥行きとを対応づけた画像データを生成し、
前記画像データの輪郭部分に含まれる輪郭画素に対応する前記3次元点群データの点を注目点として特定し、
前記輪郭画素の周辺の画素に対応する前記3次元点群データの点を周辺点として特定し、
前記注目点との距離が所定距離未満となる前記周辺点の数に基づいて、前記注目点を削除する
処理を実行することを特徴とする距離情報処理方法。
【請求項6】
コンピュータに、
立体物上の各点の3次元座標を示す3次元点群データを基にして、各点の2次元座標と各点の奥行きとを対応づけた画像データを生成し、
前記画像データの輪郭部分に含まれる輪郭画素に対応する前記3次元点群データの点を注目点として特定し、
前記輪郭画素の周辺の画素に対応する前記3次元点群データの点を周辺点として特定し、
前記注目点との距離が所定距離未満となる前記周辺点の数に基づいて、前記注目点を削除する
処理を実行させることを特徴とする距離情報処理プログラム。
【国際調査報告】