特開 2022-117201 物体認識装置、物体認識方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022117201

(43)【公開日】2022-08-10

(54)【発明の名称】物体認識装置、物体認識方法、及びプログラム

(51)【国際特許分類】

   G01S 17/894 20200101AFI20220803BHJP

   G01C 3/06 20060101ALI20220803BHJP

【ＦＩ】

G01S17/894

G01C3/06 120Q

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021013776

(22)【出願日】2021-01-29

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】徳山 達也

【テーマコード（参考）】

2F112

5J084

【Ｆターム（参考）】

2F112AD01

2F112BA01

2F112CA05

2F112DA26

2F112DA28

2F112EA07

5J084AA01

5J084AA05

5J084AA10

5J084AA13

5J084AA14

5J084AB07

5J084AC02

5J084AD02

5J084BA02

5J084BA36

5J084BB02

5J084BB35

5J084CA03

5J084CA10

5J084CA20

5J084CA22

5J084CA65

5J084DA09

5J084EA11

(57)【要約】

【課題】物体の認識精度を向上させる。
【解決手段】物体認識装置は、照射された光が物体に反射されて戻ってくるまでの時間に基づいて距離を測定する距離測定部と、物体に反射された反射光の光量を測定する光量測定部と、距離に応じて光量を補正する補正部と、距離と補正部により補正された光量とに基づいて物体に関する物体情報を生成する認識処理部と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

照射された光が物体に反射されて戻ってくるまでの時間に基づいて距離を測定する距離測定部と、
前記物体に反射された反射光の光量を測定する光量測定部と、
前記距離に応じて前記光量を補正する補正部と、
前記距離と前記補正部により補正された前記光量とに基づいて前記物体に関する物体情報を生成する認識処理部と、
を備える物体認識装置。

【請求項2】

前記補正部は、予め定められた基準距離より遠い距離に対応する前記光量を、前記基準距離に対応する基準光量との差が閾値以下となるように増加させる、
請求項１に記載の物体認識装置。

【請求項3】

前記補正部は、前記基準距離より近い距離に対応する前記光量を、前記基準光量との差が閾値以下となるように減少させる、
請求項２に記載の物体認識装置。

【請求項4】

前記基準距離は、前記物体認識装置の設置位置から車両のフロント席に対応する距離である、
請求項２又は３に記載の物体認識装置。

【請求項5】

前記補正部は、前記物体認識装置の設置位置から前記車両のリア席に対応する距離に対応する前記光量を、前記フロント席に対応する前記基準光量との差が閾値以下となるように補正する、
請求項４に記載の物体認識装置。

【請求項6】

前記認識処理部は、前記距離と前記補正部により補正された前記光量とを画素値とする画像に対し、前記距離の差が閾値以下であり且つ前記光量が閾値以上である複数の画素をグルーピングするグルーピング処理を行い、前記グルーピングの結果に基づいて前記物体情報を生成する、
請求項１～５のいずれか１項に記載の物体認識装置。

【請求項7】

照射された光が物体に反射されて戻ってくるまでの時間に基づいて距離を測定する工程と、
前記物体に反射された反射光の光量を測定する工程と、
前記距離に応じて前記光量を補正する工程と、
前記距離と補正された前記光量とに基づいて前記物体に関する物体情報を生成する工程と、
を含む物体認識方法。

【請求項8】

情報処理装置に、
照射された光が物体に反射されて戻ってくるまでの時間に基づいて距離を測定する処理と、
前記物体に反射された反射光の光量を測定する処理と、
前記距離に応じて前記光量を補正する処理と、
前記距離と補正された前記光量とに基づいて前記物体に関する物体情報を生成する処理と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、物体認識装置、物体認識方法、及びプログラムに関する。

【背景技術】

【0002】

測距法として、照射された光が物体に反射されて戻ってくるまでのＴＯＦ（Time of Flight：飛行時間）に基づいて物体までの距離を測定する方法が知られている。このような測距法を利用する装置として、車内に設置されたセンサから物体（乗員等）までの距離と、物体からの反射光の光量とに基づいて、車内を監視するための情報を生成する装置がある（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１０６４４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような測距法においては、物体までの距離が増加するほど反射光が減衰（光量が減少）するため、遠方に存在する物体の認識精度が低下する場合がある。

【0005】

そこで、本発明の実施形態は、物体の認識精度を向上させることを目的とする。

【課題を解決するための手段】

【0006】

本発明の一実施形態としての物体認識装置は、照射された光が物体に反射されて戻ってくるまでの時間に基づいて距離を測定する距離測定部と、物体に反射された反射光の光量を測定する光量測定部と、距離に応じて光量を補正する補正部と、距離と補正部により補正された光量とに基づいて物体に関する物体情報を生成する認識処理部と、を備える。

【0007】

これにより、距離の増加に伴う反射光の減衰の影響を抑制し、物体の認識精度を向上させることができる。

【0008】

また、補正部は、予め定められた基準距離より遠い距離に対応する光量を、基準距離に対応する基準光量との差が閾値以下となるように増加させてもよい。

【0009】

これにより、基準距離より遠い距離に存在する物体からの反射光の光量を、物体が基準距離に存在する場合における光量と同等となるように調整できる。

【0010】

また、補正部は、基準距離より近い距離に対応する光量を、基準光量との差が閾値以下となるように減少させてもよい。

【0011】

これにより、基準距離より近い距離に存在する物体からの反射光の光量を、物体が基準距離に存在する場合における光量と同等となるように調整できる。

【0012】

また、基準距離は、物体認識装置の設置位置から車両のフロント席に対応する距離であってもよい。

【0013】

これにより、車両の室内に存在する物体（乗員等）に対する認識精度を向上させることができる。

【0014】

また、補正部は、物体認識装置の設置位置から車両のリア席に対応する距離に対応する光量を、フロント席に対応する基準光量との差が閾値以下となるように補正してもよい。

【0015】

これにより、リア席に存在する物体からの反射光の光量をフロント席に存在する物体からの反射光の光量と同等となるように調整でき、リア席に存在する物体に対する認識精度を向上させることができる。

【0016】

また、認識処理部は、距離と補正部により補正された光量とを画素値とする画像に対し、距離の差が閾値以下であり且つ光量が閾値以上である複数の画素をグルーピングするグルーピング処理を行い、グルーピングの結果に基づいて物体情報を生成してもよい。

【0017】

これにより、物体までの距離と、距離に応じて補正された光量とに基づいて、物体の存否、距離、形状、動き等を高精度で認識できる。

【0018】

また、本発明の他の実施形態としての物体認識方法は、照射された光が物体に反射されて戻ってくるまでの時間に基づいて距離を測定する工程と、物体に反射された反射光の光量を測定する工程と、距離に応じて光量を補正する工程と、距離と補正された光量とに基づいて物体に関する物体情報を生成する工程と、を含む。

【0019】

また、本発明の他の実施形態としてのプログラムは、情報処理装置に、照射された光が物体に反射されて戻ってくるまでの時間に基づいて距離を測定する処理と、物体に反射された反射光の光量を測定する処理と、距離に応じて光量を補正する処理と、距離と補正された光量とに基づいて物体に関する物体情報を生成する処理と、を実行させる。

【図面の簡単な説明】

【0020】

【図1】図１は、実施形態にかかる物体認識装置のハードウェア構成の一例を示す図である。

【図2】図２は、ＴＯＦ法における位相データの取得方法の一例を説明するためのタイミングチャートである。

【図3】図３は、ＴＯＦ法における距離演算方法の一例を説明するためのグラフである。

【図4】図４は、実施形態にかかる物体認識装置の機能構成の一例を示すブロック図である。

【図5】図５は、実施形態にかかる補正部による光量の補正処理の一例を示すグラフである。

【図6】図６は、実施形態にかかる認識処理用画像の一例を示す図である。

【図7】図７は、実施形態にかかる物体認識装置における処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、並びに当該構成によってもたらされる作用、結果、及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や派生的な効果のうち、少なくとも一つを得ることが可能である。

【0022】

図１は、実施形態にかかる物体認識装置１のハードウェア構成の一例を示す図である。物体認識装置１は、物体認識装置１の周辺に存在する物体に関する物体情報を生成する。物体情報には、例えば、物体の存否、物体までの距離、物体の形状、物体の動き等を示す情報が含まれ得る。物体認識装置１は、物体情報を利用可能なあらゆるシステムや装置に搭載され得る。例えば、物体認識装置１は、車両の乗員を監視するモニタリングシステム、車両周辺に存在する物体を認識して自動走行、危険回避行動等を行う運転支援システム等に搭載され得る。

【0023】

ここで例示する物体認識装置１は、照射装置１１、拡散光学系１２、受光装置１３、集光光学系１４、及び制御装置１５を含む。

【0024】

照射装置１１は、所定のパルス幅を有するパルス光である照射光２１を照射する。照射装置１１の具体的構成は特に限定されるべきものではないが、例えばＬＥＤ（Light Emitting Diode）、ＰＷＭ（Pulse Width Modulation）回路等を利用して構成され得る。照射装置１１は、制御装置１５からの発光制御信号等に応じて動作する。照射光２１は、拡散光学系１２により拡散され、認識対象となる物体（例えば車内の乗員、車両周辺の物体等）に向けて照射される。

【0025】

受光装置１３は、外部からの光を光電変換する装置であり、照射光２１が物体に反射された反射光２２の位相データ（アナログデータ）を生成する。受光装置１３の具体的構成は特に限定されるべきものではないが、例えばフォトダイオード、スイッチング素子、キャパシタ等を利用して構成され得る。反射光２２は、集光光学系１４により集光された状態で受光装置１３に受光される。受光装置１３は、制御装置１５からのシャッター制御信号等に応じて動作する。

【0026】

制御装置１５は、物体認識装置１を統合的に制御する情報処理装置であり、制御回路１６及び演算回路１７を含む。

【0027】

制御回路１６は、照射装置１１及び受光装置１３の制御、受光装置１３により生成された位相データの取得・加工等を行う回路である。制御回路１６は、受光装置１３から取得した位相データをデジタル変換したＲＡＷデータを生成する。制御回路１６の具体的構成は特に限定されるべきものではないが、Ｉ／Ｏポート、ＡＤコンバータ、ＡＳＩＣ（Application Specific Integrated Circuit）、メモリ、各種論理回路、光量測定器等を利用して構成され得る。

【0028】

演算回路１７は、制御回路１６により生成されたＲＡＷデータ等に基づいて物体情報を生成するための各種演算処理を行う。演算回路１７は、照射装置１１から照射された照射光２１が物体に反射されて反射光２２として戻ってくる（受光装置１３に受光される）までのＴＯＦに基づいて、照射装置１１又は受光装置１３の設置位置から物体までの距離を算出する。演算回路１７の具体的構成は特に限定されるべきものではないが、例えばプログラムに従って演算処理を行うＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、メモリ、各種論理回路等を利用して構成され得る。

【0029】

図２及び図３は、ＴＯＦ法による距離演算方法の一例を示している。図２は、ＴＯＦ法における位相データの取得方法の一例を説明するためのタイミングチャートである。図３は、ＴＯＦ法における距離演算方法の一例を説明するためのグラフである。

【0030】

図２において、照射光２１と反射光２２との間に位相差φ（ＴＯＦに対応する値）が生じている状態が示されている。また、照射光２１の周期に同期して開閉する４種類のゲートＱｕａｄ１～４の動作が示されている。各ゲートＱｕａｄ１～４の作用により反射光２２の光量に対応する４種類の蓄積電荷ｑ１～ｑ４が取得される。そして、図３に示すように、取得された蓄積電荷ｑ１～ｑ４を実軸と虚軸とからなる座標にプロットすることにより、物体までの距離と方向とを含むベクトル情報を取得できる。

【0031】

図４は、実施形態にかかる物体認識装置１の機能構成の一例を示すブロック図である。物体認識装置１は、距離測定部１０１、光量測定部１０２、補正部１０３、及び認識処理部１０４を含む。これらの機能的構成要素１０１～１０４は、図１に示すようなハードウェア構成とソフトウェア構成（制御装置１５を制御するプログラム等）との協働により構成される。

【0032】

距離測定部１０１は、照射された光が物体に反射されて戻ってくるまでの時間（ＴＯＦ）に基づいて距離を測定する。本実施形態においては、照射光２１が照射装置１１から照射されてから、当該照射光２１に対応する反射光２２が受光装置１３に受光されるまでの時間に基づく距離が測定される。

【0033】

光量測定部１０２は、物体に反射された反射光２２の光量を測定する。光量とは、例えば、光束（ルーメン）、照度（ルクス）、光度（カンデラ）等で表される物理量であり得る。光量の測定方法は特に限定されるべきものではなく、例えば、公知の光量測定器等を用いて行われ得る。

【0034】

補正部１０３は、距離測定部１０１により測定された距離に基づいて光量測定部１０２により測定された光量を補正する。補正部１０３は、反射光２２の光量を、距離の増加に伴い増加させるように補正する。また、補正部１０３は、反射光２２の光量を、距離の減少に伴い減少させるように補正してもよい。

【0035】

認識処理部１０４は、距離測定部１０１により測定された距離と、補正部１０３により補正された光量である補正光量とに基づいて、物体に関する物体情報を生成する。本実施形態に係る認識処理部１０４は、画像生成部１１１及びグルーピング部１１２を含む。

【0036】

画像生成部１１１は、距離測定部１０１により測定された距離と、補正光量（補正する必要がない場合には光量測定部１０２により測定された光量）とを画素値とする認識処理用画像を生成する。認識処理用画像における各画素の位置は、監視領域内の位置に対応する。

【0037】

グルーピング部１１２は、認識処理用画像に対し、距離の差が閾値以下であり且つ光量（補正光量）が閾値以上である複数の画素をグルーピング（クラスタリング）するグルーピング処理を行う。グルーピング処理の結果に基づいて、物体毎の存在領域を特定でき、物体の存否、物体までの距離、物体の形状、物体の動き等を示す物体情報を生成できる。

【0038】

図５は、実施形態にかかる補正部１０３による光量の補正処理の一例を示すグラフである。当該グラフの横軸は、物体認識装置１（照射装置１１及び受光装置１３）の設置位置からの距離を示し、縦軸は、反射光２２の光量を示している。ここでは、物体認識装置１（照射装置１１及び受光装置１３）を車両の室内の前方部（例えばフロントガラスの上部）に設置し、照射光２１を室内の前方部から後方部に向けて照射する場合を例示する。

【0039】

図５において、補正前の光量は、設置位置からの距離の増加に伴い、指数関数的に減少することが示されている。補正部１０３は、このような距離の増加に伴う光量の減少による影響が小さくなるように光量を補正する。

【0040】

本実施形態にかかる補正部１０３は、光量測定部１０２により測定された反射光２２の光量を、基準距離Ｄ１に対応する基準光量Ｑ１との差が閾値以下となるように補正する。図５に示すように、補正後の光量は、全距離にわたって基準光量Ｑ１の値に近くなるように略一定に保たれている。本実施形態にかかる基準距離Ｄ１は、物体認識装置１（照射装置１１及び／又は受光装置１３）の設置位置から車両のフロント席までの距離であり、基準光量Ｑ１は、フロント席に存在する物体（乗員等）からの反射光２２の光量に相当する光量である。これにより、物体認識装置１（照射装置１１及び／又は受光装置１３）の設置位置からリア席までの距離Ｄ２に対応する光量がフロント席に対応する基準光量Ｑ１と同等となるように補正される。

【0041】

図６は、実施形態にかかる認識処理用画像２０１Ａ，２０１Ｂの一例を示す図である。図６において、補正前の認識処理用画像２０１Ａと補正後の認識処理用画像２０１Ｂとが例示されている。補正前の認識処理用画像２０１Ａにおいては、リア席の乗員からの反射光２２の光量が不足しているため、リア席の乗員の認識が困難になっている。これに対し、補正後の認識処理用画像２０１Ｂにおいては、上述したような補正処理により、リア席の乗員からの反射光２２の光量が増加されるように補正されるため、リア席の乗員を明確に認識できる。

【0042】

図７は、実施形態にかかる物体認識装置１における処理の一例を示すフローチャートである。距離測定部１０１が物体までの距離を測定し、光量測定部１０２が当該物体からの反射光２２の光量を測定すると（Ｓ１０１）、補正部１０３は、測定された距離Ｄと基準距離Ｄ１との関係を判定する（Ｓ１０２）。

【0043】

測定された距離Ｄが基準距離Ｄ１より大きい場合（Ｓ１０２：Ｄ＞Ｄ１）、補正部１０３は、距離Ｄに対応する光量を増加させるように補正する（Ｓ１０３）。このとき、補正部１０３は、補正後の光量と基準光量Ｑ１との差が閾値以下となるように補正する。一方、測定された距離Ｄが基準距離Ｄ１より小さい場合（Ｓ１０２：Ｄ＜Ｄ１）、補正部１０３は、距離Ｄに対応する光量を減少させるように補正する（Ｓ１０４）。このとき、補正部１０３は、補正後の光量と基準光量Ｑ１との差が閾値以下となるように補正する。なお、測定された距離Ｄと基準距離Ｄ１との差が閾値以下である場合には、当該距離Ｄに対応する光量を補正しなくてもよい。

【0044】

その後、画像生成部１１１は、測定された距離Ｄと補正光量（補正されなかった場合は光量測定部１０２により測定された元の光量）とを画素値とする認識処理用画像２０１Ｂを生成する（Ｓ１０５）。当該距離Ｄは、方向に関する情報を含むベクトル情報であるため、認識処理用画像２０１Ｂの各画素値は、認識領域（例えば車室内）における位置を特定可能なものとなる。

【0045】

その後、グルーピング部１１２は、認識処理用画像２０１Ｂに対してグルーピング処理を実行し（Ｓ１０６）、認識処理部１０４は、グルーピング処理の結果に基づいて物体情報を生成する（Ｓ１０７）。グルーピング処理は、距離の差が閾値以下であり且つ光量が閾値以上である複数の画素をグルーピングするように行われる。グルーピング処理の結果に基づいて、物体（乗員等）毎の存在領域を特定でき、物体の存否、物体までの距離、物体の形状、物体の動き等を示す物体情報を生成できる。物体情報は、例えば、車両の乗員を監視するモニタリングシステム、車両周辺に存在する物体を認識して自動走行、危険回避行動等を行う運転支援システム等に利用され得る。

【0046】

以上のように、本実施形態に係る物体認識装置１によれば、物体までの距離の増加に伴う反射光２２の減衰（光量の低下）の影響を抑制し、遠方に存在する物体に対する認識精度を向上させることができる。

【0047】

上記実施形態の機能を実現するためのプログラムは、制御装置１５にインストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。また、当該プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、当該プログラムを、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

【0048】

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

【符号の説明】

【0049】

１…物体認識装置、１１…照射装置、１２…拡散光学系、１３…受光装置、１４…集光光学系、１５…制御装置、１６…制御回路、１７…演算回路、２１…照射光、２２…反射光、１０１…距離測定部、１０２…光量測定部、１０３…補正部、１０４…認識処理部、１１１…画像生成部、１１２…グルーピング部、２０１Ａ，２０１Ｂ…認識処理用画像、Ｄ１…基準距離、Ｑ１…基準光量

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】