特開 2023-18551 制御装置、及び制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023018551

(43)【公開日】2023-02-08

(54)【発明の名称】制御装置、及び制御方法

(51)【国際特許分類】

   G05D 1/02 20200101AFI20230201BHJP

【ＦＩ】

G05D1/02 K

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021122760

(22)【出願日】2021-07-27

(71)【出願人】

【識別番号】000010098

【氏名又は名称】アルプスアルパイン株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】松崎 千絵

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301AA01

5H301BB14

5H301CC03

5H301CC06

5H301GG08

5H301GG09

5H301LL01

5H301LL07

5H301LL08

(57)【要約】

【課題】移動体を制御する制御装置において、レーダーとカメラとを用いて、ガラス等の透過部材を備えるドア、又はウィンドウ等を検出できるようにする。
【解決手段】制御装置は、移動体を制御する制御装置であって、前記移動体が備えるカメラで撮像した画像から矩形を検出する矩形検出部と、光、又はレーダーを用いて、前記矩形の下辺の路面、又は床面からの高さを検出する高さ検出部と、前記高さに基づいて、前記矩形内に、光、又はレーダーを透過する透過部材があるか否かを判定する判定部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体を制御する制御装置であって、
前記移動体が備えるカメラで撮像した画像から矩形を検出する矩形検出部と、
光、又はレーダーを用いて、前記矩形の下辺の路面、又は床面からの高さを検出する高さ検出部と、
前記高さに基づいて、前記矩形内に、光、又はレーダーを透過する透過部材があるか否かを判定する判定部と、
を有する、制御装置。

【請求項2】

前記矩形検出部は、前記移動体の移動方向にある矩形のうち、所定の大きさの前記矩形を検出する、請求項１に記載の制御装置。

【請求項3】

前記判定部は、前記高さが所定値以上である場合、前記矩形内に前記透過部材があると判定する、請求項１又は２に記載の制御装置。

【請求項4】

前記移動体の移動を制御する移動制御部を有し、
前記移動制御部は、前記判定部の判定結果に基づいて、前記移動体の移動方向にある前記透過部材を有するドアの開閉を判断する、請求項１乃至３のいずれか一項に記載の制御装置。

【請求項5】

前記移動制御部は、前記ドアが閉じている場合、前記移動方向への前記移動体の移動を制限する、請求項４に記載の制御装置。

【請求項6】

前記移動制御部は、前記ドアが開いている場合、前記移動方向への前記移動体の移動を許可する、請求項４又は５に記載の制御装置。

【請求項7】

前記透過部材はガラスを含む、請求項１乃至６のいずれか一項に記載の制御装置。

【請求項8】

移動体を制御する制御装置が、
前記移動体が備えるカメラで撮像した画像から矩形を検出する処理と、
光、又はレーダーを用いて、前記矩形の下辺の路面、又は床面からの高さを検出する処理と、
前記高さに基づいて、前記矩形内に、光、又はレーダーを透過する透過部材があるか否かを判定する処理と、
を実行する、制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置、及び制御方法に関する。

【背景技術】

【0002】

例えば、シニアカー、電動車椅子等の小型モビリティ、又は自律走行可能なロボット等の歩道、及び屋内等を移動する移動体の開発が進められている。

【0003】

また、撮影された車両の画像に基づいて、車両の向きが正面向きである場合に、車両のボディ領域に接する四角形領域のうち、最も上に位置する四角形領域をフロントガラスとして検出する技術が知られている（例えば、特許文献１参照）。

【0004】

さらに、車両を左右から撮影した撮影画像から当該車両の位置を検出する車両検出装置において、左右のカメラ映像よりフロントガラス領域を抽出し、抽出したフロントガラス領域を特徴点として位置合わせを行う技術が知られている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００４－７０８３４号公報

【特許文献2】特開２０１３－０３７３９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

例えば、自律的に走行可能なシニアカー、又はロボット等の移動体では、例えば、ＬＩＤＡＲ（Light Detection and Ranging）、ステレオカメラ、又はデプスカメラ等を用いて、移動体の周辺にある物体の検出、及び物体までの距離の計測を行う場合が多い。一方、より低コストなミリ波レーダーと、一般的なカメラを用いて移動体の周辺にある物体の検出、及び物体までの距離の計測等を行いたいという要求がある。

【0007】

しかし、従来の技術では、レーダーとカメラとを用いて、例えば、ガラス製のドア、又はショーウィンドウ等の構造物を検出することができないという問題がある。自律的に移動可能なシニアカー、又はロボット等の移動体は、歩道、及び屋内を移動するため、例えば、ガラス製のドア、又はショーウィンドウ等の構造物を正しく検出できないと、ガラス製の構造物に衝突してしまう恐れがある。

【0008】

なお、このような問題は、ガラスに限られず、例えば、アクリル等の光やレーダーを透過する様々な透過部材を有するドア、又はウィンドウ等についても同様に存在する。

【0009】

本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、移動体を制御する制御装置において、レーダーとカメラとを用いて、ガラス等の透過部材を備えるドア、又はウィンドウ等の構造物を検出できるようにする。

【課題を解決するための手段】

【0010】

上記の課題を解決するために、本発明の一実施形態に係る制御装置は、移動体を制御する制御装置であって、前記移動体が備えるカメラで撮像した画像から矩形を検出する矩形検出部と、光、又はレーダーを用いて、前記矩形の下辺の路面、又は床面からの高さを検出する高さ検出部と、前記高さに基づいて、前記矩形内に、光、又はレーダーを透過する透過部材があるか否かを判定する判定部と、を有する。

【発明の効果】

【0011】

本発明の一実施形態によれば移動体を制御する制御装置において、レーダーとカメラとを用いて、ガラス等の透過部材を備えるドア、又はウィンドウ等の構造物を検出できるようになる。

【図面の簡単な説明】

【0012】

【図1】一実施形態に係る移動体制御システムの構成例を示す図である。

【図2】一実施形態に係る処理の概要について説明するための図（１）である。

【図3】一実施形態に係る処理の概要について説明するための図（２）である。

【図4】一実施形態に係る制御装置のハードウェア構成の例を示す図である。

【図5】一実施形態に係るガラス判定処理の例を示すフローチャートである。

【図6】一実施形態に係るカラスドアの通過処理の例を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下に、本発明の実施の形態について、添付の図面を参照して説明する。

【0014】

＜移動体制御システムの構成例＞
図１は、一実施形態に係る移動体制御システムの構成例を示す図である。移動体制御システム１は、例えば、シニアカー、又はロボット等の自律的に移動可能な移動体の移動を制御するシステムである。図１の例では、移動体制御システム１は、移動体１０に搭載されるカメラ１１、レーダー１２、制御装置１００、及び移動装置１３等を含む。

【0015】

カメラ１１は、移動体１０に設けられ、移動体１０の周辺（主に移動方向）の画像を撮像する撮像装置である。本実施形態では、カメラ１１として、対象物までの距離を測定可能なステレオカメラ、デプスカメラ等より低コストな、一般的な単眼カメラを利用することができる。

【0016】

レーダー１２は、例えば、電波を用いて対象物までの距離、速度等を測定するミリ波レーダー等のセンサーである。なお、レーダー１２は、レーザ光を用いて対象物までの距離、速度等を測定するＬｉＤＡＲ（Light Detection and Ranging）であっても良い。ここでは、移動体１０が、ＬｉＤＡＲより低コストなミリ波レーダーであるレーダー１２を備えているものとして以下の説明を行う。

【0017】

制御装置１００は、移動体１０に搭載され、移動体１０の移動を制御するコンピュータである。制御装置１００は、所定のプログラムを実行することにより、例えば、画像取得部１０１、矩形検出部１０２、物体検出部１０３、高さ検出部１０４、判定部１０５、及び移動制御部１０６等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。

【0018】

画像取得部１０１は、移動体１０が備えるカメラ１１を用いて、移動体１０の周辺を撮像した画像（映像）を取得する。例えば、画像取得部１０１は、移動体１０の移動方向を撮像した画像を取得する。

【0019】

矩形検出部１０２は、画像取得部１０１が取得した画像を解析して、矩形を検出する。例えば、図２に示すように、ガラス（透過部材の一例）を有する自動ドア２０１、ウィンドウ２０２等は一般的に矩形をしているので、矩形検出部１０２は、ガラスを有するドア、ウィンドウ等の候補として、画像から矩形を検出する。

【0020】

好ましくは、矩形検出部１０２は、例えば、図２において、自動ドア２０１の上部の矩形２２２のように、移動体１０が通行可能でない大きさの矩形を、矩形検出の対象から除外する。また、矩形検出部１０２は、図２に示した２階の窓２２１のように、移動体１０が移動可能な方向とは異なる方向、又は高さにある矩形を、矩形検出の対象から除外する。さらに、矩形検出部１０２は、移動体１０から所定の距離以上離れた場所にある矩形についても、矩形検出部１０２による矩形検出の対象から除外しても良い。

【0021】

物体検出部１０３は、移動体１０が備えるレーダー１２を用いて、移動体１０の周辺にある物体までの距離を測定することにより、移動体１０の周辺にある物体を検出する。

【0022】

高さ検出部１０４は、物体検出部１０３が検出した物体までの距離の測定結果を用いて、矩形検出部１０２が検出した矩形の下辺の路面からの高さを検出する。好ましくは、高さ検出部１０４は、物体検出部１０３が検出した物体までの距離の測定結果を用いて、路面を検出し、矩形検出部１０２が検出した矩形から、路面にある矩形、及び矩形の障害物（例えば、金属製、木製、又は樹脂製等の構造物）を除外する。また、高さ検出部１０４は、残った矩形の下辺の路面からの高さを検出する。例えば、高さ検出部１０４は、図２において、矩形２１１～２１５の下辺の路面２０３からの高さｈ１～ｈ５を検出（算出）する。

【0023】

判定部１０５は、高さ検出部１０４が検出した高さに基づいて、矩形内に、光、又はレーダーを透過する透過部材（例えば、ガラス、アクリル等）があるか否かを判定する。例えば、図２に示すように、ガラスを使った構造物には、ガラスを保持するとともに、強度を確保するための枠が設けられている。従って、判定部１０５は、矩形検出部１０２が検出した矩形の下辺に高さがある場合（高さが所定値以上である場合）、矩形内にガラス等の透過部材があると判定する。

【0024】

一方、判定部１０５は、矩形検出部１０２が検出した矩形の下辺に高さがない場合（高さが所定値未満である場合）、矩形内にガラス等の透過部材がないと判定する。図３（Ａ）は、ガラス部を有する自動ドアが開いている状態の例を示している。このように、自動ドアが開いている場合、矩形検出部１０２が検出した矩形３０１の下辺３０２に高さがない状態（路面、又は床面からの高さが所定値未満の状態）となる。ここで、所定値は、例えば、自動ドア用のレール等の構造物を誤検知しないように、適切なしきい値を予め定めておくものとする。

【0025】

図３（Ｂ）は、ガラス部を有する手動ドアが開いている状態の例を示している。このように、手動ドアが開いており、移動体１０が通行可能である場合も、矩形検出部１０２が検出した矩形３１１の下辺３１２に高さがない状態（路面、又は床面からの高さが所定値未満の状態）となる。このように、判定部１０５は、矩形検出部１０２が検出した矩形の下辺の路面、又は床面からの高さに基づいて、矩形内にガラス等の透過部材があるか否かを判定することができる。

【0026】

移動制御部１０６は、移動装置１３を制御して、移動体１０の移動を制御する。ここで、移動装置１３は、例えば、移動体１０を移動させるための車輪、又は歩行ロボットの脚等を駆動するアクチュエータである。

【0027】

また、本実施形態に係る移動制御部１０６は、判定部１０５による判定結果に基づいて、移動体の移動方向にあるガラス（透過部材の一例）を有するドアの開閉を判断し、ドアが閉じている場合、移動方向への移動体１０の移動を制限する。例えば、移動制御部１０６は、ドアが閉じている場合、移動体１０をドアの前で停止させる、或いは、移動体１０がドアに近づく速度を落とす。一方、移動制御部１０６は、ドアが開いている場合、移動方向への移動体１０の移動を許可する。

【0028】

なお、図１に示す制御装置１００の機能構成は一例である。例えば、移動制御部１０６は、移動装置１３に含まれていても良いし、制御装置１００は、複数の装置に分かれていても良い。

【0029】

＜ハードウェア構成＞
図４は、一実施形態に係る制御装置のハードウェア構成の例を示す図である。制御装置１００は、例えば、ＣＰＵ（Central Processing Unit）４０１、メモリ４０２、ストレージデバイス４０３、ＧＰＵ（Graphics Processing Unit）４０４、Ｉ／Ｆ（Interface）４０６、及びバス４０７等を有する。

【0030】

ＣＰＵ４０１は、例えば、ストレージデバイス４０３等の記憶媒体に格納された所定のプログラムを実行することにより、図１に示すような制御装置１００の各機能構成を実現するプロセッサである。メモリ４０２は、例えば、ＣＰＵ４０１のワークエリア等として用いられる揮発性のメモリであるＲＡＭ（Random Access Memory）、及びＣＰＵ４０１の起動用のプログラム等を記憶した不揮発性のメモリであるＲＯＭ（Read Only Memory）等を含む。ストレージデバイス４０３は、例えば、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）等の不揮発性、かつ大容量の記憶デバイスである。

【0031】

ＧＰＵ４０４は、主に画像処理に関連する様々な処理を、ＣＰＵ４０１より高速に実行する画像処理用のプロセッサである。通信装置４０５は、制御装置１００をネットワークに接続するための１つ以上の通信インタフェースを含む。Ｉ／Ｆ４０６は、制御装置１００に、例えば、カメラ１１、レーダー１２、及び移動装置１３等の外部装置を接続するためのインタフェースである。バス４０７は、上記の各構成要素に共通に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。

【0032】

＜処理の流れ＞
続いて、本実施形態に係る制御方法の処理の流れについて説明する。

【0033】

（ガラス判定処理）
図５は、一実施形態に係るガラス判定処理の例を示すフローチャートである。この処理は、移動体１０を制御する制御装置１００が、移動方向にある光、又はレーダー等を透過する透過部材を備える構造物を検出する検出処理の一例を示している。なお、ここでは、光、又はレーダーを透過する透過部材がガラスであるものとして以下の説明を行うが、ガラスは、例えば、アクリル等の他の透過部材であっても良い。

【0034】

ステップＳ５０１において、制御装置１００の矩形検出部１０２は、画像取得部１０１が取得した移動体１０の移動方向を撮像した画像から、図２で説明したように矩形を検出する。

【0035】

ステップＳ５０２において、制御装置１００の高さ検出部１０４は、物体検出部１０３が検出した、移動体１０の周辺にある物体までの距離の測定結果を用いて、路面（又は床面）を判定する。例えば、高さ検出部１０４は、移動体１０が接している略水平方向の面を路面（又は床面）と判定する。

【0036】

ステップＳ５０３において、高さ検出部１０４は、矩形検出部１０２が検出した矩形から、路面（又は床面）にある矩形（例えば、角形のタイル、マンホール、格子蓋等）を除外する。

【0037】

ステップＳ５０４において、高さ検出部１０４は、物体検出部１０３が検出した、移動体１０の周辺にある物体までの距離の測定結果を用いて、矩形検出部１０２が検出した矩形から、矩形の障害物を除外する。ここで、矩形の障害物には、例えば、金属製、木製、又は不透明は樹脂製等のドア、窓等のレーダーを透過しない様々な構造物が含まれる。

【0038】

ステップＳ５０５において、高さ検出部１０４は、残った矩形の下辺の路面（又は床面）からの高さを検出（算出）する。例えば、図２の例では、高さ検出部１０４は、矩形２１１～２１５の下辺の路面２０３からの高さｈ１～ｈ５を検出する。

【0039】

ステップＳ５０６において、制御装置１００の判定部１０５は、高さ検出部１０４が検出した高さが所定値以上であるか否かを判断し、高さが所定値以上である場合、ステップＳ５０７において、矩形内にガラス（透過部材）があると判定する。一方、高さが所定値未満である場合、判定部１０５は、ステップＳ５０８において、矩形内にガラスがないと判定する。

【0040】

上記の処理により、判定部１０５は、例えば、図３（Ｂ）の矩形３１４のように、矩形３１４の下辺３１５と床面３１３との間に、レーダー（ＬｉＤＡＲの場合は光）を透過しない構造物３１６がある場合、矩形３１４内にガラス等の透過部材があると判定する。一方、判定部１０５は、例えば、図３（Ｂ）の矩形３１１のように、矩形３１１の下辺３１２と床面３１３との間に、レーダー（ＬｉＤＡＲの場合は光）を透過しない構造物がない場合、矩形３１１内にガラス等の透過部材がないと判定する。

【0041】

（ガラスドアの通過処理）
図５は、一実施形態に係るガラスドアの通過処理の例を示すフローチャートである。この処理は、制御装置１００が、図５で説明したガラス判定処理の判定結果に基づいて、ガラス等の透過部材を備えたドアを通過する処理の一例を示している。ここでは、制御装置１００は、移動装置１３を制御して、自律的に移動体１０を所定の移動方向に移動（走行、又は歩行）させる機能を有し、移動方向にガラスドアがある場合の処理の一例について説明する。

【0042】

ステップＳ６０１において、制御装置１００は、図５で説明したガラス判定処理を実行する。

【0043】

ステップＳ６０２において、制御装置１００の移動制御部１０６は、ガラス判定処理の判定結果に応じて、処理を分岐させる。移動方向にガラスがない場合、移動制御部１０６は、処理をステップＳ６０３に移行させる。一方、移動方向にガラスがある場合、移動制御部１０６は、処理をステップＳ６０５に移行させる。

【0044】

ステップＳ６０３に移行すると、移動制御部１０６は、移動体１０の移動方向にあるガラス（透過部材の一例）を有するドアが開いていると判断する。

【0045】

ステップＳ６０４において、移動制御部１０６は、移動体１０の移動方向への移動を許可し、移動装置１３を制御して、ドアを通過する。

【0046】

一方、ステップＳ６０５に移動すると、移動制御部１０６は、移動体１０の移動方向にあるガラスを有するドアが閉じていると判断する。

【0047】

ステップＳ６０５において、移動制御部１０６は、移動体１０の移動方向への移動を制限する。例えば、移動制御部１０６は、移動体１０の移動方向への移動速度を遅くする、又は一時停止する。

【0048】

ドアが自動ドアである場合、移動制御部１０６は、図６の処理を繰り返し実行することにより、ドアが開くのを待って、移動体１０を移動方向へ移動させる。一方、ドアが手動ドアである場合、移動制御部１０６は、例えば、シニアカーに乗っている乗員、又はロボット等がドアを開けるのを待って、移動体１０を移動方向へ移動させる。図６の処理により、制御装置１００は、移動体１０をガラス等の透過部材を有するドアを安全に通行させることができるようになる。

【0049】

以上、本発明の各実施形態によれば、移動体１０を制御する制御装置１００において、レーダー１２とカメラ１１とを用いて、ガラス等の透過部材を備えるドア、又はウィンドウ等を検出できるようになる。従って、本実施形態に係る移動体制御システム１によれば、移動体１０が、誤って、カラスドア、又はガラスウィンドウ等に向かって移動してしまうことを抑制することができる。

【0050】

なお、本発明は、上記の各実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、又は応用が可能である。例えば、本発明は、レーダー１２に代えて、ＬｉＤＡＲを備える移動体１０にも適用可能である。

【符号の説明】

【0051】

１ 移動体制御システム
１０ 移動体
１１ カメラ
１２ レーダー
１００ 制御装置
１０２ 矩形検出部
１０４ 高さ検出部
１０５ 判定部
１０６ 移動制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】