IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特開2022-128717光出力制御装置、および光出力制御方法、並びにプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022128717
(43)【公開日】2022-09-05
(54)【発明の名称】光出力制御装置、および光出力制御方法、並びにプログラム
(51)【国際特許分類】
   G01C 3/06 20060101AFI20220829BHJP
【FI】
G01C3/06 110B
G01C3/06 110V
【審査請求】未請求
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2021027090
(22)【出願日】2021-02-24
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】田中 裕崇
(72)【発明者】
【氏名】松田 昇治
(72)【発明者】
【氏名】本間 克紀
(72)【発明者】
【氏名】鈴木 聡嗣
【テーマコード(参考)】
2F112
【Fターム(参考)】
2F112AA09
2F112AC03
2F112AC06
2F112BA06
2F112CA04
2F112CA12
2F112EA01
2F112EA07
2F112EA11
2F112FA38
2F112GA01
(57)【要約】
【課題】オクルージョン領域を解消し、移動装置の点滅パターン光の妨げとならない光出力制御を実行する装置、方法を提供する。
【解決手段】センサ入力情報や他装置からの受信情報に基づくデータ解析結果に基づいて、光出力部の出力光の光照射領域、または光出力タイミングの少なくともいずれかを決定して、決定した光照射領域、または光出力タイミングに従って光出力部を制御して光出力処理を実行する。具体的には、例えば柱などにより光が届かないオクルージョン領域を解消し、さらに、移動装置の出力する点滅パターン光を妨げないような光出力制御を実行する。
【選択図】図10
【特許請求の範囲】
【請求項1】
センサ入力情報に基づくデータ解析を行うデータ解析部と、
前記データ解析部の解析結果に基づいて、光出力部の出力光の光照射領域、または光出力タイミングの少なくともいずれかを決定する処理決定部と、
前記処理決定部の決定した光照射領域、または光出力タイミングの少なくともいずれかに従って光出力部を制御して光出力処理を実行する制御部を有する光出力制御装置。
【請求項2】
前記光出力制御装置は、
他の光出力制御装置との通信処理を行う通信部を有し、
前記データ解析部は、前記通信部を介して入力する他装置からの受信情報を利用してデータ解析を実行する請求項1に記載の光出力制御装置。
【請求項3】
前記他装置からの受信情報には、前記他装置のセンサ検出情報、または前記他装置におけるデータ解析結果の少なくともいずれかが含まれる請求項2に記載の光出力制御装置。
【請求項4】
前記処理決定部は、
前記データ解析部が、前記他装置からの受信情報を利用して生成した解析結果に基づいて、光出力部の出力光の光照射領域、または光出力タイミングの少なくともいずれかを決定する請求項2に記載の光出力制御装置。
【請求項5】
前記データ解析部は、
前記センサ入力情報に基づいて照射光が届いていないオクルージョン領域を解析し、
前記処理決定部は、
前記オクルージョン領域を解消または減少させる光照射領域を決定する請求項1に記載の光出力制御装置。
【請求項6】
前記データ解析部は、
前記センサ入力情報と、通信部を介して入力する他装置からの受信情報に基づいて照射光が届いていないオクルージョン領域を解析する請求項5に記載の光出力制御装置。
【請求項7】
前記データ解析部は、
前記センサ入力情報に基づいて、移動装置の出力する移動装置照射光の照射領域の解析を実行し、
前記処理決定部は、
前記移動装置照射光の照射領域と重ならない領域を光照射領域として決定する請求項1に記載の光出力制御装置。
【請求項8】
前記データ解析部は、
前記センサ入力情報と、通信部を介して入力する他装置からの受信情報に基づいて、前記移動装置照射光の照射領域の解析を実行する請求項7に記載の光出力制御装置。
【請求項9】
前記制御部は、
マスク処理により前記光出力部からの光照射領域制御を実行する請求項7に記載の光出力制御装置。
【請求項10】
前記データ解析部は、
前記センサ入力情報に基づいて、移動装置の出力する移動装置照射光の点滅パターン解析を実行し、
前記処理決定部は、
前記移動装置照射光の点滅パターンに基づいて、前記光出力部の光出力タイミングを決定する請求項1に記載の光出力制御装置。
【請求項11】
前記処理決定部は、
前記移動装置照射光の点滅パターンに基づいて、前記移動装置照射光の出力停止期間に、前記光出力部からの光出力が行われるように光出力タイミングを決定する請求項10に記載の光出力制御装置。
【請求項12】
前記データ解析部は、
前記センサ入力情報と、通信部を介して入力する他装置からの受信情報に基づいて、前記移動装置照射光の点滅パターン解析を実行する請求項10に記載の光出力制御装置。
【請求項13】
前記制御部は、
クロック信号として利用可能な点滅パターン信号を前記光出力部から出力する請求項1に記載の光出力制御装置。
【請求項14】
前記制御部は、
他装置との同期処理に適用可能なマスタクロック信号として利用可能な点滅パターン信号を前記光出力部から出力する請求項13に記載の光出力制御装置。
【請求項15】
前記制御部は、
前記光出力部からテクスチャパターン光を出力する請求項1に記載の光出力制御装置。
【請求項16】
前記制御部は、
前記光出力部から出力するテクスチャパターン光の歪み補正処理を実行する請求項15に記載の光出力制御装置。
【請求項17】
光出力制御装置において実行する光出力制御方法であり、
データ処理部が、
センサ入力情報に基づくデータ解析を行うデータ解析ステップと、
前記データ解析ステップにおける解析結果に基づいて、光出力部の出力光の光照射領域、または光出力タイミングの少なくともいずれかを決定する処理決定ステップと、
前記処理決定ステップにおいて決定した光照射領域、または光出力タイミングの少なくともいずれかに従って光出力部を制御して光出力処理を実行する光出力制御ステップを有する光出力制御方法。
【請求項18】
光出力制御装置において光出力制御処理を実行させるプログラムであり、
データ処理部に、
センサ入力情報に基づくデータ解析を行わせるデータ解析ステップと、
前記データ解析ステップにおける解析結果に基づいて、光出力部の出力光の光照射領域、または光出力タイミングの少なくともいずれかを決定させる処理決定ステップと、
前記処理決定ステップにおいて決定した光照射領域、または光出力タイミングの少なくともいずれかに従って光出力部を制御して光出力処理を実行させる光出力制御ステップを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、光出力制御装置、および光出力制御方法、並びにプログラムに関する。さらに詳細には、自律走行ロボット等の移動装置の高精度な自律走行を可能とする光出力制御処理を実行する光出力制御装置、および光出力制御方法、並びにプログラムに関する。
【背景技術】
【0002】
近年、自律走行を行うロボットや車両の開発が盛んに行われている。
自律移動を行うロボットや車両は、例えば、センサ検出情報を用いて進行方向にある様々な障害物等のオブジェクトまでの距離を計測し、障害物に衝突しないような走行ルートを設定して走行する。
【0003】
自律走行を行うロボットや車両におけるセンシングは非常に重要な技術であり、なかでもオブジェクト距離を測定するデプス(Depth)センサは、外界の状況を認識し、その結果に応じて行動を制御するために必要不可欠な構成である。
【0004】
センサによるオブジェクト距離検出手法には様々な手法がある。
例えば特許文献1(国際公開WO2018/042801号公報)には、撮像装置における測距方式を開示している。
特許文献1に記載の測距方式は、オブジェクトに光を照射してオブジェクトからの反射光を受光するまでの光の往復時間を計測してオブジェクト距離を算出するToF(Time of Flight)方式と、オブジェクトに照射したパターン光の解析によりオブジェクト距離を算出するパターン光解析方式の2つの異なる測距方式を組み合わせて高精度なオブジェクト距離を算出する構成を開示している。
【0005】
自律走行を行うロボットや車両にはその用途に応じて何かしらの測距センサ、すなわちデプスセンサが搭載されている。
デプスセンサの方式としては、例えば、上述のToF(Time of Flight)の他、レーザ光をオブジェクトに照射し、ToFと同様、オブジェクトが反射するレーザ光の往復時間を計測してオブジェクト距離を算出するLiDAR(Light Detection and Ranging)がある。さらに、複数の異なる位置の視点からの撮影画像を用いた視差解析により、オブジェクト距離を算出するステレオカメラ方式などがある。
【0006】
なお、ステレオカメラ方式を用いる場合、テクスチャの少ない壁などでは、視差解析が困難であるため、テクスチャ模様を含む光(テクスチャパターン光)を照射して、そのテクスチャパターン光の撮影画像を解析する処理が行われる。
【0007】
このように、多くのデプスセンサは、測距対象オブジェクトに対して照射した光の反射光の解析や、測距対象オブジェクトの撮影画像の解析により、オブジェクト距離を算出する原理である。
【0008】
しかし、走行環境に存在する柱などにより照射光が遮られる場合がある。この場合、照射光の届かない領域(オクルージョン領域(影領域))のオブジェクト距離算出は困難となる。
また、複数のロボットが同時に走行し、各ロボットが各ロボットのデプスセンサを動作させる環境では、各ロボットのセンサの照射光が交錯し、様々なセンサの出力光が他の様々なセンサに入力する可能性があり、この結果、各センサの測距精度が低下してしまう可能性がある。
【0009】
例えば、ロボットAが利用中のToFセンサの発光が、ロボットBが利用中のLiDARセンサの発光と重なって同じオブジェクトに照射される事態が発生すると、各ロボットのセンサの受光部で検出する信号(S/N比)が弱まり、結果として測距精度が低下してしまう。
また、他のセンサが放った光を、自センサの照射光と認識して距離算出を行うと誤った距離値が算出されてしまう。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】国際公開WO2018/042801号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
本開示は、例えば上記問題点に鑑みてなされたものであり、ロボット等の移動装置の走行環境に存在する柱などにより照射光が遮られる場合でも、移動装置において高精度なオブジェクト距離算出を可能とし、移動装置による高精度な自律走行を可能とする光出力制御処理を実行する光出力制御装置、および光出力制御方法、並びにプログラムに関する。
【課題を解決するための手段】
【0012】
本開示の第1の側面は、
センサ入力情報に基づくデータ解析を行うデータ解析部と、
前記データ解析部の解析結果に基づいて、光出力部の出力光の光照射領域、または光出力タイミングの少なくともいずれかを決定する処理決定部と、
前記処理決定部の決定した光照射領域、または光出力タイミングの少なくともいずれかに従って光出力部を制御して光出力処理を実行する制御部を有する光出力制御装置にある。
【0013】
さらに、本開示の第2の側面は、
光出力制御装置において実行する光出力制御方法であり、
データ処理部が、
センサ入力情報に基づくデータ解析を行うデータ解析ステップと、
前記データ解析ステップにおける解析結果に基づいて、光出力部の出力光の光照射領域、または光出力タイミングの少なくともいずれかを決定する処理決定ステップと、
前記処理決定ステップにおいて決定した光照射領域、または光出力タイミングの少なくともいずれかに従って光出力部を制御して光出力処理を実行する光出力制御ステップを有する光出力制御方法にある。
【0014】
さらに、本開示の第3の側面は、
光出力制御装置において光出力制御処理を実行させるプログラムであり、
データ処理部に、
センサ入力情報に基づくデータ解析を行わせるデータ解析ステップと、
前記データ解析ステップにおける解析結果に基づいて、光出力部の出力光の光照射領域、または光出力タイミングの少なくともいずれかを決定させる処理決定ステップと、
前記処理決定ステップにおいて決定した光照射領域、または光出力タイミングの少なくともいずれかに従って光出力部を制御して光出力処理を実行させる光出力制御ステップを実行させるプログラムにある。
【0015】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【0016】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【0017】
本開示の一実施例の構成によれば、オクルージョン領域を解消し、移動装置の点滅パターン光の妨げとならない光出力制御を実行する装置、方法が実現される。
具体的には、例えば、センサ入力情報や他装置からの受信情報に基づくデータ解析結果に基づいて、光出力部の出力光の光照射領域、または光出力タイミングの少なくともいずれかを決定して、決定した光照射領域、または光出力タイミングに従って光出力部を制御して光出力処理を実行する。具体的には、例えば柱などにより光が届かないオクルージョン領域を解消し、さらに、移動装置の出力する点滅パターン光を妨げないような光出力制御を実行する。
本構成により、オクルージョン領域を解消し、移動装置の点滅パターン光の妨げとならない光出力制御を実行する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0018】
図1】ロボット等の移動装置の走行環境と問題点について説明する図である。
図2】本開示の光出力制御装置の構成と実行する処理の概要について説明する図である。
図3】本開示の光出力制御装置が実行する出力光制御処理の具体例について説明する図である。
図4】本開示の光出力制御装置が出力するテクスチャ(模様)が含まれるテクスチャパターン光の一例について説明する図である。
図5】自律走行ロボットが出力するテクスチャパターン光の一例について説明する図である。
図6】本開示の光出力制御装置が出力するテクスチャパターン光の例について説明する図である。
図7】本開示の光出力制御装置の一構成例について説明する図である。
図8】本開示の光出力制御装置が実行する具体的な光出力処理例について説明する。
図9】本開示の光出力制御装置が実行する具体的な光出力処理例について説明する。
図10】本開示の光出力制御装置が実行する具体的な光出力処理例について説明する。
図11】本開示の光出力制御装置が実行する具体的な光出力処理例について説明する。
図12】本開示の光出力制御装置が実行する具体的な光出力処理例について説明する。
図13】本開示の光出力制御装置が実行する具体的な光出力処理例について説明する。
図14】本開示の光出力制御装置が実行する具体的な光出力処理例について説明する。
図15】ロボット照射光の点滅パターンの解析結果の一例について説明する図である。
図16】ロボット照射光の点滅パターンと、光出力制御装置の出力光点滅パターンの一例について説明する図である。
図17】複数の光出力制御装置と、光出力制御サーバを通信ネットワークで接続した光出力制御システムの一例について説明する図である。
図18】自律走行ロボットの一構成例を示すブロック図である。
図19】複数の自律走行ロボットと、ロボット制御サーバを通信ネットワークで接続したロボット制御システムの一例について説明する図である。
図20】本開示の光出力制御装置の実行する光出力制御処理のシーケンスについて説明するフローチャートを示す図である。
図21】本開示の光出力制御装置の実行する光出力制御処理のシーケンスについて説明するフローチャートを示す図である。
図22】本開示の光出力制御装置の実行する光出力制御処理のシーケンスについて説明するフローチャートを示す図である。
図23】本開示の光出力制御装置の実行する光出力制御処理の具体例について説明する図である。
図24】本開示の光出力制御装置の実行する光出力制御処理の具体例について説明する図である。
図25】本開示の光出力制御装置の実行する光出力制御処理の具体例について説明する図である。
図26】本開示の光出力制御装置の実行する光出力制御処理の具体例について説明する図である。
図27】本開示の光出力制御装置の実行する光出力制御処理の具体例について説明する図である。
図28】光出力制御装置の光出力部が出力するテクスチャパターン光の一例について説明する図である。
図29】光出力制御装置のデータ処理部の制御部の構成例について説明する図である。
図30】テクスチャパターン補正処理の具体例について説明する図である。
図31】自動運転車両の走行路に光出力制御装置を設置した実施例について説明する図である。
図32】ドローンに光出力制御装置を装着した実施例について説明する図である。
図33】先進支援運転システム(ADAS)に、本開示の光出力制御装置を利用した実施例を示す図である。
図34】夜間の雨で路面反射する対向車のヘッドライトによるグレア現象を示す図である。
図35】本開示の光出力制御装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0019】
以下、図面を参照しながら本開示の光出力制御装置、および光出力制御方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.ロボット等の移動装置の走行環境と問題点について
2.本開示の光出力制御装置の構成と実行する処理の概要について
3.本開示の光出力制御装置の構成と処理の具体例について
4.ロボットの構成と処理について
5.本開示の光出力制御装置の実行する光出力制御処理のシーケンスについて
6.その他の実施例について
7.光出力制御装置のハードウェア構成例について
8.本開示の構成のまとめ
【0020】
[1.ロボット等の移動装置の走行環境と問題点について]
まず、図1を参照してロボット等の移動装置の走行環境と問題点について説明する。
【0021】
図1には、複数のロボット、すなわち自律走行ロボットA,30a、自律走行ロボットB,30bを示している。これらのロボットは走行面10を走行する。
【0022】
走行面10には、柱や障害物などがあり、各ロボットは、ロボットに備えられたセンサによる検出情報を利用して、進行方向の障害物などの距離を計測し、障害物に衝突しないルートを選択して走行する。
【0023】
自律走行ロボットA,30a、自律走行ロボットB,30bの各々には、オブジェクト距離を検出するためのセンサ(デプスセンサ)として例えばステレオカメラが備えられている。
【0024】
ステレオカメラは複数視点から撮影した複数の撮影画像に基く視差解析により、オブジェクト距離を算出するデプスセンサである。
例えば、複数視点から撮影した複数の撮影画像に含まれる特徴点の対応付け処理である特徴点マッチングを行い、各画像における対応特徴点の画像の位置ずれに基づいてオブジェクト距離を算出する。
【0025】
しかし、このようなステレオカメラによるオブジェクト距離算出を行う場合、明瞭な画像を撮影することが必要である。
例えば暗い環境では明瞭な画像を撮影することが困難なため、図1に示すような照明20が照明光を出力して画像撮影環境を整える処理が行われる場合が多い。
このような構成とすることで、明るい環境でロボットのステレオカメラによる明瞭な画像の撮影が可能となり、高精度なオブジェクト距離算出が実現される。
【0026】
なお、デプスセンサとしてステレオカメラを用いる場合、テクスチャの少ない壁などでは、特徴点検出が難しく、特徴点マッチングによる視差解析が困難となるため、テクスチャ模様を含む光(テクスチャパターン光)を照射して、そのテクスチャパターン光の撮影画像を解析する処理が行われる。
【0027】
例えば、図に示す照明20も、テクスチャ模様を含むテクスチャパターン光を照射する。
テクスチャ模様を含むテクスチャパターン光を照射することで、例えば白い床や壁に特定の模様(テクスチャ)が照射され、特徴点検出が容易となる。この結果、特徴点マッチングによる視差解析を高精度に行うことが可能となり、ロボットのデプスセンサ(ステレオカメラ)の撮影画像の解析による高精度なオブジェクト距離算出が可能となる。
【0028】
しかし、図1に示すような構成において、照明20の照射光は様々なオブジェクトに遮られ、多くのオクルージョン領域(影領域)が形成される。例えば、図に示す柱P1は、照明20の照射光を遮り、柱P1のオクルージョン領域(影領域)を形成する。同様に、自律走行ロボットB,30bも照明20の照射光を遮り、オクルージョン領域(影領域)を形成する。
【0029】
照明20がテクスチャ模様を含む光を照射している場合、これらのオクルージョン領域(影領域)には、テクスチャパターンが照射されない。
この結果、自律走行ロボットA,30aは、オクルージョン領域(影領域)にある床面を含むオブジェクトの距離や形状の高精度に解析することが困難となり、安全な走行ができなくなってしまう場合がある。
【0030】
本開示の光出力制御装置や光出力制御方法は、例えばこのような問題を解決するものである。
以下、本開示の光出力制御装置や光出力制御方法の詳細について、順次、説明する。
【0031】
[2.本開示の光出力制御装置の構成と実行する処理の概要について]
図2以下を参照して、本開示の光出力制御装置の構成と実行する処理の概要について説明する。
【0032】
図2には、先に説明した図1と同様、複数のロボット、すなわち自律走行ロボットA,30a、自律走行ロボットB,30bを示している。これらのロボットは走行面10を走行する。
【0033】
走行面10には、柱や障害物などがあり、各ロボットは、ロボットに備えられたセンサによる検出情報を利用して、進行方向の障害物などの距離や床の3次元形状を計測し、障害物に衝突しないルートや平坦なルートを選択して走行する。
【0034】
図1を参照して説明したと同様、自律走行ロボットA,30a、自律走行ロボットB,30bの各々には、オブジェクト距離を検出するためのセンサ(デプスセンサ)として、例えばステレオカメラが備えられている。
前述したようにステレオカメラは、複数視点からの撮影画像に基く視差解析により、オブジェクト距離を算出するデプスセンサである。
【0035】
しかし、前述したように、例えば暗い環境では明瞭な画像を撮影することが困難である。
本開示は、図2に示すように、複数の光出力制御装置a,100a~光出力制御装置n,100nを用いて、各光出力制御装置a~n,100a~nが光を出力する。
これら複数の光出力制御装置a~n,100a~nの各々が光出力を行うことで、明るい環境でロボットのステレオカメラによる明瞭な画像の撮影を可能としている。
【0036】
なお、これらの光出力制御装置a~n,100a~nの各々は通信ネットワークによって接続されており、相互に通信可能な構成である。
【0037】
先に図1を参照して説明したように、デプスセンサとしてステレオカメラを用いる場合、テクスチャの少ない壁などでは、視差解析が困難であるため、テクスチャ模様を含むテクスチャパターン光を照射して、そのテクスチャパターン光の撮影画像を解析する処理が行われる。
図に示す複数の光出力制御装置a~n,100a~nは、テクスチャ模様を含む光を照射する。
【0038】
各ロボットのデプスセンサ(ステレオカメラ)はテクスチャパターン光の照射された床等のオブジェクト画像を解析することで、床等のオブジェクトの距離や3次元形状の解析を行うことができる。
【0039】
図2に示す構成において、複数の光出力制御装置a~n,100a~n各々は、光出力制御装置の出力光が届かないオクルージョン領域(影領域)の情報を、通信ネットワークを介して共有する。
複数の光出力制御装置a~n,100a~n各々は、この共有情報に基づいて、各光出力制御装置が出力する光の照射領域を制御する。具体的にはオクルージョン領域(影領域)を解消または減少させるような出力光制御を実行する。
【0040】
さらに、自律走行ロボット30が、自らロボット照射光を出力するロボットである場合、光出力制御装置a~n,100a~nは、ロボットの出力する光(ロボット照射光)を解析して、ロボット照射光を妨害しないように出力光を制御する。
【0041】
図3を参照して、本開示の光出力制御装置a~n,100a~nが実行する出力光制御処理の具体例について説明する。
図3は、本開示の光出力制御装置a~n,100a~nが実行する2種類の主要な出力光制御処理(1),(2)を説明する図である。
【0042】
図3には、出力光制御処理(1),(2)の各処理のシーケンスを示すフローを示している。これらのフローについて順次、説明する。
なお、図3に示す2つの出力光制御処理(1),(2)は、本開示の光出力制御装置a~n,100a~nの各々が並列実行可能な処理である。
【0043】
まず、出力光制御処理(1)の処理フローについて説明する。
(ステップS11)
光出力制御装置a~n,100a~nは、ステップS11において、各光出力制御装置間で通信を実行し、各光出力制御装置のオクルージョン領域(影領域)情報等を共有する。
【0044】
本開示の光出力制御装置a~n,100a~nの各々は、カメラを内蔵しており、カメラの撮影画像を解析することで、各光出力制御装置による出力光が遮断されているオクルージョン領域(影領域)を解析し、解析したオクルージョン領域(影領域)に関する情報を他の光出力制御装置に提供する。
【0045】
なお、オクルージョン領域(影領域)は、ロボットの移動や、各光出力制御装置a~n,100a~nの光出力方向の変更処理などにより、遂次変化する。光出力制御装置a~n,100a~nの各々は、この変化するオクルージョン領域(影領域)の解析と共有処理を継続的に実行する。
すなわち、光出力制御装置a~n,100a~nの各々は、常に最新のリアルタイムのオクルージョン領域(影領域)情報を共有する。
【0046】
(ステップS12)
次に、本開示の光出力制御装置a~n,100a~nの各々は、他の光出力制御装置の出力光に対応するオクルージョン領域(影領域)に対する光照射を実行してオクルージョン領域(影領域)を解消、または低減させるように出力光を制御する。
【0047】
すなわち、本開示の光出力制御装置a~n,100a~n各々は、オクルージョン領域(影領域)を解消、または低減させるように光出力エリアの制御を実行する。
【0048】
このように、本開示の光出力制御装置a~n,100a~nは、オクルージョン領域(影領域)の検出、共有を行い、共有した情報に基づいて、オクルージョン領域(影領域)を解消、または低減させるように光照射領域を制御する処理を実行する。
【0049】
次に、本開示の光出力制御装置a~n,100a~nが実行する出力光制御処理のもう1つの処理である出力光制御処理(2)の処理フローについて説明する。
(ステップS21)
本開示の光出力制御装置a~n,100a~nの各々は、ステップS21において、ロボットの出力するロボット照射光を解析する。
【0050】
具体的には、ロボットの出力するロボット照射光の照射領域や、ロボット照射光がテクスチャパターンを持たない光(例えば可視光、赤外線、紫外線など)か、テクスチャパターンを持つテクスチャパターン光か、さらにロボット照射光が連続出力光か点滅出力光か、点滅出力光の場合は出力タイミングの解析などを実行する。
【0051】
(ステップS22)
次に、本開示の光出力制御装置a~n,100a~nの各々は、ステップS22において、ステップS21におけるロボット照射光の解析結果に基づいて、ロボット照射光を妨害しないように出力光を制御する。
【0052】
具体的には、光出力制御装置a~n,100a~nの各々は、光の出力タイミングの制御や、光出力エリアの制御を実行して、ロボット照射光を妨害しないように出力光を制御する。
【0053】
このように、本開示の光出力制御装置a~n,100a~nの各々は、ロボット自らが出力するロボット照射光の解析を実行し、解析結果に基づいて、ロボット照射光の妨害とならないような出力光の制御、すなわち、光出力タイミングの制御や、光出力エリアの制御を実行して、ロボット照射光を妨害しないように出力光を制御する。
【0054】
上述したように、本開示の光出力制御装置a~n,100a~nは、図3に示す2つのフローに従った出力光制御処理を実行する。
【0055】
なお、本開示の光出力制御装置a~n,100a~nの各々は、テクスチャパターンを持たない通常の光(例えば可視光、赤外線、紫外線など)、または様々な模様の入った光、いわゆるテクスチャパターン光を選択的に出力する。
本開示の光出力制御装置a~n,100a~nは、テクスチャパターンを持たない通常の光(例えば可視光、赤外線、紫外線など)の他、図4に示すように、テクスチャ(模様)が含まれる光を出力することができる。
【0056】
例えば白壁など、テクスチャの少ない壁などでは、ステレオカメラで撮影した画像から特徴点を検出することが困難であり、視差解析による距離算出が困難となる。このような問題を解決するため、テクスチャ(模様)を含むテクスチャパターン光を照射する。
ステレオカメラで撮影した画像にテクスチャが含まれると、特徴点を検出しやすくなり、特徴点マッチング処理が行いやすく、視差解析による距離算出を高精度に行うことが可能となる。
【0057】
なお、オブジェクト自体に様々な模様が存在する場合は、テクスチャパターンを持たない通常の光(例えば可視光、赤外線、紫外線など)を照射して撮影した画像からも多くの特徴点を検出することが可能であり、特徴点マッチング処理や、視差解析による距離算出を高精度に行うことが可能となる。
【0058】
このような理由から、本開示の光出力制御装置a~n,100a~nは、オブジェクト自体に様々な模様が存在する場合は、テクスチャパターンを持たない通常の光(例えば可視光、赤外線、紫外線など)を出力し、オブジェクト自体に様々な模様が存在しない場合は、図4に示すような模様を含むテクスチャ(模様)が含まれるテクスチャパターン光を出力する。
【0059】
同様に自律走行ロボット30が出力する光、すなわちロボット照射光にも様々な模様の入ったテクスチャパターン光が用いられる場合がある。
例えば、図5に示すように、自律走行ロボットA,30aは、模様の入ったテクスチャ光を出力して、このテクスチャ光の照射された床などのオブジェクトの撮影画像を用いて、ステレオカメラ方式に従ったデプス算出を実行してオブジェクト距離やオブジェクト形状の算出処理を実行する。
【0060】
なお、自律走行ロボット30も、オブジェクト自体に様々な模様が存在する場合は、テクスチャパターンを持たない通常の光(例えば可視光、赤外線、紫外線など)を照射し、オブジェクト自体に様々な模様が存在しない場合は、図5に示すような模様を含むテクスチャ(模様)が含まれるテクスチャパターン光を出力するという出力光切り替え処理を行う構成としてもよい。
【0061】
さらに、本開示の光出力制御装置a~n,100a~nは、照射光の向きや領域を自在に制御可能な構成を持つ。
具体例を図6に示す。
図6に示すように、本開示の光出力制御装置a~n,100a~nの各々は、内部に光照射領域制御部を有しており、出力光の照射領域、すなわち光出力方向や光照射範囲などを自在に制御することができる。
【0062】
[3.本開示の光出力制御装置の構成と処理の具体例について]
次に、本開示の光出力制御装置の構成と処理の具体例について説明する。
【0063】
まず、本開示の光出力制御装置a~n,100a~nの各々の構成例について説明する。
図7は、本開示の光出力制御装置a~n,100a~nの各々の一構成例を示すブロック図である。
【0064】
図7に示すように、光出力制御装置100は、外部環境情報取得センサであるカメラ101、赤外線カメラ102、およびフリッカ検出センサ103を有し、さらに通信部104、データ処理部105、光出力部106を有する。
データ処理部105は、データ解析部110、処理決定部120、制御部130を有する。
【0065】
さらに、データ解析部110は、オクルージョン領域(影領域)解析部111と、ロボット照射光解析部112を有する。
処理決定部120は、光照射領域決定部121と、光出力タイミング決定部122を有する。
制御部130は、光照射領域制御部131と、光出力タイミング制御部132を有する。
【0066】
外部環境情報取得センサであるカメラ101は可視光画像を撮影し、撮影した可視光画像データ151をデータ処理部105に入力する。
さらに、外部環境情報取得センサである赤外線カメラ102は赤外光画像を撮影し、撮影した赤外光画像データ152をデータ処理部105に入力する。
【0067】
もう一つの外部環境情報取得センサであるフリッカ検出センサ103は、光出力制御装置100の光出力可能空間内のフリッカの有無、すなわち点滅光の有無を検出し、フリッカ検出データ153をデータ処理部105に入力する。
フリッカ検出データ153は、フリッカの有無情報と、フリッカ(点滅光)が存在する場合はその発光時間や発光周期を解析可能な情報が含まれたデータである。
【0068】
通信部104は、通信ネットワークによって接続された他の光出力制御装置との通信を実行する。
通信部104から外部の他の光出力制御装置に出力されるデータは、例えば、データ処理部105がカメラ101から入力した可視光画像データ151や、赤外線カメラ102から入力した赤外光画像データ152、さらにデータ処理部105のデータ解析部110において解析されたデータ等である。
【0069】
データ処理部105のデータ解析部110において解析されたデータには、例えばカメラ撮影画像に基いて解析されたオクルージョン領域(影領域)情報や、ロボット照射光の解析データ等が含まれる。
【0070】
外部の他の光出力制御装置も、それぞれ各光出力制御装置に備えられたカメラによって撮影された可視光画像データ151や、赤外光画像データ152や解析データを送信しており、図7に示す通信部104は、これらの他の光出力制御装置の送信データを受信して、データ処理部105に入力する。
【0071】
データ処理部105のデータ解析部110は、自装置のカメラによって撮影された可視光画像データ151や、赤外光画像データ152の他、通信部104を介して受信する他の光出力制御装置からの画像データや解析データを利用してデータ解析を行う。
【0072】
データ解析部110は、オクルージョン領域(影領域)解析部111と、ロボット照射光解析部112を有する。
オクルージョン領域(影領域)解析部111は、自装置のカメラによって撮影された可視光画像データ151や、赤外光画像データ152、さらに通信部104を介して受信した他の光出力制御装置が生成した画像データや解析データを利用して、オクルージョン領域(影領域)がどの領域に発生しているかを解析する。
【0073】
ロボット照射光解析部112は、自装置のカメラによって撮影された可視光画像データ151や、赤外光画像データ152、さらに通信部104を介して受信した他の光出力制御装置が生成した画像データや解析データを利用して、光出力可能エリアを走行するロボットがどのようなロボット照射光を出力しているかを解析する。
【0074】
具体的には、例えばロボットが出力している照射光がテクスチャパターンを持たない通常の光(例えば可視光、赤外線、紫外線など)であるかテクスチャパターン光であるか、さらに、ロボットが出力している照射光が連続出力光であるか出力ON/OFFを繰り返す点滅出力パターンを持つパルス光であるか等の解析を実行する。
【0075】
ロボットが出力している照射光が連続出力光であるか出力ON/OFFを繰り返す点滅出力パターンを持つパルス光であるか否かの判定処理には、フリッカ検出センサ103の検出情報が利用可能である。
【0076】
フリッカ検出センサ103からは、フリッカ(点滅光)の有無情報と、フリッカが存在する場合はその発光時間や発光周期を解析可能な情報が含まれたフリッカ検出データ153が入力される。
ロボット照射光解析部112は、このデータを用いて、ロボットが出力している照射光が連続出力光であるか出力ON/OFFを繰り返す点滅出力パターンを持つパルス光であるか否かの判定処理を実行することができる。
【0077】
データ解析部110の解析結果、すなわち、オクルージョン領域(影領域)解析部111が解析したオクルージョン領域(影領域)情報と、ロボット照射光解析部112が解析したロボット照射光解析情報は、処理決定部120に入力される。
処理決定部120は、光照射領域決定部121と、光出力タイミング決定部122を有する。
【0078】
光照射領域決定部121は、オクルージョン領域(影領域)解析部111が解析したオクルージョン領域(影領域)情報に基づいて、オクルージョン領域(影領域)を解消、あるいは、最大限、減少させるために最適な光の照射領域を決定する。
さらに、ロボット照射光解析部112が解析したロボット照射光解析情報に基づいて、ロボット照射光の妨げとならない最適な光の照射領域を決定する。
【0079】
光出力タイミング決定部122は、ロボット照射光解析部112が解析したロボット照射光解析情報に基づいて、ロボット照射光の妨げとならない最適な光の出力タイミングを決定する。
【0080】
なお、この出力タイミング決定処理は、常時、実行する構成としてもよいが、光照射領域決定部121が決定した光照射領域にロボット照射光との重複領域が含まれる場合にのみ実行する構成としてもよい。
【0081】
このように出力タイミング決定処理を光照射領域決定部121が決定した光照射領域にロボット照射光との重複領域が含まれる場合にのみ実行する構成とした場合の光出力タイミング決定部122が実行する処理は以下のようになる。
光出力タイミング決定部122は、光照射領域決定部121から光照射領域情報を入力して、光照射領域にロボット照射光との重複領域が含まれか否かを判定し、含まれる場合にのみ光出力タイミングの決定処理を実行する。
【0082】
処理決定部120の光照射領域決定部121と、光出力タイミング決定部122が決定した決定情報、すなわち、光照射領域決定部121が決定した光照射領域情報と、光出力タイミング決定部122が決定した光出力タイミング情報は、制御部130に入力される。
【0083】
制御部130は、光照射領域制御部131と、光出力タイミング制御部132を有する。
制御部130の光照射領域制御部131は、処理決定部120の光照射領域決定部121が決定した光照射領域情報に従って決定された光照射領域に光出力制御装置からの照射光が出力されるように、光出力部106を駆動、制御する。
【0084】
さらに、制御部130の光出力タイミング制御部132は、処理決定部120の光出力タイミング決定部122が決定した光出力タイミング情報に従って決定された光出力タイミングに従って光出力制御装置からの照射光が出力されるように、光出力部106の発光タイミングを制御する。
【0085】
このように、本開示の光出力制御装置a~n,100a~nの各々は、図7に示す構成を有し、この構成により、光の照射領域と出力タイミングの制御を実行する。具体的には、
オクルージョン領域(影領域)を解消、あるいは、最大限、減少させ、かつロボット照射光の妨げとならない最適な光の照射領域に対して光出力制御装置からの照射光を出力する制御を行う。さらに、
ロボット照射光の妨げとならない最適な光の出力タイミングで光出力制御装置からの照射光を出力する。
【0086】
図8以下を参照して、本開示の光出力制御装置a~n,100a~nの各々が実行する具体的な光出力処理例について説明する。
【0087】
まず、図8図10を参照して、オクルージョン領域(影領域)を解消、あるいは、最大限、減少させるように光の照射領域を決定して光出力制御装置からの照射光の出力制御処理例について説明する。
【0088】
図8には、2つの光出力制御装置、すなわち、光出力制御装置a,100aと、光出力制御装置b,100bを示している。光出力制御装置b,100bのみが照射光を出力している状態である。
この状態において、光出力制御装置a,100aが、オクルージョン領域(影領域)を解消、あるいは、最大限、減少させるように光照射領域を決定して、決定した領域に光出力制御装置a,100aからの照射光を出力する制御を行う。
【0089】
光出力制御装置a,100aのデータ解析部110のオクルージョン領域(影領域)解析部111は、自装置のカメラによって撮影された可視光画像データ151や、赤外光画像データ152、さらに通信部104を介して受信した他の光出力制御装置が生成した画像データや解析データを利用して、オクルージョン領域(影領域)がどの領域に発生しているかを解析する。
【0090】
図8に示す例では、光出力制御装置a,100aのオクルージョン領域(影領域)解析部111は、
(a)柱P1によるオクルージョン領域(影領域)、
(b)自律走行ロボットA,30aによるオクルージョン領域(影領域)、
これらのオクルージョン領域(影領域)を検出し、その位置を特定する。
【0091】
オクルージョン領域(影領域)解析部111が解析したオクルージョン領域(影領域)情報(=オクルージョン領域位置情報)は、光出力制御装置a,100aの光照射領域決定部121に入力される。
【0092】
光出力制御装置a,100aの光照射領域決定部121は、オクルージョン領域(影領域)解析部111が解析したオクルージョン領域(影領域)情報に基づいて、オクルージョン領域(影領域)を解消、あるいは、最大限、減少させるために最適な光照射領域を決定する。
【0093】
具体的には、例えば図9に示すように、柱P1によるオクルージョン領域(影領域)と、自律走行ロボットA,30aによるオクルージョン領域(影領域)を解消、あるいは、最大限、減少させるために最適な光照射領域を決定する。
【0094】
光出力制御装置a,100aの光照射領域決定部121が決定した光照射領域情報は、光出力制御装置a,100aの制御部130に入力される。
【0095】
光出力制御装置a,100aの制御部130の光照射領域制御部131は、光出力制御装置a,100aの光照射領域決定部121が決定した光照射領域情報に従って決定された光照射領域に光出力制御装置a,100aからの照射光が出力されるように、光出力制御装置a,100aの光出力部106を駆動、制御する。
【0096】
この結果、図10に示すように、光照射領域決定部121が決定した光照射領域に対して、光出力制御装置a,100aからの光が照射され、柱P1によるオクルージョン領域(影領域)と、自律走行ロボットA,30aによるオクルージョン領域(影領域)が解消される。
【0097】
次に、図11図12を参照して、ロボット照射光の妨げとならない最適な光照射領域を決定して光出力制御装置からの照射光を出力する制御を行う例について説明する。
【0098】
図11には、光出力制御装置a,100aと、ロボット照射光を出力して走行する自律走行ロボットA,30aを示している。
この状態において、光出力制御装置a,100aが、ロボット照射光の妨げとならない最適な光照射領域を決定して光出力制御装置からの照射光を出力する制御を行う。
【0099】
光出力制御装置a,100aのデータ解析部110のロボット照射光解析部112は、自装置のカメラによって撮影された可視光画像データ151や、赤外光画像データ152、さらに通信部104を介して受信した他の光出力制御装置が生成した画像データや解析データを利用して、ロボットが出力するロボット照射光がどの領域に出力されているかを解析する。
【0100】
例えば、図11に示すようなロボット照射光照射領域を検出する。
ロボット照射光解析部112が解析したロボット照射光照射領域情報は、光出力制御装置a,100aの光照射領域決定部121に入力される。
【0101】
光出力制御装置a,100aの光照射領域決定部121は、ロボット照射光解析部112が解析したロボット照射光照射領域情報に基づいて、ロボット照射光の妨げとならない最適な光照射領域を決定する。
【0102】
具体的には、例えば図12に示すように、ロボット照射光の妨げとならない最適な光照射領域を決定する。
光出力制御装置a,100aの光照射領域決定部121が決定した光照射領域情報は、光出力制御装置a,100aの制御部130に入力される。
【0103】
光出力制御装置a,100aの制御部130の光照射領域制御部131は、光出力制御装置a,100aの光照射領域決定部121が決定した光照射領域情報に従って決定された光照射領域に光出力制御装置からの照射光が出力されるように、光出力部106を駆動、制御する。
【0104】
この結果、図13に示すように、光照射領域決定部121が決定した光照射領域に対して、光出力制御装置a,100aからの光が照射され、ロボット照射光の妨げとならない領域に対して、光出力制御装置a,100aからの出力光が照射される。
【0105】
次に、図14図16を参照して、ロボット照射光の妨げとならない最適な光の出力タイミングを決定して光出力制御を行う例について説明する。
【0106】
図14には、光出力制御装置a,100aと、ロボット照射光を出力して走行する自律走行ロボットA,30aを示している。
この状態において、光出力制御装置a,100aが、ロボット照射光の妨げとならない最適な光の出力タイミングを決定して光出力制御装置からの照射光を出力する制御を行う。
【0107】
光出力制御装置a,100aのデータ解析部110のロボット照射光解析部112は、自装置のカメラによって撮影された可視光画像データ151や、赤外光画像データ152、さらに通信部104を介して受信した他の光出力制御装置が生成した画像データや解析データを利用して、ロボットが出力するロボット照射光の照射領域や、どのようなタイプのロボット照射光を出力しているかを解析する。
【0108】
具体的には、例えばロボットが出力している照射光がテクスチャパターンを持たない光(例えば可視光、赤外線、紫外線など)であるかテクスチャパターン光であるか、さらに、ロボットが出力している照射光が連続出力光であるか出力ON/OFFを繰り返す点滅出力パターンを持つパルス光であるか等の解析を実行する。
【0109】
例えば、ロボットが出力している照射光が出力ON/OFFを繰り返す点滅出力パターンを持つパルス光である場合、その出力パターンを解析する。
具体的には、例えば、図15に示すようにロボット照射光の点滅パターンの解析を行う。すなわちロボット照射光の光出力のON/OFFタイミングなどの出力タイミング情報の解析などを実行する。
【0110】
ロボット照射光解析部112が解析したロボット照射光の出力タイミング情報は、光出力制御装置a,100aの光出力タイミング決定部122に入力される。
【0111】
光出力制御装置a,100aの光出力タイミング決定部122は、ロボット照射光解析部112が解析したロボット照射光出力タイミング情報に基づいて、ロボット照射光の妨げとならない最適な光の出力タイミングを決定する。
【0112】
具体的には、例えば図16(2)に示すような点滅パターンの設定を持つように、光出力タイミングを決定する。
図16には、以下の各点滅パターンを示している。
(1)ロボット照射光の点滅パターン
(2)光出力制御装置の出力光点滅パターン
【0113】
図16(1)に示すロボット照射光の点滅パターンは、図15を参照して説明した点滅パターンであり、光出力制御装置a,100aのデータ解析部110のロボット照射光解析部112が解析したロボット照射光の点滅パターンである。
【0114】
光出力制御装置a,100aの光出力タイミング決定部122は、図16(1)に示すロボット照射光の点滅パターンに基づいて、ロボット照射光の妨げとならない最適な光の出力タイミングを決定する。
【0115】
具体的には、図16(1)に示すロボット照射光の点滅パターン中のロボット照射光の出力がなされない期間(図16(1)のOFF期間)にのみ、光出力制御装置a,100aからの照射光を出力するように出力タイミングを決定する。
すなわち、図16(2)に示すような点滅パターンの設定を持つように、光出力タイミングを決定する。
光出力制御装置a,100aの光出力タイミンク決定部122が決定した光出力タイミング情報は、光出力制御装置a,100aの制御部130に入力される。
【0116】
光出力制御装置a,100aの制御部130の光出力タイミング制御部132は、出力制御装置a,100aの光出力タイミング決定部122が決定した光出力タイミング情報に従って決定された光出力タイミング(図15の(2)の点滅パターンのONタイミング)に光出力制御装置からの照射光が出力されるように、光出力部106を駆動、制御する。
【0117】
この結果、ロボット照射光の妨げとならない最適な光の出力タイミングで、光出力制御装置a,100aからの照射光が照射されることになる。
【0118】
なお、光出力制御装置a,100aからの照射光を図16(2)に示すような点滅パターンの設定を持つ設定とした場合、この光パルスをマスタクロック信号として用いることができる。
例えば、この光出力制御装置a,100aから出力するパルス光を他の光出力制御装置や、ロボットのセンサが検出し、検出パルスを各光出力制御装置、およびロボットのデータ処理の基準クロックとして用いる。この処理により各装置、ロボットにおいて行われる様々な処理を同期させることが可能となる。
【0119】
以上、図8図16を参照して、本開示の光出力制御装置a~n,100a~nの各々が実行する具体的な光出力処理例について説明してきた。
【0120】
これらの処理は、図7を参照して説明した光出力制御装置100の構成を利用して実現される。
なお、図7に示す光出力制御装置100の構成中、データ処理部105の構成を、光出力制御装置a~n,100a~nに接続されたサーバにおいて実行する構成としてもよい。
【0121】
例えば、図17に示すように、複数の光出力制御装置a~n,100a~nと、光出力制御サーバ180を通信ネットワークで接続した光出力制御システム170を構成する。
【0122】
複数の光出力制御装置a~n,100a~n各々は、図7に示す構成中のデータ処理部105以外の構成、すなわちカメラ101、赤外カメラ102、通信部104、光出力部106を有する。
【0123】
光出力制御サーバ180が、図7を参照して説明したデータ処理部105の構成を有し、先に図7を参照して説明したデータ処理部105の処理を実行する。すなわち、光出力制御サーバ180は、複数の光出力制御装置a~n,100a~n各々の光照射領域や出力タイミングを決定し、決定した光照射領域や出力タイミングに応じて光出力制御装置a~n,100a~n各々の光出力制御を実行する。
【0124】
このように、1つのサーバ等の装置が、集約的に複数の光出力制御装置a~n,100a~n各々の光出力制御を行う構成としてもよい。
【0125】
[4.ロボットの構成と処理について]
次に、ロボットの構成と処理について説明する。
【0126】
図18は、図2等に示す自律走行ロボット30の一構成例を示すブロック図である。
図18に示すように、自律走行ロボット30は、複数のセンサ1~N,201-1~Nと、データ処理部202、ロボット駆動部202を有する。
データ処理部202は、センサ検出信号解析部211、センサ制御信号生成部212、センサ制御部213、ロボット駆動信号生成部214を有する。
【0127】
複数のセンサ1~N,201-1~Nは、オブジェクト距離等を算出するためのセンシング情報を取得する様々なセンサによって構成される。
例えば、以下のような各種のセンサによって構成される。
(a)ステレオカメラ方式によるオブジェクト距離算出のために利用する画像を撮影するカメラや赤外線カメラ
(b)オブジェクトに対して光を照射してオブジェクトからの反射光を受光するまでの光の往復時間を計測してオブジェクト距離を算出するToF(Time of Flight)方式に従ったセンシングデータを取得するToFセンサ
(c)オブジェクトが反射するレーザ光の往復時間を計測してオブジェクト距離を算出するLiDAR(Light Detection and Ranging)方式に従ったセンシングデータを取得するLiDARセンサ
例えば、これらの様々なセンサによって構成される。
【0128】
なお、本開示の構成では、上記(a)~(c)の構成を全て備えることは必須ではない。少なくともステレオカメラ方式によるオブジェクト距離算出のために利用する画像を撮影するカメラが備えられていればよい。
【0129】
複数のセンサ1~N,201-1~Nのセンサ検出データであるセンシングデータは、データ処理部202のセンサ検出信号解析部211に入力される。
【0130】
前述したように、データ処理部202は、センサ検出信号解析部211、センサ制御信号生成部212、センサ制御部213、ロボット駆動信号生成部214を有する。
【0131】
データ処理部202のセンサ検出信号解析部211は、複数のセンサ1~N,201-1~Nのセンサ検出データであるセンシングデータを入力して、センシングデータの解析処理を実行する。
具体的には、例えば、センシングデータに基づくオブジェクト距離算出処理を実行する。
【0132】
例えば、ステレオカメラ方式に従ったオブジェクト距離算出を行う場合には、センサ検出データであるセンシングデータとして、複数の異なる視点からの撮影画像を入力し、複数の撮影画像に含まれる特徴点の対応付け処理である特徴点マッチングを行い、各画像における対応特徴点の画像の位置ずれに基づいてオブジェクト距離や3次元形状を算出する。
【0133】
センサ検出信号解析部211の検出情報は、センサ制御信号生成部212と、ロボット駆動信号生成部214に出力される。
【0134】
センサ制御信号生成部212は、センサ検出信号解析部211の検出情報を解析し、解析結果に応じてセンサ制御信号を生成して、センサ制御部213にセンサを制御させる。
【0135】
例えば、センサ検出信号解析部211の検出情報に基づいて、取得済みのデータと異なる方向のセンシンクデータが必要と判定した場合は、センサ制御部213にセンサの方向を変更するセンサ制御処理を実行させる。
また、例えば、センサ検出信号解析部211の検出情報に基づいて、さらに、詳細なセンシンクデータが必要であると判定した場合は、センサ制御部213にセンサ検出精度を向上させるためのセンサの出力制御などを実行させる。
【0136】
センサ検出信号解析部211の検出情報は、ロボット駆動信号生成部214にも出力される。
センサ検出信号解析部211の検出情報は、例えばロボット進行方向のオブジェクトの距離や3次元形状情報である。
ロボット駆動信号生成部214は、センサ検出信号解析部211の検出情報であるロボット進行方向のオブジェクトの距離や3次元形状情報に基づいて、ロボットが障害物に衝突することなく、安全に走行できる経路を進むことを可能とするためのロボット駆動信号を生成して、生成したロボット駆動信号をロボット駆動部203に出力する。
【0137】
ロボット駆動部203は、ロボット駆動信号生成部214から入力するロボット駆動信号に基づいてロボットを駆動する。
これらの処理により、ロボットは、障害物に衝突することなく、安全に走行することが可能となる。
【0138】
なお、図18に示す自律走行ロボット30の構成中、データ処理部202の構成を、自律走行ロボット30に接続されたサーバにおいて実行する構成としてもよい。
【0139】
例えば、図19に示すように、複数の自律走行ロボットa~n,130a~nと、ロボット制御サーバ220を通信ネットワークで接続したロボット制御システム250を構成する。
【0140】
複数の自律走行ロボットa~n,30a~n各々は、図18に示す構成中のデータ処理部202以外の構成、すなわちセンサ1~N,201-1~N、ロボット駆動部203、さらに通信部を有する。
【0141】
ロボット制御サーバ220が、図18を参照して説明したデータ処理部202の構成と通信部を有し、図18を参照して説明したデータ処理部202の処理を実行する。すなわち、ロボット制御サーバ220は、複数の自律走行ロボットa~n,30a~n各々のセンサ検出データの解析処理、オブジェクト距離算出処理、さらにロボット駆動信号生成処理等を実行し、自律走行ロボットa~n,100a~n各々に対してセンサ制御信号や、ロボット駆動信号を送信する。
【0142】
自律走行ロボットa~n,100a~n各々は、ロボット制御サーバ220から受信するロボット駆動信号に基づいて走行する。さらに、ロボット制御サーバ220から受信するセンサ制御信号に基づいてセンサの検出方向や検出精度の制御を実行する。
【0143】
このように、1つのサーバ等の装置が、集約的に複数の自律走行ロボットa~n,100a~n各々の制御を行う構成としてもよい。
【0144】
[5.本開示の光出力制御装置の実行する光出力制御処理のシーケンスについて]
次に、本開示の光出力制御装置の実行する光出力制御処理のシーケンスについて説明する。
【0145】
図20図21図22は、本開示の光出力制御装置の実行する光出力制御処理のシーケンスを説明するフローチャートを示す図である。
【0146】
なお、図20図21図22に示すフローチャートに従った処理は、主として例えば図7示す構成を有する光出力制御装置100のデータ処理部105において実行される。
図7には示していないが光出力制御装置100の記憶部に格納されたプログラムに従って実行することが可能である。
【0147】
光出力制御装置100のデータ処理部105は、プログラム実行機能を有するCPU等のプロセッサを備え、記憶部に格納されたプログラムに従って図20図21図22に示すフローチャートに従った処理を実行することができる。
なお、図20図21図22に示すフローは、先に図17を参照して説明した光出力制御装置100と通信可能な光出力制御サーバ180の処理として実行することも可能である。
以下、図20図21図22に示すフローの各ステップの処理について、順次、説明する。
【0148】
(ステップS101)
まず、光出力制御装置100のデータ処理部105は、ステップS101において、光出力制御装置による光照射領域を決定する。
【0149】
このステップS101における光照射領域決定処理は、図7に示す光出力制御装置100のデータ処理部105の処理決定部120内の光照射領域決定部121が実行する処理である。
【0150】
光照射領域決定部121は、データ解析部110のオクルージョン領域(影領域)解析部111と、ロボット照射光解析部112から入力する解析情報に従って、光出力制御装置の光照射領域を決定する。
【0151】
具体的には、光照射領域決定部121は、オクルージョン領域(影領域)解析部111が解析したオクルージョン領域(影領域)情報に基づいて、オクルージョン領域(影領域)を解消、あるいは、最大限、減少させるために最適な光の照射領域を決定する。さらに、ロボット照射光解析部112が解析したロボット照射光解析情報に基づいて、ロボット照射光の妨げとならない最適な光の照射領域を決定する。
【0152】
(ステップS102)
次に、光出力制御装置100のデータ処理部105は、ステップS102において、フリッカ検出処理を実行する。
【0153】
このステップS102におけるフリッカ検出処理は、図7に示す光出力制御装置100のデータ処理部105のデータ解析部110内のロボット照射光解析部112が実行する処理である。
【0154】
先に図7を参照して説明したように、ロボット照射光解析部112は、フリッカ検出センサ103からフリッカ(点滅光)の有無情報や、フリッカの発光時間や発光周期を解析可能な情報を含むフリッカ検出データ153を入力する。
ロボット照射光解析部112は、このデータを用いて、ロボットが出力している照射光が連続出力光であるか出力ON/OFFを繰り返す点滅出力パターンを持つパルス光であるか否かの判定処理を実行する。
【0155】
(ステップS103)
次に、光出力制御装置100のデータ処理部105は、ステップS103において、ステップS101で決定した光照射領域内に、ロボットによる光照射領域があるか否かを判定する。
【0156】
この処理は、図7に示す光出力制御装置100のデータ処理部105の処理決定部120内の光出力タイミング決定部122が実行する処理である。
【0157】
このフローで示すシーケンスは、光出力タイミング決定部122における光出力タイミングの決定処理を、光照射領域決定部121が決定した光照射領域にロボット照射光との重複領域が含まれる場合にのみ実行する場合の処理シーケンスである。
【0158】
ステップS103において、ステップS101で決定した光照射領域内に、ロボットによる光照射領域があると判定した場合は、ステップS104に進む。
一方、ステップS103において、ステップS101で決定した光照射領域内に、ロボットによる光照射領域がないと判定した場合はステップS105に進む。
【0159】
(ステップS104)
ステップS103において、ステップS101で決定した光照射領域内に、ロボットによる光照射領域があると判定した場合は、ステップS104に進む。
【0160】
この場合、光出力制御装置100のデータ処理部105は、ステップS104において、ロボット照射光は周期的な点滅を行う周期的点滅光であるか否かを判定する。
【0161】
このステップS104の判定処理は、図7に示す光出力制御装置100のデータ処理部105のデータ解析部110内のロボット照射光解析部112が実行する処理である。
【0162】
ロボット照射光解析部112は、ステップS102のフリッカ検出処理結果に基づいて、ロボット照射光は周期的な点滅を行う周期的点滅光であるか否かを判定する。
ロボット照射光が周期的点滅光であると判定した場合はステップS121に進む。
ロボット照射光が周期的点滅光でないと判定した場合はステップS105に進む。
【0163】
(ステップS105)
ステップS104において、ロボット照射光が周期的点滅光でないと判定した場合はステップS105に進む。
【0164】
この場合、光出力制御装置100のデータ処理部105は、ステップS105において、ステップS101で決定した光出力制御装置100の光照射領域は、光出力制御装置100による光照射可能範囲内か否かを判定する。
【0165】
この処理は、図7に示す光出力制御装置100のデータ処理部105の制御部130が実行する処理である。
【0166】
ステップS101で決定した光出力制御装置100の光照射領域が、光出力制御装置100による光照射可能範囲内であると判定した場合は、ステップS111に進む。
一方、ステップS101で決定した光出力制御装置100の光照射領域が、光出力制御装置100による光照射可能範囲内でないと判定した場合は、ステップS106に進む。
【0167】
(ステップS106)
ステップS105において、ステップS101で決定した光出力制御装置100の光照射領域が光出力制御装置100による光照射可能範囲内でないと判定した場合は、ステップS106において以下の処理を実行する。
【0168】
この場合、光出力制御装置100のデータ処理部105は、ステップS106において、ステップS101で決定した光照射領域を、光出力制御装置100による光照射可能範囲内に設定するように光出力部106を駆動する。
【0169】
この処理は、図7に示す光出力制御装置100のデータ処理部105の制御部130が実行する処理である。
このステップS106において、ステップS101で決定した光出力制御装置100の光照射領域が光出力制御装置100による光照射可能範囲内に設定されるとステップS111に進む。
【0170】
(ステップS111)
ステップS111の処理は、以下のいずれかの処理の後、実行される。
(a)ステップS105において、ステップS101で決定した光出力制御装置100の光照射領域が光出力制御装置100による光照射可能範囲内であると判定された場合、または、
(b)ステップS105において、ステップS101で決定した光出力制御装置100の光照射領域が光出力制御装置100による光照射可能範囲内でないと判定され、ステップS106において、光照射領域を光出力制御装置100による光照射可能範囲内に設定する処理が完了した場合、
これらの場合にステップS111以下の処理が実行される。
【0171】
この場合、光出力制御装置100のデータ処理部105は、ステップS111において、ステップS101で決定した光出力制御装置100の光照射領域に、現在、処理対象としているロボット以外の他の第2ロボットの移動経路が含まれるか否かを判定する。
【0172】
この処理は、図7に示す光出力制御装置100のデータ処理部105の処理決定部120内の光照射領域決定部121が実行する処理である。
光照射領域決定部121は、前段のデータ解析部110のオクルージョン領域(影領域)解析部111と、ロボット照射光解析部112から入力する時系列解析情報に従って様々なロボットの移動経路を推定し、ステップS101で決定した光出力制御装置100の光照射領域に、現在、処理対象としているロボット以外の他の第2ロボットの移動経路が含まれるか否かを判定する。
【0173】
光出力制御装置100の光照射領域に第2ロボットの移動経路が含まれないと判定した場合は、ステップS112に進む。
一方、光出力制御装置100の光照射領域に第2ロボットの移動経路が含まれると判定した場合は、ステップS113に進む。
【0174】
(ステップS112)
ステップS111において、光出力制御装置100の光照射領域に第2ロボットの移動経路が含まれないと判定した場合は、ステップS112に進む。
【0175】
この場合、光出力制御装置100のデータ処理部105は、ステップS112において、現在処理対象としているロボットの光照射領域に、光出力制御装置からの出力光が重複しないように光出力制御装置の出力光に対するマスク処理を行って光出力を実行する。
【0176】
このステップS112の処理は、図7に示す光出力制御装置100のデータ処理部105の処理決定部120と制御部130が実行する処理である。
【0177】
このステップS112の具体的処理例について、図23図24を参照して説明する。
図23には、このフローに従った処理を実行中の光出力制御装置a,100aと、現在処理対象としているロボットである自律走行ロボットA,30aと、他の第2ロボットである自律走行ロボットB,30bを示している。
【0178】
図23に示す例は、光出力制御装置a,100aの光照射領域に第2ロボットである自律走行ロボットB,30bの移動経路が含まれないと判定した場合の処理である。
この場合、光出力制御装置100のデータ処理部105は、ステップS112において、現在処理対象としているロボットの光照射領域に、光出力制御装置からの出力光が重複しないように光出力制御装置の出力光に対するマスク処理を行って光出力を実行する。
【0179】
マスク処理の具体例を図24に示す。図24に示すように、光出力制御装置100a,100aは、ステップS112において、現在処理対象としているロボット(自律走行ロボットA,30a)の光照射領域に、光出力制御装置からの出力光が重複しないように光出力制御装置の出力光に対するマスク処理を行って光出力を実行する。
【0180】
図24に示すマスク領域は、光出力制御装置a,100aの出力光を遮断した領域である。従って、マスク領域に対応する床面には、ロボット照射光のみが照射される。
【0181】
このマスク処理により、自律走行ロボットA,30aはロボット照射光のみが照射された領域の画像を撮影してステレオカメラ方式に従ってオブジェクト距離や床の3次元形状を正確に解析することが可能となり、高精度な解析に基づく安全走行を行うことができる。
【0182】
(ステップS113)
一方、ステップS111において、光出力制御装置100の光照射領域に第2ロボットの移動経路が含まれると判定した場合は、ステップS113に進む。
【0183】
この場合、光出力制御装置100のデータ処理部105は、ステップS113において、現在処理対象としているロボットと異なる他の第2ロボットによる光照射が完了するまで、光出力制御装置100からの光出力を待機(停止)した後、光出力を実行する。
【0184】
このステップS113の処理は、図7に示す光出力制御装置100のデータ処理部105の処理決定部120と制御部130が実行する処理である。
【0185】
このステップS113の具体的処理例について、図25を参照して説明する。
図25には、このフローに従った処理を実行中の光出力制御装置a,100aと、現在処理対象としているロボットである自律走行ロボットA,30aと、他の第2ロボットである自律走行ロボットB,30bを示している。
【0186】
図25に示す例は、光出力制御装置a,100aの光照射領域に第2ロボットである自律走行ロボットB,30bの移動経路が含まれると判定した場合の処理である。
この場合、光出力制御装置100のデータ処理部105は、ステップS113において、現在処理対象としているロボットではない他の第2ロボットによる光照射が完了するまで、光出力制御装置100からの光出力を待機(停止)した後、光出力を実行する。
【0187】
この光出力停止処理により、現在処理対象としているロボットである自律走行ロボットA,30aと、他の第2ロボットである自律走行ロボットB,30bの両ロボットは、それぞれのロボット照射光のみが照射された領域の画像を撮影してステレオカメラ方式に従ってオブジェクト距離や床の3次元形状を正確に解析することが可能となり、高精度な解析に基づく安全走行を行うことができる。
【0188】
(ステップS121)
次に、図22に示すステップS121以下の処理について説明する。
ステップS121は、図20に示すステップS103において、ステップS101で決定した光照射領域内に、ロボットによる光照射領域があると判定され、さらに、図20に示すステップS104において、ロボット照射光が周期的な点滅を行う周期的点滅光であると判定された場合に実行する処理である。
【0189】
この場合、光出力制御装置100のデータ処理部105は、ステップS121において、ステップS101で決定した光照射領域内に含まれるロボット照射光の照射領域が、光出力制御装置100の光照射可能範囲にあるか否かを判定する。
【0190】
この処理は、図7に示す光出力制御装置100のデータ処理部105の制御部130が実行する処理である。
【0191】
ステップS101で決定した光出力制御装置100の光照射領域内に含まれるロボット照射光の照射領域が、光出力制御装置100の光照射可能範囲にあると判定した場合は、ステップS123に進む。
一方、ステップS101で決定した光出力制御装置100の光照射領域内に含まれるロボット照射光の照射領域が、光出力制御装置100の光照射可能範囲にないと判定した場合は、ステップS122に進む。
【0192】
(ステップS122)
ステップS121において、ステップS101で決定した光出力制御装置100の光照射領域内に含まれるロボット照射光の照射領域が、光出力制御装置100の光照射可能範囲にないと判定した場合は、ステップS122において以下の処理を実行する。
【0193】
この場合、光出力制御装置100のデータ処理部105は、ステップS122において、ステップS101で決定した光照射領域内に含まれるロボット照射光の照射領域が、光出力制御装置100の光照射可能範囲に設定されるように光出力部106を駆動する。
【0194】
この処理は、図7に示す光出力制御装置100のデータ処理部105の制御部130が実行する処理である。
このステップS122において、ステップS101で決定した光出力制御装置100の光照射領域内に含まれるロボット照射光の照射領域が、光出力制御装置100の光照射可能範囲に設定されるとステップS123に進む。
【0195】
(ステップS123)
ステップS123の処理は、以下のいずれかの処理の後、実行される。
(a)ステップS121において、ステップS101で決定した光出力制御装置100の光照射領域内に含まれるロボット照射光の照射領域が、光出力制御装置100の光照射可能範囲にあると判定された場合、または、
(b)ステップS121において、ステップS101で決定した光出力制御装置100の光照射領域内に含まれるロボット照射光の照射領域が、光出力制御装置100の光照射可能範囲にないと判定され、ステップS122において、光照射領域内に含まれるロボット照射光の照射領域を、光出力制御装置100による光照射可能範囲内に設定する処理が完了した場合、
これらの場合にステップS123以下の処理が実行される。
【0196】
この場合、光出力制御装置100のデータ処理部105は、ステップS123において、光出力制御装置100の光出力タイミング(割り込み周期)を決定する。
【0197】
この処理は、図7に示す光出力制御装置100のデータ処理部105の処理決定部120内の光出力タイミング決定部122が実行する処理である。
光出力タイミング決定部122は、ロボット照射光解析部112が解析したロボット照射光解析情報に基づいて、ロボット照射光の妨げとならない最適な光の出力タイミングを決定する。
【0198】
具体的には、例えば先に図16(2)を参照して説明したような点滅パターンの設定を持つように、光出力タイミングを決定する。
図16には、以下の各点滅パターンを示している。
(1)ロボット照射光の点滅パターン
(2)光出力制御装置の出力光点滅パターン
【0199】
図16(1)に示すロボット照射光の点滅パターンは、図15を参照して説明した点滅パターンであり、光出力制御装置a,100aのデータ解析部110のロボット照射光解析部112が解析したロボット照射光の点滅パターンである。
【0200】
光出力制御装置100の光出力タイミング決定部122は、図16(1)に示すロボット照射光の点滅パターンに基づいて、ロボット照射光の妨げとならない最適な光の出力タイミングを決定する。
【0201】
具体的には、図16(1)に示すロボット照射光の点滅パターン中のロボット照射光の出力がなされない期間(図16(1)のOFF期間)にのみ、光出力制御装置100からの照射光を出力するように出力タイミングを決定する。
すなわち、図16(2)に示すような点滅パターンの設定を持つように、光出力タイミングを決定する。
【0202】
(ステップS124)
次に、光出力制御装置100のデータ処理部105は、ステップS124において、ロボットの光照射領域を含む光照射領域に対して、光出力制御装置による光出力を実行する。
【0203】
このステップS124の処理は、図7に示す光出力制御装置100のデータ処理部105の制御部130と光出力部106が実行する処理である。
【0204】
具体的には、図16(2)に示すような点滅パターンに従って光出力を実行する。
この結果、ロボット照射光の妨げとならない最適な光の出力タイミングで、光出力制御装置100からの出力光が照射されることになる。
【0205】
具体的には、図26に示すようなロボット照射光出力タイミングと、図27に示すような光出力制御装置100からの出力光の出力タイミングとが交互に繰り返されるように、光出力制御装置100の制御部130が出力光を制御する。
【0206】
このような制御により、ロボット照射光の妨げとならない最適な光の出力タイミングで、光出力制御装置100からの出力光が照射され、自律走行ロボットA,30aはロボット照射光、または光出力制御装置100からの出力光のいずれかのみが照射された領域の画像を撮影してステレオカメラ方式に従ってオブジェクト距離や床の3次元形状を正確に解析することが可能となり、高精度な解析に基づく安全走行を行うことができる。
【0207】
[6.その他の実施例について]
次に、上述した光出力制御装置の実施例と異なるその他の実施例について説明する。
【0208】
(6-1.出力パターン画像補正部を有する実施例について)
まず、出力パターン画像補正部を有する実施例について説明する。
図7に示す本開示の光出力制御装置100の光出力部106からは、前述したように、例えば模様の入ったテクスチャパターン光が出力されロボット走行面等の投影面に照射される。
【0209】
しかし、例えばテクスチャパターン光の照射面が平面ではなく湾曲しているような場合、あるいは、照射領域が光出力制御装置100の光出力部106の斜め方向であるような場合には、照射面に投影されるテクスチャパターン光は、光出力制御装置100の光出力部106から出力したテクスチャパターン光と異なる歪んだパターンになってしまう場合がある。
【0210】
図28以下を参照して具体例について説明する。
一例として、光出力制御装置100の光出力部106が出力するテクスチャパターン光を図28(1)に示す格子状パターンであるとする。
【0211】
この格子状パターン光をロボット走行面等の投影面に照射する。この格子状パターン光の照射面が平面ではなく湾曲しているような場合、あるいは、照射領域が光出力制御装置100の光出力部106の斜め方向であるような場合には、照射面に投影されるパターン光は、例えば図28の(2a)や(2b)に示すような歪んだパターンになる場合がある。
【0212】
このような歪んだ形状のテクスチャパターン光に基づいて特徴点マッチングやオブジェクト距離算出を行うと精度が低下する可能性がある。
【0213】
この問題を解決するため、光出力制御装置100に出力パターン画像補正部を設ける。
具体例を図29に示す。
図29は、本実施例の光出力制御装置100のデータ処理部105の制御部130の構成を示す図である。
制御部130以外の構成は、先に図7を参照して説明した構成と同様の構成である。
【0214】
図29に示すように本実施例の光出力制御装置100のデータ処理部105の制御部130は、先に図7を参照して説明した光照射領域制御部131と、光出力タイミング制御部132の他、出力パターン画像補正部133を追加した構成を有する。
【0215】
出力パターン画像補正部133は、光出力部106から出力するテクスチャパターンの補正処理を実行する。
出力パターン画像補正部133は、この補正処理のため、パターン撮影画像155を入力する。
【0216】
図に示すように、カメラ101が、パターン照射面に照射されたテクスチャパターン画像を撮影する。出力パターン画像補正部133は、カメラ101の撮影画像であるパターン撮影画像155を入力し、このパターン撮影画像155に基づいて、光出力部106から出力するテクスチャパターンの補正処理を実行する。
【0217】
図30を参照して、テクスチャパターン補正処理の具体例について説明する。
例えばカメラ101の撮影したパターン撮影画像155が、図30(A)に示す画像であったとする。
【0218】
出力パターン画像補正部133は、図30(B)に示すように、カメラ101の撮影画像であるパターン撮影画像155を入力し、このパターン撮影画像155に基づいて、光出力部106から出力するテクスチャパターンの補正処理を実行する。
図30(B)には、
(b1)補正前出力パターン
(b2)補正後出力パターン
これらのテクスチャパターンを示している。
【0219】
(b1)補正前出力パターンは、光出力部106から出力されている現在のテクスチャパターンであり、このパターンをカメラ101で撮影したパターン撮影画像155が、図30(A)に示す歪んだ格子状のパターン画像に相当する。
【0220】
出力パターン画像補正部133は、図30(A)に示す歪んだ格子状のパターン画像であるパターン撮影画像155を入力し、このパターン撮影画像155に基づいて、光出力部106から出力するテクスチャパターンの補正処理を実行する。
例えば、光出力部106から出力するテクスチャパターンを、(b1)補正前出力パターンから、(b2)補正後出力パターンに補正する。
【0221】
このように補正したパターン画像、すなわち、(b2)補正後出力パターンを光出力部106から出力する。
この結果、テクスチャパターンの照射面、。例えばロボット走行面等の床に、図30(C)に示すような格子状の歪みのないテクスチャパターンが照射される。
【0222】
例えば自律走行ロボット30は、この歪みのないテクスチャパターンをカメラで撮影し、ステレオカメラ方式に従った特徴点マッチング、オブジェクト距離算出を行う。このように補正した歪みのないテクスチャパターンを用いることで精度の高い特徴点マッチング処理や、オブジェクト距離算出処理を行うことができる。
【0223】
(6-2.自動運転車両の走行路に光出力制御装置を設置した実施例について)
次に、自動運転車両の走行路に光出力制御装置を設置した実施例について説明する。
【0224】
図31を参照して、自動運転車両の走行路に光出力制御装置を設置した実施例について説明する。
図31には、スマートシティの照明インフラの一例を示している。車両は自動運転車両であり、カメラを含む様々なセンサの検出情報を利用して自動運転を行う。
【0225】
図に示すように道路に備えられた信号機やポールなどのインフラの一部に本開示の光出力制御装置100を装着する。
光出力制御装置100は、テクスチャパターン光を出力する。
自動運転車両は、この光出力制御装置100の出力するテクスチャパターン光の照射された道路盗をステレオカメラで撮影し、撮影画像を利用した特徴点マッチング処理やオブジェクト距離算出処理などを実行し、車両の進行方向の障害物などの情報を取得して安全な自動運転を行う。
【0226】
(6-3.ドローンに光出力制御装置を装着した実施例について)
次に、ドローンに光出力制御装置を装着した実施例について説明する。
【0227】
図32は、ドローンに光出力制御装置を装着した実施例について説明する図である。
図32に示すように、ドローン300に光出力制御装置100を装着する。
【0228】
多くの場合、マニュアルで操作するドローンは、夜間など暗い場所では飛行不可とされているが、図32に示すように、ドローン300に光出力制御装置100を装着し、光出力制御装置100からテクスチャパターン光を出力する。
【0229】
自律走行ロボットA,30aは、このパターン光の照射面の画像をカメラで撮影し、撮影画像を解析することで、パターン光照射面のオブジェクト距離や3次元形状の解析が可能となり、夜間や倉庫内などにおいても追加照明を敷設することなく自律移動が可能となる。
【0230】
なお、ドローン300自身も、ドローン300に装着した光出力制御装置100のカメラでパターン光の照射面の画像を撮影し、撮影画像を解析することで、パターン光照射面のオブジェクト距離や3次元形状の解析が可能となり、障害物を避けた飛行を行うことが可能となる。
【0231】
(6-4.ADAS(先進支援運転システム)における光出力制御装置の利用例)
次に、ADAS(先進支援運転システム)における光出力制御装置の利用例について説明する。
【0232】
先進支援運転システム(ADAS:Advanced Driver-Assistance System)は、自動運転システム等、自動車のセンサによって取得した周囲環境情報を用いて自動運転を行うシステムや運転者に警告等を行うシステムである。
【0233】
図33は、先進支援運転システム(ADAS)に、本開示の光出力制御装置を利用した実施例を示す図である。
【0234】
対向車へのヘッドライト照射を回避する技術がADB(Adaptive Driving Beam)として実用化されているが、自動運転技術が進化してゆくと、空間を認識するための3Dカメラ(LiDAR/ToF/ステレオカメラ)を多数搭載するクルマが普及すると思われる。
【0235】
図33に示すように、自動車のヘッドライト照射部に本開示の光出力制御装置100を装着する。
各車両のヘッドライト照射部の光出力制御装置100は相互に通信を実行する。
この構成により、例えば、対向車の発光タイミング・照射エリアを判断し、相互にセンシング発光のタイミングを調整するといった処理が可能となる。
【0236】
(6-5.光出力制御装置の利用によるヘッドライトグレア(まぶしさ)の低減構成)
次に、光出力制御装置の利用によるヘッドライトグレア(まぶしさ)の低減構成について説明する。
【0237】
例えば、図34は、夜間の雨で路面反射する対向車のヘッドライトによるグレア現象を示す図である。
グレアは突然まぶしい光を見ることで生じる幻惑等の現象であり、事故を引き起こす要因となる。
【0238】
このような現象は、人間だけでなくロボットの視覚に対しても認知を妨げる要因となる。
本開示の光出力制御装置を車両のヘッドライトとして用い、車両進行方向の状況をカメラで撮影し、撮影画像の解析に基づいて、光出力を制御する。例えば夜間の雨で路面反射する環境でると判定された場合、照射光の向きを変更、あるいは点滅パターンとしてON期間を短くするなどの制御が可能であり、この制御により、対向車のドライバにまぶしさを感じさせることのない制御が可能となる。
【0239】
[7.光出力制御装置のハードウェア構成例について]
次に、図7を参照して説明した本開示の光出力制御装置100のハードウェア構成例について説明する。
図35は、図7を参照して説明した光出力制御装置100のハードウェア構成の一例を示す図である。
以下、図35に示すハードウェア構成について説明する。
【0240】
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
【0241】
CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、タッチパネル、カメラを含むセンサ521等からなる入力部506、光出力部522などよりなる出力部507が接続されている。
【0242】
CPU501は、入力部506から入力されるセンサ検出情報等に基づいて各種の処理を実行する。さらに処理結果に応じて出力部507の制御などを実行する。
【0243】
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
【0244】
入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
【0245】
[8.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【0246】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) センサ入力情報に基づくデータ解析を行うデータ解析部と、
前記データ解析部の解析結果に基づいて、光出力部の出力光の光照射領域、または光出力タイミングの少なくともいずれかを決定する処理決定部と、
前記処理決定部の決定した光照射領域、または光出力タイミングの少なくともいずれかに従って光出力部を制御して光出力処理を実行する制御部を有する光出力制御装置。
【0247】
(2) 前記光出力制御装置は、
他の光出力制御装置との通信処理を行う通信部を有し、
前記データ解析部は、前記通信部を介して入力する他装置からの受信情報を利用してデータ解析を実行する(1)に記載の光出力制御装置。
【0248】
(3) 前記他装置からの受信情報には、前記他装置のセンサ検出情報、または前記他装置におけるデータ解析結果の少なくともいずれかが含まれる(2)に記載の光出力制御装置。
【0249】
(4) 前記処理決定部は、
前記データ解析部が、前記他装置からの受信情報を利用して生成した解析結果に基づいて、光出力部の出力光の光照射領域、または光出力タイミングの少なくともいずれかを決定する(2)または(3)に記載の光出力制御装置。
【0250】
(5) 前記データ解析部は、
前記センサ入力情報に基づいて照射光が届いていないオクルージョン領域を解析し、
前記処理決定部は、
前記オクルージョン領域を解消または減少させる光照射領域を決定する(1)~(4)いずれかに記載の光出力制御装置。
【0251】
(6) 前記データ解析部は、
前記センサ入力情報と、通信部を介して入力する他装置からの受信情報に基づいて照射光が届いていないオクルージョン領域を解析する(5)に記載の光出力制御装置。
【0252】
(7) 前記データ解析部は、
前記センサ入力情報に基づいて、移動装置の出力する移動装置照射光の照射領域の解析を実行し、
前記処理決定部は、
前記移動装置照射光の照射領域と重ならない領域を光照射領域として決定する(1)~(6)いずれかに記載の光出力制御装置。
【0253】
(8) 前記データ解析部は、
前記センサ入力情報と、通信部を介して入力する他装置からの受信情報に基づいて、前記移動装置照射光の照射領域の解析を実行する(7)に記載の光出力制御装置。
【0254】
(9) 前記制御部は、
マスク処理により前記光出力部からの光照射領域制御を実行する(7)または(8)に記載の光出力制御装置。
【0255】
(10) 前記データ解析部は、
前記センサ入力情報に基づいて、移動装置の出力する移動装置照射光の点滅パターン解析を実行し、
前記処理決定部は、
前記移動装置照射光の点滅パターンに基づいて、前記光出力部の光出力タイミングを決定する(1)~(9)いずれかに記載の光出力制御装置。
【0256】
(11) 前記処理決定部は、
前記移動装置照射光の点滅パターンに基づいて、前記移動装置照射光の出力停止期間に、前記光出力部からの光出力が行われるように光出力タイミングを決定する(10)に記載の光出力制御装置。
【0257】
(12) 前記データ解析部は、
前記センサ入力情報と、通信部を介して入力する他装置からの受信情報に基づいて、前記移動装置照射光の点滅パターン解析を実行する(10)または(11)に記載の光出力制御装置。
【0258】
(13) 前記制御部は、
クロック信号として利用可能な点滅パターン信号を前記光出力部から出力する(1)~(12)いずれかに記載の光出力制御装置。
【0259】
(14) 前記制御部は、
他装置との同期処理に適用可能なマスタクロック信号として利用可能な点滅パターン信号を前記光出力部から出力する(13)に記載の光出力制御装置。
【0260】
(15) 前記制御部は、
前記光出力部からテクスチャパターン光を出力する(1)~(14)いずれかに記載の光出力制御装置。
【0261】
(16) 前記制御部は、
前記光出力部から出力するテクスチャパターン光の歪み補正処理を実行する(15)に記載の光出力制御装置。
【0262】
(17) 光出力制御装置において実行する光出力制御方法であり、
データ処理部が、
センサ入力情報に基づくデータ解析を行うデータ解析ステップと、
前記データ解析ステップにおける解析結果に基づいて、光出力部の出力光の光照射領域、または光出力タイミングの少なくともいずれかを決定する処理決定ステップと、
前記処理決定ステップにおいて決定した光照射領域、または光出力タイミングの少なくともいずれかに従って光出力部を制御して光出力処理を実行する光出力制御ステップを有する光出力制御方法。
【0263】
(18) 光出力制御装置において光出力制御処理を実行させるプログラムであり、
データ処理部に、
センサ入力情報に基づくデータ解析を行わせるデータ解析ステップと、
前記データ解析ステップにおける解析結果に基づいて、光出力部の出力光の光照射領域、または光出力タイミングの少なくともいずれかを決定させる処理決定ステップと、
前記処理決定ステップにおいて決定した光照射領域、または光出力タイミングの少なくともいずれかに従って光出力部を制御して光出力処理を実行させる光出力制御ステップを実行させるプログラム。
【0264】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0265】
また、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【0266】
以上、説明したように、本開示の一実施例の構成によれば、オクルージョン領域を解消し、移動装置の点滅パターン光の妨げとならない光出力制御を実行する装置、方法が実現される。
具体的には、例えば、センサ入力情報や他装置からの受信情報に基づくデータ解析結果に基づいて、光出力部の出力光の光照射領域、または光出力タイミングの少なくともいずれかを決定して、決定した光照射領域、または光出力タイミングに従って光出力部を制御して光出力処理を実行する。具体的には、例えば柱などにより光が届かないオクルージョン領域を解消し、さらに、移動装置の出力する点滅パターン光を妨げないような光出力制御を実行する。
本構成により、オクルージョン領域を解消し、移動装置の点滅パターン光の妨げとならない光出力制御を実行する装置、方法が実現される。
【符号の説明】
【0267】
10 走行面
20 照明
30 自律走行ロボット
100 光出力制御装置
101 カメラ
102 赤外線カメラ
103 フリッカ検出センサ
104 通信部
105 データ処理部
106 光出力部
110 データ解析部
111 オクルージョン領域(影領域)解析部
112 ロボット照射光解析部
120 処理決定部
121 光照射領域決定部
122 光出力タイミング決定部
130 制御部
131 光照射領域制御部
132 光出力タイミング制御部
133 出力パターン画像補正部
170 光出力制御システム
180 光出力制御サーバ
201 センサ
202 データ処理部
203 ロボット駆動部
211 センサ検出信号解析部
212 センサ制御信号生成部
213 センサ制御部
214 ロボット駆動信号生成部
220 ロボット制御サーバ
250 ロボット制御システム
300 ドローン
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア
521 センサ
522 光出力部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35