特開 2024-94344 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024094344

(43)【公開日】2024-07-09

(54)【発明の名称】発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム

(51)【国際特許分類】

   G01S 3/783 20060101AFI20240702BHJP

   H04B 10/112 20130101ALI20240702BHJP

【ＦＩ】

G01S3/783

H04B10/112

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2024061122

(22)【出願日】2024-04-04

(62)【分割の表示】P 2020530271の分割

【原出願日】2019-07-11

(31)【優先権主張番号】P 2018132429

(32)【優先日】2018-07-12

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】515337268

【氏名又は名称】ＧＲＯＯＶＥ Ｘ株式会社

(72)【発明者】

【氏名】林 要

(72)【発明者】

【氏名】平野 康博

(72)【発明者】

【氏名】横山 智彰

(72)【発明者】

【氏名】沼口 直紀

(72)【発明者】

【氏名】川崎 航平

(57)【要約】

【課題】
発信方向を精度よく推定する。
【解決手段】
発信元方向推定装置（２０）は、受光方向の異なる複数の赤外線の受光素子（２１ａ）～（２１ｄ）と、所定の時間内に、それぞれの受光素子（２１ａ）～（２１ｄ）の受光量に基づいて、赤外線の発信元の方向を推定する方向推定部（２２）とを備える。
【選択図】図1

【特許請求の範囲】

【請求項1】

受光方向の異なる複数の赤外線受光部と、
所定の時間内における、それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定する方向推定部と、
を備える発信元方向推定装置。

【請求項2】

前記赤外線受光部は、所定の通信プロトコルに従って、受光した赤外線をパケットに復元し、
前記方向推定部は、前記所定の時間内に、それぞれの前記赤外線受光部が受信したパケット数に基づいて、赤外線の発信元の方向を推定する請求項１に記載の発信元方向推定装置。

【請求項3】

前記方向推定部は、前記所定の時間内に、それぞれの前記赤外線受光部が受信したパケット数に加え、パケットを構成しなかったデータ数にも基づいて、赤外線の発信元の方向を推定する請求項２に記載の発信元方向推定装置。

【請求項4】

前記方向推定部は、受信したパケット数が最大の赤外線受光部が受信したパケット数およびデータ数と、当該赤外線受光部の受光方向と隣接する受光方向を有する赤外線受光部が受信したパケット数およびデータ数とに基づいて、赤外線の発信元の方向を推定する請求項３に記載の発信元方向推定装置。

【請求項5】

受光方向の異なる複数の赤外線受光部と、
いずれかの赤外線受光部の受光量が所定の閾値に達し、かつ、前記所定の閾値になるまでの時間が所定の時間内である場合に、当該赤外線受光部の受光方向を赤外線の発信元の方向であると推定する方向推定部と、
を備える発信元方向推定装置。

【請求項6】

前記方向推定部は、現時点での推定結果と過去の推定結果とに基づいて、赤外線の発信元の方向を推定する請求項１から５までのいずれかに記載の発信元方向推定装置。

【請求項7】

赤外線発光部を有する発信元装置と、
請求項１から６までのいずれかに記載の発信元方向推定装置と、
を備える発信元方向推定システム。

【請求項8】

発光方向の異なる複数の赤外線発光部と、
前記各赤外線発光部の発光タイミングが重ならないように制御する発光制御部と、
を有する前記発信元装置と、
請求項１から６までのいずれかに記載の発信元方向推定装置と、
を備える発信元方向推定システム。

【請求項9】

前記赤外線発光部は、一定の周期で赤外線を出力し、かつ、出力強度を変えた赤外線を出力する、請求項７または８に記載の発信元方向推定システム。

【請求項10】

前記赤外線発光部は、出力強度の小さい赤外線を出力強度の大きい赤外線よりも高い頻度で出力する請求項９に記載の発信元方向推定システム。

【請求項11】

前記赤外線発光部は、所定の出力強度範囲の中で前記赤外線の出力強度を変化させ、前記発信元方向推定装置は受光した赤外線の出力強度の情報を前記赤外線発光部に送信し、前記赤外線発光部は、前記発信元方向推定装置が受光した赤外線の出力強度に基づいて前
記出力強度範囲を変更する請求項９または１０に記載の発信元方向推定システム。

【請求項12】

前記赤外線発光部は、赤外線の出力強度を示す情報を含むパケットを送信し、
前記発信元方向推定装置は、前記赤外線受光部で受信したパケットに含まれる出力強度を示す情報に基づいて、発信元の赤外線発光部までの距離を推定する距離推定部を備える請求項９から１１までのいずれかに記載の発信元方向推定システム。

【請求項13】

発信元装置と、請求項２から４までのいずれかに記載の発信元方向推定装置とを備える発信元方向推定システムであって、
前記発信元装置は、
発光方向の異なる複数の赤外線発光部であって、それぞれの赤外線発光部の発信元識別子を含むパケットを送信する複数の赤外線発光部と、
前記発信元方向推定装置と通信を行う通信部と、
を備え、
前記発信元方向推定装置は、
発信元の推定に用いたパケットに含まれる発信元識別子を送信する通信部を備える発信元方向推定システム。

【請求項14】

方向推定に用いられる赤外線を出力する赤外線発光装置であって、
出力強度の小さい赤外線を出力強度の大きい赤外線よりも高い頻度で含む赤外線を発光する赤外線発光装置。

【請求項15】

赤外線のデータにより構成されるパケットに、当該赤外線の出力強度を示す情報を含む請求項１４に記載の赤外線発光装置。

【請求項16】

赤外線を出力する赤外線発光装置と、
受光方向の異なる複数の赤外線受光部と、
所定の時間内における、それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定する方向推定部と、
を備えるロボット。

【請求項17】

受光方向の異なる複数の赤外線受光部によって赤外線を受光するステップと、
所定の時間内における、それぞれの前記赤外線受光部の受光量を測定するステップと、
それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定するステップと、
を備える発信元方向推定方法。

【請求項18】

受光方向の異なる複数の赤外線受光部にて受光した赤外線に基づいて、発信元の方向を推定するためのプログラムであって、前記赤外線受光部と接続されたコンピュータに、
前記複数の赤外線受光部から赤外線を受光するステップと、
所定の時間内における、それぞれの前記赤外線受光部の受光量を測定するステップと、
それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定するステップと、
を実行させるプログラム。

【請求項19】

赤外線発光部を有する発信元装置と音声を出力する音声出力装置とを備えた対象物の存在する方向を推定するシステムであって、
前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定する請求項１から６までのいずれかに記載の発信元方向推定装置と、
前記対象物の音声出力装置から出力された音声の到来方向を検出するＤＯＡ検出装置と
、
周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在する方向を推定する画像認識装置と、
前記発信元方向推定装置にて推定した赤外線の発信元方向と前記ＤＯＡ検出装置にて検出した音声の到来方向とに基づいて前記カメラによる撮影方向を決定し、当該撮影方向を前記カメラに指示し、前記撮影方向を撮影した画像に基づいて前記画像認識装置が推定した方向を前記対象物が存在する方向と推定する推定結果統合部と、
を備える対象物存在方向推定システム。

【請求項20】

赤外線発光部を有する発信元装置を備えた対象物の方向を推定するシステムであって、
前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定する請求項１から６までのいずれかに記載の発信元方向推定装置と、
周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在する方向を推定する画像認識装置と、
前記発信元方向推定装置にて推定した赤外線の発信元方向と、前記画像認識装置にて認識した対象物の方向とに重なりがある場合には、前記画像認識装置による推定結果を対象物の存在する方向と推定し、重なりがない場合には、前記発信元方向推定装置にて推定した赤外線の発信元方向に基づいて前記カメラによる撮影方向を決定し、当該撮影方向を前記カメラに指示し、前記撮影方向を撮影した画像に基づいて前記画像認識装置が推定した方向を前記対象物が存在する方向と推定する推定結果統合部と、
を備える対象物存在方向推定システム。

【請求項21】

赤外線発光部を有する発信元装置と音声を出力する音声出力装置とを備えた対象物の方向を推定するシステムであって、
前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定する請求項１から６までのいずれかに記載の発信元方向推定装置と、
前記対象物の音声出力装置から出力された音声の到来方向を検出するＤＯＡ検出装置と、
周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在する方向を推定する画像認識装置と、
前記発信元方向推定装置にて推定した赤外線の発信元方向と、前記ＤＯＡ検出装置にて検出した音声の到来方向と、前記画像認識装置にて認識した対象物の方向の結果を統合して、前記対象物が存在する方向を推定する推定結果統合部と、
を備え、
前記推定結果統合部は、赤外線量が所定の閾値以上の環境では発信元方向推定装置を無効にし、環境音が所定の閾値以上の環境ではＤＯＡ検出装置にし、明るさが所定の閾値以下の環境では画像認識装置を無効にする対象物存在方向推定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、赤外線の発信元の方向を推定する発信元方向推定装置に関する。

【背景技術】

【0002】

従来から、赤外線の指向性を利用して、赤外線発光装置がある方向を推定する発信元方向推定装置が知られていた。特許文献１は、発信元の方向を推定する装置をロボットナビゲーションに適用した発明を開示している。特許文献１に係る発明では、目的地に所定の信号を発信する信号発信装置を設置しておき、信号発信装置から発信される信号をユーザが携行するロボットに受信させて、ロボットの動作により目的地への案内をさせる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８－５８２８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

赤外線の発信元の方向を推定する装置は、受光方向の異なる複数の赤外線受光部を備え、どの赤外線受光部で赤外線を受光したかによって、受光方向を推定する。しかし、複数の赤外線受光部は、一定の角度間隔をあけて異なる受光方向を向くように配置されるので、隣接する赤外線受光部の受光方向の中間の方向に発信元がある場合には、次のような事態が起こることがあった。

【0005】

ここでは、２つの赤外線受光部Ａ，Ｂを想定する。赤外線の発信元が赤外線受光部Ａの受光方向により近いとした場合、赤外線受光部Ａが赤外線を受光するのが理想であるが、赤外線受光部Ｂも赤外線を受光する可能性があり、また、赤外線受光部Ａも赤外光を受光したりしなかったりすることがある。このような場合に、赤外線受光部Ａによる受光結果（受信した／しない）が揺れ動いてしまい、推定される方向もまた揺れ動いてしまうことがあった。

【0006】

本発明は、上記背景に鑑み、安定的に発信元の方向を推定することができる発信元方向推定装置等を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の発信方向推定装置は、受光方向の異なる複数の赤外線受光部と、所定の時間内における、それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定する方向推定部とを備える。

【発明の効果】

【0008】

本発明によれば、発信元の方向推定を安定的に行うことができる。

【図面の簡単な説明】

【0009】

【図1】図１は、第１の実施の形態の発信元方向推定システムの構成を示す図である。

【図2A】図２Ａは、赤外線発光素子の発光タイミングを示す図である。

【図2B】図２Ｂは、複数の赤外線発光素子の発光タイミングを示す図である。

【図3】図３は、第１の実施の形態の発信元方向推定装置による発信元方向推定の原理を示す図である。

【図4】図４は、第２の実施の形態の発信元方向推定装置による発信元方向推定の原理を示す図である。

【図5A】図５Ａは、第２の実施の形態の発信元方向推定装置による発信元方向推定の原理を示す図である。

【図5B】図５Ｂは、第２の実施の形態の発信元方向推定装置による発信元方向推定の原理を示す図である。

【図6】図６は、第２の実施の形態の発信元方向推定装置の動作を示すフローチャートである。

【図7】図７は、第３の実施の形態において発光装置から出力する赤外線の強度変化を示す図である。

【図8】図８は、第３の実施の形態の発信元方向推定装置の構成を示す図である。

【図9】図９は、第３の実施の形態の発信元方向推定装置の動作を示すフローチャートである。

【図10A】図１０Ａは、第４の実施の形態の発信元方向推定システムを備えたロボットを示す模式図である。

【図10B】図１０Ｂは、図１０ＡのＢ－Ｂ断面図である。

【図11】図１１は、第４の実施の形態のロボットの構成を示す図である。

【図12】図１２は、ロボットに用いられる方向推定装置の構成を示す図である。

【図13】図１３は、ロボットに搭載されたロボット存在方向推定システムの構成を示す図である。

【図14】図１４は、推定結果統合部による推定結果統合の第３方式を示すフローチャートである。

【図15】図１５は、推定結果統合部による推定結果統合の第４方式を示すフローチャートである。

【発明を実施するための形態】

【0010】

実施の形態の発信元方向推定装置は、受光方向の異なる複数の赤外線受光部と、所定の時間内における、それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定する方向推定部とを備える。所定の時間内に、各赤外線受光部で受光した受光量に基づいて発信元の方向を推定することにより、わずかな環境の変化等によって、発信元として推定される方向が容易に変わってしまう不都合を低減できる。

【0011】

実施の形態の発信元方向推定装置において、前記赤外線受光部は、所定の通信プロトコルに従って、受光した赤外線をパケットに復元し、前記方向推定部は、前記所定の時間内に、それぞれの前記赤外線受光部が受信したパケット数に基づいて、赤外線の発信元の方向を推定してもよい。この構成により、受光量として、復元されたパケットの数をカウントし、当該パケット数に基づいて、発信元方向を精度良く推定することができる。

【0012】

実施の形態の発信元方向推定装置において、前記方向推定部は、前記所定の時間内に、それぞれの前記赤外線受光部が受信したパケット数に加え、パケットを構成しなかったデータ数にも基づいて、赤外線の発信元の方向を推定してもよい。このように受光量として、パケット数のみならず、データ数も用いることで、方向推定に用いる情報が増え、精度を高めることができる。

【0013】

実施の形態の発信元方向推定装置において、前記方向推定部は、受信したパケット数が最大の赤外線受光部が受信したパケット数およびデータ数と、当該赤外線受光部の受光方向と隣接する受光方向を有する赤外線受光部が受信したパケット数およびデータ数とに基づいて、赤外線の発信元の方向を推定してもよい。正しく受信できたパケットの受信数が最大の赤外線受光部、及び、受光方向が隣接する赤外線受光部を用いることで、精度良く発信元を推定することができる。

【0014】

実施の形態の別の態様の発信元方向推定装置は、受光方向の異なる複数の赤外線受光部と、いずれかの赤外線受光部が受光した受光量が所定の閾値に達し、かつ、前記所定の閾値になるまでの時間が所定の時間内である場合に、当該赤外線受光部の受光方向を赤外線の発信元の方向であると推定する方向推定部とを備える。この構成により、受光量が所定の閾値になったことをもって、発信元の方向を推定するので、わずかな環境の変化等によって、発信元として推定される方向が容易に変わってしまう不都合を低減できる。ここで、所定の閾値は、例えば、赤外線受光部が受信するパケットの個数によって規定してもよい。例えば、方向推定部は、赤外線受光部にて３個のパケットを受信したら、その赤外線受光部の受光量が所定の閾値に達したと判定してもよい。

【0015】

実施の形態の別の態様の発信元方向推定装置において、前記方向推定部は、現時点での推定結果と過去の推定結果とに基づいて、赤外線の発信元の方向を推定してもよい。このように現時点での推定結果に加えて過去の推定結果を用いることにより、精度の高い推定を行うことができる。

【0016】

実施の形態の発信元方向推定システムは、赤外線発光部を有する発信元装置と、上記に記載の発信元方向推定装置とを備える。この構成により、発信元装置のある方向を推定することができる。

【0017】

実施の形態の発信元方向推定システムは、発光方向の異なる複数の赤外線発光部と、前記各赤外線発光部の発光タイミングが重ならないように制御する発光制御部とを有する前記発信元装置と、上記に記載の発信元方向推定装置とを備える。このように発信元装置が発光方向の異なる複数の赤外線発光部を有し、周囲の広範囲に赤外線を発光することにより、発信元方向推定装置は、広い範囲において発信元の方向を推定することができる。

【0018】

実施の形態の発信元方向推定システムにおいて、前記赤外線発光部は、一定の周期で赤外線を出力し、かつ、出力強度を変えた赤外線を出力してもよい。赤外線の出力が小さいと発信元装置が遠く離れている場合には方向を推定することが困難であり、赤外線の出力強度が大きいと複数の発信元装置がある場合に反射赤外線が多くなり方向推定が困難となる。出力強度を変更することにより、発信元の赤外線発光部が遠くにある場合には出力強度が大きい赤外線によって方向を推定できると共に、発信元の赤外線発光部が近くにある場合には出力強度が小さい赤外線によって適切に方向を推定できる。

【0019】

実施の形態の発信元方向推定システムにおいて、前記赤外線発光部は、所定の出力強度範囲の中で前記赤外線の出力強度を変化させ、前記発信元方向推定装置は受信した赤外線の出力強度の情報を前記赤外線発光部に送信し、前記赤外線発光部は、前記発信元方向推定装置が受信した赤外線の出力強度に基づいて前記出力強度範囲を変更してもよい。なお、発信元方向推定装置は、赤外線発光部における赤外線の出力強度の絶対値を知る必要はなく、周期的に出力強度を変更して送信される赤外線の中の相対的な出力強度が分かればよい。この情報を赤外線発光部に送信することにより、赤外線発光部はどの出力強度の赤外線が受光されたかを知ることができる。

【0020】

この構成により、発信元方向推定装置が受光した赤外線の出力強度が、所定の出力強度範囲内の相対的に低い出力強度である場合には、発信元方向推定装置と赤外線発光部との距離が近いと考えられるから、出力強度範囲を低い方へシフトする。発信元方向推定装置が受光した赤外線の出力強度が、所定の出力強度範囲内の相対的に高い出力強度のみである場合には、発信元方向推定装置と赤外線発光部との距離が遠いと考えられるから、出力強度範囲を高い方へシフトする。

【0021】

実施の形態の発信元方向推定システムにおいて、前記赤外線発光部は、出力強度の小さい赤外線を出力強度の大きい赤外線よりも高い頻度で出力してもよい。発信元の赤外線発光部が近くにあるときには、出力強度の大きい赤外線の反射によってエラーが起きる可能性があるが、本実施の形態の構成により、その頻度を低くすることができる。

【0022】

実施の形態の発信元方向推定システムにおいて、前記赤外線発光部は、赤外線の出力強度を示す情報を含むパケットを送信し、前記発信元方向推定装置は、前記赤外線受光部で受信したパケットに含まれる出力強度を示す情報に基づいて、発信元の赤外線発光部までの距離を推定する距離推定部を備えてもよい。この構成により、発信元までのおおよその距離を推測することができる。

【0023】

実施の形態の別の態様の発信元方向推定システムは、発信元装置と、上記に記載の発信元方向推定装置とを備える発信元方向推定システムであって、前記発信元装置は、発光方向の異なる複数の赤外線発光部であって、それぞれの赤外線発光部の発信元識別子を含むパケットを送信する複数の赤外線発光部と、前記発信元方向推定装置と通信を行う通信部
とを備え、前記発信元方向推定装置は、発信元の推定に用いたパケットに含まれる発信元識別子を送信する通信部を備えてもよい。これにより、発信元装置では、複数の赤外線発光部のうちのどの赤外線発光部から送信されたパケットが発信元方向推定装置に受信されたか分かるので、発信元装置から見た発信元方向推定装置のある方向が分かる。

【0024】

実施の形態の赤外線発光装置は、方向推定に用いられる赤外線を出力する赤外線発光装置であって、出力強度の小さい赤外線を出力強度の大きい赤外線よりも高い頻度で含む赤外線を発光する。

【0025】

実施の形態の赤外線発光装置は、赤外線のデータにより構成されるパケットに、当該赤外線の出力強度を示す情報を含んでもよい。

【0026】

実施の形態のロボットは、赤外線を出力する赤外線発光装置と、受光方向の異なる複数の赤外線受光部と、所定の時間内における、それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定する方向推定部とを備える。この構成により、複数のロボットが存在する環境において、赤外線を用いて他のロボットのいる方向を推定することができる。

【0027】

実施の形態の発信元方向推定方法は、受光方向の異なる複数の赤外線受光部によって赤外線を受光するステップと、所定の時間内における、それぞれの前記赤外線受光部の受光量を測定するステップと、それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定するステップとを備える。

【0028】

実施の形態のプログラムは、受光方向の異なる複数の赤外線受光部にて受光した赤外線に基づいて、発信元の方向を推定するためのプログラムであって、前記赤外線受光部と接続されたコンピュータに、前記複数の赤外線受光部から赤外線を受光するステップと、所定の時間内における、それぞれの前記赤外線受光部の受光量を測定するステップと、それぞれの前記赤外線受光部の受光量に基づいて、赤外線の発信元の方向を推定するステップとを実行させる。

【0029】

実施の形態の対象物存在方向推定システムは、赤外線発光部を有する発信元装置と音声を出力する音声出力装置とを備えた対象物の存在する方向を推定するシステムであって、前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定する上記に記載の発信元方向推定装置と、前記対象物の音声出力装置から出力された音声の到来方向を検出するＤＯＡ検出装置と、周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在する方向を推定する画像認識装置と、前記発信元方向推定装置にて推定した赤外線の発信元方向とＤＯＡ検出装置にて検出した音声の到来方向とに基づいて前記カメラによる撮影方向を決定し、当該撮影方向を前記カメラに指示し、前記撮影方向を撮影した画像に基づいて前記画像認識装置が推定した方向を前記対象物が存在する方向と推定する推定結果統合部とを備える。この構成により、発信元方向推定装置とＤＯＡ検出装置と画像認識装置のそれぞれによる推定結果に基づいて、対象物の存在する方向を推定することができる。

【0030】

実施の形態の別の態様の対象物存在方向推定システムは、赤外線発光部を有する発信元装置を備えた対象物の方向を推定するシステムであって、前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定する上記に記載の発信元方向推定装置と、周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在する方向を推定する画像認識装置と、前記発信元方向推定装置にて推定した赤外線の発信元方向と、前記画像認識装置にて認識した対象物の方向とに重なりがある場合には、前記画像認識装置による推定結果を対象物の存在する方向と推定し、重なりがない場合には
、前記発信元方向推定装置にて推定した赤外線の発信元方向に基づいて前記カメラによる撮影方向を決定し、当該撮影方向を前記カメラに指示し、前記撮影方向を撮影した画像に基づいて前記画像認識装置が推定した方向を前記対象物が存在する方向と推定する推定結果統合部とを備える。この構成により、発信元方向推定装置と画像認識装置のそれぞれによる推定結果に基づいて、対象物の存在する方向を推定することができる。

【0031】

実施の形態の別の態様の対象物存在方向推定システムは、赤外線発光部を有する発信元装置と音声を出力する音声出力装置とを備えた対象物の方向を推定するシステムであって、前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定する上記に記載の発信元方向推定装置と、前記対象物の音声出力装置から出力された音声の到来方向を検出するＤＯＡ検出装置と、周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在する方向を推定する画像認識装置と、前記発信元方向推定装置にて推定した赤外線の発信元方向と、ＤＯＡ検出装置にて検出した音声の到来方向と、前記画像認識装置にて認識した対象物の方向の結果を統合して、前記対象物が存在する方向を推定する推定結果統合部とを備え、前記推定結果統合部は、赤外線量が所定の閾値以上の環境では発信元方向推定装置を無効にし、環境音が所定の閾値以上の環境ではＤＯＡ検出装置にし、明るさが所定の閾値以下の環境では画像認識装置を無効にする。この構成により、環境によって精度の出ない推定結果を無効とすることにより、結果として精度の高い推定を行うことができる。

【0032】

以下、実施の形態の発信元方向推定装置およびこれを備えたロボットについて図面を参照して説明する。
（第１の実施の形態）
図１は、第１の実施の形態の発信元方向推定システム１の構成を示す図である。発信元方向推定システム１は、赤外線を発光する発信元装置１０と、発信元装置１０から発せられた赤外線を受光して、発信元の方向を推定する発信元方向推定装置２０とを備えている。

【0033】

発信元装置１０は、発光方向の異なる４つの赤外線発光素子１１ａ～１１ｄと、赤外線発光素子１１ａ～１１ｄの発光タイミング等を制御する発光制御部１２を有する。赤外線発光素子１１ａ～１１ｄを総称する場合や特定の赤外線発光素子１１ａ～１１ｄを限定しない場合は、「赤外線発光素子１１」という。本実施の形態において、発信元装置１０が４つの赤外線発光素子１１ａ～１１ｄを備えているのは、発信元装置１０の周囲の全方位に向けて赤外線を発光するためであるが、赤外線発光素子１１の個数は４つに限定されるものではない。例えば、赤外線を全方位に発光する必要のない場合には、赤外線発光素子１１の個数を減らしてもよい。逆に、赤外線発光素子１１の個数を増やして、赤外線の密度を増してもよい。

【0034】

図２Ａは、赤外線発光素子１１の発光タイミングを示す図である。赤外線発光素子１１は、所定の周期Ｔで赤外線ＩＲを発光する。赤外線ＩＲは、所定のプロトコルに従って構成されたパケットである。一例としては、０ｘＦＡ、０ｘ９ｎ、ユーザデータ８バイト、チェックサムの構成を備えている。

【0035】

図２Ｂは、４つの赤外線発光素子１１ａ～１１ｄの発光タイミングを示す図である。各赤外線発光素子１１ａ～１１ｄの発光の周期Ｔは、図２Ａで示した発光の周期Ｔと同じであるが、４つの赤外線発光素子１１ａ～１１ｄの発光タイミングは、互いに重ならないようにずれている。

【0036】

図１に示すように、発信元方向推定装置２０は、受光方向の異なる４つの受光素子２１ａ～２１ｄと、各受光素子２１ａ～２１ｄでの受光量に基づいて、赤外線の発信元の方向
を推定する方向推定部２２とを有する。受光素子２１ａ～２１ｄを総称する場合や特定の受光素子２１ａ～２１ｄを限定しない場合は、「受光素子２１」という。４つの受光素子２１ａ～２１ｄによって発信元方向推定装置２０の周囲の全方位をカバーしており、どの方向から赤外線が到来しても、４つの受光素子２１のうちのいずれかの受光素子２１ａ～２１ｄが赤外線を受光する。なお、受光素子２１の個数は、４つに限定されるものではなく、例えば、６つや８つの受光素子２１を備えることとしてもよい。

【0037】

方向推定部２２は、４つの受光素子２１ａ～２１ｄによる受光結果に基づいて、赤外線の発信元の方向、すなわち発信元装置１０の方向を推定する機能を有する。

【0038】

図３は、方向推定部２２によって、赤外線の発信元の方向を推定する原理を示す図である。図３には、各受光素子２１が受光した赤外線のパケット数を記載している。

【0039】

方向推定部２２は、所定の時間内に受光した赤外線の受光量が最も多かった受光素子２１の受光方向が発信元の方向であると推定する。本実施の形態では、受信したパケット数が最も多かった受光素子の受光方向が発信元の方向であると推定する。図３に示す例では、受光素子２１ａのパケット数が「３」で最大であるから、受光素子２１ａの受光方向である紙面上向き方向が発信元の方向であると推定する。なお、所定の時間は、赤外光の発光周期にもよるが、例えば、発光周期が１１０ｍｓの場合には、１秒程度とすることが好ましい。

【0040】

以上、第１の実施の形態の発信元方向推定システム１の構成について説明した。第１の実施の形態の発信元方向推定装置２０は、受光方向の異なる複数の受光素子２１ａ～２１ｄを備え、各受光素子２１ａ～２１ｄが所定の時間内に受光した赤外線のパケット数（すなわち受光量）に基づいて、赤外線の発信元の方向を推定する。つまり、単にパケットを受信した受光素子２１ａ～２１ｄを受光方向とするのではなく、所定の時間のうちで最も受光量が多かった方向を受光方向とするので、わずかな環境の変化等によって、発信元として推定される方向が容易に変わってしまう不都合を低減できる。

【0041】

（第２の実施の形態）
次に、第２の実施の形態の発信元方向推定システムについて説明する。第２の実施の形態の発信元方向推定システムにおいて用いられる発信元装置１０の基本的な構成は、第１の実施の形態と同じである。第２の実施の形態の発信元方向推定装置２０は、方向推定部２２にて発信元を推定する処理が第１の実施の形態の発信元方向推定装置２０とは異なる。

【0042】

図４は、第２の実施の形態の発信元方向推定装置２０による発信元方向推定の原理を示す図である。第２の実施の形態の発信元方向推定装置２０は、各受光素子２１ａ～２１ｄにて受光した赤外線の総データ数に基づいて、発信元の方向を推定する。ここで、「データ数」について説明する。図２Ａで説明した１個の赤外光によって、１つのパケットが送信される。パケットは、所定のプロトコルに従って構成される情報の単位であって、ヘッダやユーザデータ、チェックサム等を含む。１つのパケットは、複数のデータ（これを「フレーム」と呼ぶこともある）が集まって構成される。準拠するプロトコルによるが、１つのパケットは、例えば、１１個のデータで構成される。各データの長さは１バイトである。１つのパケットが１１個のデータで構成される場合、１つのパケットを受信すると１１個のデータを受信したことになる。

【0043】

第２の実施の形態の発信元方向推定システムでは、方向推定部２２は、赤外線を受信すると所定のプロトコルにしたがってパケットを復元し、正しく復元できたパケットの数をカウントする。また、方向推定部２２は、赤外線をパケットの単位で受信した場合以外に
も、パケットを構成しなかったデータを受信した場合もデータ数をカウントする。

【0044】

図４は、各受光素子２１ａ～２１ｄが受信したパケット数とデータ数の例を記載している。また、図４に示すように、方向推定部２２は、ノイズエラー数もカウントしている。ノイズエラーとは、本来赤外光がＯＮかＯＦＦで安定しているべき１ビットの所要時間内において、受光した値が０または１で安定せず変化した場合である。なお、このような信号の安定度を見たり、ノイズやクロックずれへの耐性を高めるために、受光素子２１は、１ビットあたり複数回（例えば、１６回）の信号のサンプリングを行う。

【0045】

本実施の形態の発信元方向推定装置２０は、各受光素子２１ａ～２１ｄが受信した総データ数（＝パケット数×１１個＋データ数）をノイズエラー数で補正した値を受光量とし、当該受光量に基づいて赤外線の発信元の方向を推定する。ノイズエラー数での補正の仕方はいろいろ考えられるが、本実施の形態では、ノイズエラー数×２を減算するものとする。例えば、図４に示す例では、受光素子２１ａが受信した総データ数は、４×１１＋１０＝５４個であり、これをノイズエラー数で補正すると、５４－２×２＝５０個となる。受光素子２１ｂが受信した総データ数は、１×１１＋７＝１８個であり、これをノイズエラー数で補正すると、１８－４×２＝１０個となる。受光素子２１ｄが受信した総データ数は１０個であり、これをノイズエラー数で補正すると、１０－３×２＝４個となる。第２の実施の形態の発信元方向推定装置２０は、受信したパケット数が最大の受光素子２１と、その両隣の受光素子２１のデータ総数に基づいて、発信元の方向を推定する。図４に示す例では、受光素子２１ａと受光素子２１ｂ、受光素子２１ｂでの受信結果を用いる。

【0046】

図５Ａは、発信元方向推定装置２０による発信元方向推定の原理を示す図であり、受信したパケット数が最大の受光方向における総データ数をＹ軸にとり、その両隣の受光素子２１が受信したデータ数をＸ軸のプラスとマイナスにとったところを示している。Ｘ，Ｙ軸は説明の便宜上、適宜に設定したものであるが、－Ｘ，＋Ｙ，＋Ｘ，－Ｙの方向は、図１に示す受光素子２１ａ～２１ｄの受光方向と一致するように設定した。例えば、発信元方向推定装置２０が備える受光素子が３個であって、これが等角度に配置されている場合には、データ数を示す方向は１２０度間隔の軸で表される。

【0047】

図５Ａでは、各受光方向から受信したデータ数をベクトルで示している。すなわち、ベクトルの方向が受光方向を示し、ベクトルの長さが受信したデータ数を示している。図ではベクトル表記しているが、本書では、通常のアルファベットで示す。

【0048】

発信元方向推定装置２０は、まず、両隣の受光素子２１が受信したデータ数を足し合わせる。具体的には、ベクトルＤ２とベクトルＤ３を加算する。ベクトルＤ２とベクトルＤ３の向きは反対なので、ベクトルの大きさは相殺されることになる。次に、受信したパケット数が最大の受光素子２１が受信した総データ数を示すベクトルＤ１と、両隣の受光素子２１にて受信したデータ数を示すベクトル（Ｄ２＋Ｄ３）を加算し、図５Ｂに示すように得られた方向ベクトル（Ｄ１＋Ｄ２＋Ｄ３）を赤外線の発信元の方向と推定する。ここでは、ベクトルＤ１～Ｄ３を順に足していく例を説明したが、同時にベクトル加算してもよい。

【0049】

図６は、第２の実施の形態の発信元方向推定装置２０の動作を示すフローチャートである。第２の実施の形態の発信元方向推定装置２０は、各受光素子２１ａ～２１ｄにてデータを受信する（Ｓ１０）。発信元方向推定装置２０は、直近の所定時間内における各受光素子２１ａ～２１ｄでの受信パケット数、受信データ数、ノイズエラー数をカウントする（Ｓ１１）。続いて、ノイズエラー数の補正を行って、各受光素子２１ａ～２１ｄでの受信データ総数を計算する（Ｓ１２）。具体的には、上述したとおり、受信パケット数×１１＋データ数で、受信データ総数を計算し、受信データ総数からノイズエラー数×２を引
くことで、補正した受信データ総数を求める。

【0050】

続いて、発信元方向推定装置２０は、受信したパケット数が最大の受光素子２１とその両脇の受光素子２１の総データ数を採用し（Ｓ１３）、それらの受信データ総数から発信元方向の角度を計算する（Ｓ１４）。

【0051】

第２の実施の形態の発信元方向推定装置２０は、受信したパケットに加えて、パケットとしては受信できなかったデータ数も用いることで、方向推定に用いる情報が増え、推定精度を高めることができる。また、第２の実施の形態の発信元方向推定装置２０は、パケットの受信数が最大の受光素子２１とその両隣の受光素子２１で受信したデータ総数を用いる構成を採用し、正しく受信できたパケットの数が多い方向を中心として、精度良く発信元を推定することができる。

【0052】

本実施の形態では、ノイズエラー数によって、受信データ総数を補正する処理を行ったが、処理を簡単にするためにノイズエラー数による補正を省略することも可能である。ノイズエラー数による補正を行わなくても、一定の精度で発信元を推定することができる。

【0053】

（第３の実施の形態）
次に、第３の実施の形態の発信元方向推定システムについて説明する。第３の実施の形態の発信元方向推定システムの基本的な構成は、第２の実施の形態の発信元方向推定システムと同じであるが、第３の実施の形態では、発信元方向推定装置２０が、発信元の方向だけでなく、発信元までの距離も推定する点が異なる。第３の実施の形態では、発信元装置１０は、発信する赤外線の強さを周期的に変える。

【0054】

図７は、発信元装置１０が発する赤外光の強さを示す図である。発信元装置１０が発する赤外線は、６個の赤外光を１セットとして、「弱」「中」「弱」「中」「弱」「強」の複数の異なる強度を有する。また、発信元装置１０は、送信する各パケットに赤外線の出力強度を示す情報を含める。

【0055】

図８は、第３の実施の形態の発信元方向推定装置２０の構成を示す図である。第３の実施の形態の発信元方向推定装置２０は、第２の実施の形態の発信元方向推定装置２０の構成に加えて、発信元装置１０までの距離を推定する距離推定部２３を有している。

【0056】

図９は、第３の実施の形態の発信元方向推定装置２０の動作を示すフローチャートである。第３の実施の形態の発信元方向推定装置２０による発信元方向の推定の動作（Ｓ１０～Ｓ１４）は、第２の実施の形態の発信元方向推定装置２０と同じである。第３の実施の形態の発信元方向推定装置２０は、発信元装置１０のある方向に加え、最小の赤外線出力に基づいて、発信元装置１０までの距離を推定する（Ｓ１５）。

【0057】

具体的には、距離推定部２３は、受信した赤外線のパケットから、赤外線の強さを示す情報を読み出す。そして、受信した赤外線のうち、最小の出力が「弱」「中」「強」のどれであったかを調べ、発信元装置１０までの距離を推定する。例えば、最小の出力が「強」である場合には、強出力の赤外光しか届かなかったことになるので、発信元装置１０が遠くにあると判定し、最小の出力が「弱」である場合には、発信元装置１０が近くにあると判定する。なお、発信元方向推定装置２０は、「弱」「中」「強」のそれぞれに対応する出力強度のデータを保持し、受信した赤外線強度の減衰の程度から、発信元装置１０までの距離を推定してもよい。これにより、より正確な距離を求めることができる。

【0058】

第３の実施の形態の発信元方向推定システムは、受信した赤外線の出力強度を示す情報に基づいて、発信元までの距離を推定することができる。また、本実施の形態では、赤外
線の出力強度を変化させていることは、距離推定に用いることができるという作用効果以外に、発信元装置１０からの赤外線に基づく方向推定を適切に行えるという作用効果がある。

【0059】

赤外線の発信元装置１０との距離が大きい場合に赤外線を適切に受信するためには、赤外線の出力強度を強くする必要がある一方で、発信元装置１０との距離が小さい場合に出力強度の大きい赤外線を用いると、反射赤外線が多くなるために、方向推定が困難となるという事情がある。赤外線の出力強度を「強」「中」「弱」のいずれかに固定するのではなく、出力強度を変更することで、発信元装置１０が遠くにある場合には出力強度が大きい赤外線によって方向を推定できると共に、発信元装置１０が近くにある場合には出力強度が小さい赤外線によって適切に方向を推定できる。したがって、赤外線の出力強度を変更する構成は、発信元方向推定装置２０にて距離を推定しない場合に用いても効果がある。

【0060】

また、本実施の形態の発信元装置１０は、赤外線の出力強度を周期的に変える際に、その頻度を、「弱」の赤外線＞「中」の赤外線＞「強」の赤外線としているので、発信元装置１０が近くにあるときには、出力強度の大きい赤外線の反射によってエラーが起きる可能性があるが、その頻度を低くすることができる。なお、本実施の形態では、赤外線の出力強度を周期的に変える例を挙げたが、赤外線の出力強度の変更の仕方は周期的でなくてもよい。

【0061】

（第３の実施の形態の変形例）
第３の実施の形態の発信元装置１０において、出力強度を周期的に変化させる出力強度範囲を適切に変更するようにしてもよい。発信元装置１０は、出力強度Ｒ１，Ｒ２，Ｒ３（Ｒ１＜Ｒ２＜Ｒ３）を変化させる第１の出力強度範囲と、出力強度Ｒ２，Ｒ３，Ｒ４（Ｒ２＜Ｒ３＜Ｒ４）を変化させる第２の出力強度範囲と、出力強度Ｒ３，Ｒ４，Ｒ５（Ｒ３＜Ｒ４＜Ｒ５）を変化させる第３の出力強度範囲と有する。そして、最初に、第２の出力強度範囲において、出力強度Ｒ２，Ｒ３，Ｒ４を周期的に変化させて、赤外線を出力する。

【0062】

発信元方向推定装置２０は、赤外線を受光したら、その周期からどの出力強度の赤外線を受信したかを判定する。発信元装置１０による赤外線の出力態様を、例えば、図７のような出力強度の構成にしておけば、１周期に何回赤外線を受光したかによって赤外線の相対的な強度が分かる。発信元方向推定装置は、どの出力強度の赤外線を受光できたかを発信元装置１０に送信する。

【0063】

発信元装置１０は、出力強度Ｒ２，Ｒ３，Ｒ４のうちのどの出力強度まで受光できたかに基づいて、出力強度範囲を変更する。一例としては、発信元方向推定装置２０が出力強度Ｒ２まで受光できた場合には、発信元装置１０は出力強度範囲を第２の出力強度範囲（Ｒ２～Ｒ４）から第１の出力強度範囲（Ｒ１～Ｒ３）に変更する。発信元方向推定装置２０が出力強度Ｒ４しか受光できなかった場合には、発信元装置１０は出力強度範囲を第２の出力強度範囲（Ｒ２～Ｒ４）から第３の出力強度範囲（Ｒ３～Ｒ５）に変更する。なお、発信元方向推定装置２０が出力強度Ｒ３まで受光できた場合には、出力強度範囲を変更しない。

【0064】

この構成により、発信元方向推定装置２０が相対的に低い出力強度の赤外線を受光できている場合には、発信元方向推定装置２０と赤外線発光部との距離が近いと考えられる。高い出力強度の赤外線はノイズとなり得るから、出力強度範囲を低い方へシフトすることにより、ノイズの発生を未然に低減することができる。発信元方向推定装置２０が受光した赤外線の出力強度が、所定の出力強度範囲内の相対的に高い出力強度しか受信できない
場合には、発信元方向推定装置２０と赤外線発光部との距離が遠いと考えられる。出力強度範囲を高い方へシフトすることにより、これ以上、距離が離れても赤外線を受光できるようにし、方向の推定を継続して行えるようにできる。

【0065】

本実施の形態では、３段階の出力強度範囲を有する例を挙げたが、出力強度範囲は何段階であってもよい。

【0066】

（第４の実施の形態）
図１０Ａは、発信元の方向推定装置を搭載したロボット１００ａ，１００ｂの外観を示す図である。ロボット１００ａとロボット１００ｂは、同じ構成を有する。以下、ロボット１００ａ，１００ｂを総称する場合または特定する必要がない場合には、「ロボット１００」という。ロボット１００は、頭上に略円筒形状のツノ１０２を搭載している。ツノ１０２には、赤外線によって他のロボット１００のいる方向を推定する方向推定装置３０が内蔵されている。また、ロボットは、前輪１０３と後輪１０４を備えている。前輪１０３は、図１１に示すように、左右一対である。ロボットは、一対の前輪１０３と後輪１０４によって、移動したり回転したりできる。

【0067】

図１０Ｂは、図１０Ａに示すロボット１００ｂのツノ１０２のＢ－Ｂ断面図である。図１０Ｂに示すように、方向推定装置３０は、その円周の外縁部付近に、交互に配置された赤外線の発光素子１１ａ～１１ｄと受光素子２１ａ～２１ｄとを備えている。赤外線発光素子１１ａ～１１ｄだけに着目すれば、第１の実施の形態から第３の実施の形態で説明した発信元装置１０の赤外線発光素子１１ａ～１１ｄと同じ配置になっており、赤外線受光素子２１ａ～２１ｄだけに着目すれば、第１の実施の形態から第３の実施の形態で説明した発信元方向推定装置２０の赤外線受光素子２１ａ～２１ｄと同じ配置になっている。

【0068】

このようにロボット１００は、赤外線発光素子１１と赤外線受光素子２１の両方を備えているので、周囲に赤外線を発光することができると共に、他のロボットから発せられた赤外線を受光して他のロボット１００の位置を推定することができる。

【0069】

図１１は、ロボット１００のハードウェア構成を示す図である。ロボット１００は、その筐体１０１内に、表示装置１１０と、内部センサ１１１と、スピーカ１１２と、通信部１１３と、ロボット検出部１１４と、体勢検出部１１５と、記憶装置１１６と、プロセッサ１１７と、駆動部１１８と、バッテリ１１９とを備えている。また、筐体１０１の上部のツノ１０２に方向推定装置３０を備えている。各ユニットは、電源線１２０および信号線１２１により互いに接続さていれる。バッテリ１１９は、電源線１２０を介して各ユニットに電力を供給する。バッテリ１１９は、例えば、リチウムイオン二次電池であり、ロボット１００の動力源である。

【0070】

駆動部１１８は、内部機構を制御するアクチュエータである。駆動部１１８は、前輪１０３と後輪１０４を駆動してロボット１００を移動させたり向きを変えたりする機能を有する。また、駆動部１１８は、ワイヤ１２２を介して手１０５を制御して、手１０５を上げる、手１０５を振る、手１０５を振動させるなどの動作を行わせる。また、駆動部１１８は、頭部を制御して、頭部の向きを変える機能を有する。

【0071】

内部センサ１１１は、ロボット１００が内蔵する各種センサの集合体である。内部センサ１１１としては、例えば、カメラ（全天球カメラ）、マイクロフォンアレイ、測距センサ（赤外線センサ）、サーモセンサ、タッチセンサ、加速度センサ、ニオイセンサ等がある。

【0072】

通信部１１３は、サーバや外部センサ、他のロボット１００や、ユーザの持つ携帯機器
などの各種の外部機器を対象として無線通信を行う通信モジュールである。例えば、通信モジュールは、Wi-Fi（登録商標）やBluetooth（登録商標）などの電波を用いた通信手段であってよい。ロボット検出部１１４は、通信部１１３を用いた通信によって、所定の範囲内（例えば、同一の部屋の中等）にいる他のロボット１００を検出する機能を有する。ロボット検出部１１４によるロボット１００の検出処理は、例えば、通信部１１３を通じて、Wi-Fiネットワークに存在する他のロボット１００のＩＰアドレスを取得してもよいし、ＬＡＮ上にロボット１００を一元管理するサーバを設けておき、サーバにアクセスすることによって他のロボット１００を検出してもよい。

【0073】

体勢検出部１１５は、例えば、ユーザがロボット１００を抱き上げるなどしてロボット１００の体勢が変化したときに、ロボット１００の体勢を検出する機能を有する。体勢検出部１１５は、ユーザがロボット１００を持ち上げるときの物理的接触をタッチセンサにより検知し、かつ、前輪１０３及び後輪１０４にかかる荷重が低下したときに、ロボット１００が抱っこされていると検出することができる。なお、ロボット１００は、抱っこされていることを検出したときは、前輪１０３及び後輪１０４を筐体１０１内に収納してもよい。記憶装置１１６は、不揮発性メモリおよび揮発性メモリにより構成され、コンピュータプログラムや各種設定情報を記憶する。

【0074】

表示装置１１０は、ロボットの目の位置に設置され、眼の画像を表示させる機能を有する。表示装置１１０は、瞳や瞼などの眼のパーツを組み合わせてロボットの眼の画像を表示する。表示装置１１０は、方向推定装置３０により推定された他のロボット１００の方向に瞳を動かすことで、視線を他のロボット１００に向ける仕草を表現してもよい。なお、外光などが眼に差し込んだ場合には、外部光源の位置に応じた位置にキャッチライトを表示してもよい。

【0075】

プロセッサ１１７は、内部センサ１１１で取得したセンサ情報や、通信部１１３を通じて取得した各種の情報に基づいて、駆動部１１８、スピーカ１１２、表示装置１１０等を制御してロボット１００を動作させる機能を有する。

【0076】

図１２は、ロボット１００ａ，１００ｂに搭載された方向推定装置３０の詳しい構成を示す図である。図１２では、図１１で説明したロボット１００の構成については、一部の機能のみを示している。方向推定装置３０は、４つの発光素子１１ａ～１１ｄと、４つの受光素子２１ａ～２１ｄと、発光素子１１ａ～１１ｄ及び受光素子２１ａ～２１ｄを制御する制御部３１とを有している。制御部３１は、発光素子１１の発光タイミングや発光の強度を制御する発光制御部１２と、受光した赤外線に基づいて発信元のロボットのいる方向を推定する方向推定部２２と、発信元のロボットまでの距離を推定する距離推定部２３とを有している。方向推定装置３０が赤外線を受光し、受光した赤外線に基づいて、赤外線の発信元のロボットの方向および距離を推定する機能は、上記した第３の実施の形態の発信元方向推定システムで説明した内容と同じである。

【0077】

本実施の形態では、方向推定装置３０が備える発光素子１１ａ～１１ｄは、各発光素子１１ａ～１１ｄを識別するための発光素子ＩＤが付与されている。そして、発光制御部１２は、出力する赤外線のパケットに、そのパケットを識別する発光素子ＩＤを含める。

【0078】

本実施の形態では、ロボット１００ｂの方向推定装置３０は、発信元であると推定された方向から受信したパケットに含まれる発光素子ＩＤを読み出し、読み出した発光素子ＩＤのデータを通信部１１３から無線通信によってロボット１００ａに送信する。これにより、発光素子ＩＤを受信したロボット１００ａは、４つの発光素子１１のうち、どの発光素子１１から出力した赤外線が受信されたのかを知ることができる。したがって、赤外線を発光した側のロボット１００ａも、どの方向に他のロボット１００ｂがいるのかを把握
することができる。

【0079】

このように２台のロボット１００ａ，１００ｂが互いの位置を把握することにより、２台のロボット１００ａ，１００ｂの間で、様々な相互作用を実現することができる。例えば、ロボット１００ｂが、駆動部１１８を制御することによって、発信元のロボット１００ａの方向に向かう処理を行うことができる。

【0080】

また、ロボット１００ａとロボット１００ｂとが互いを意識したような行動を行うこととしてもよい。例えば、ロボット１００ａとロボット１００ｂとが互いの方向に向かって近づくようにしてもよい。また、この際、ロボット１００ａとロボット１００ｂが互いに正面を見て向き合うように、それぞれのロボット１００ａ，１００ｂの向きを制御すると、ロボット１００ａ，１００ｂがランデブーしているように見える。さらに、ロボット１００ａとロボット１００ｂとが出会ったときには、一緒になってユーザの方向へ移動したり、じゃれ合ったり、追いかけっこをしたりしてもよい。

【0081】

さらに、ロボット１００ａまたはロボット１００ｂは、表示装置１１０に表示される眼の画像を制御することによって、相手のロボット１００に視線を向けるようにしてもよい。また、ロボット１００ａは、ロボット１００ｂから送信される発光素子ＩＤによってロボット１００ｂのいる方向を検知できるが、この無線通信によってロボット１００ｂの存在に気が付くと、ロボット１００ａ，１００ｂを見ているユーザにとって唐突な動きに見えるので、無線通信によって発光素子ＩＤを送信する際に、ロボット１００ｂがスピーカ１１２を通じてロボット１００ａに対して鳴き声を出してもよい。これにより、ロボット１００ａがロボット１００ｂの方向を向いたとしても、鳴き声によってロボット１００ｂに気がついたような振る舞いに見せることができる。

【0082】

なお、方向推定装置３０は、ロボット検出部１１４にて、他のロボット１００を検出したことを条件として、他のロボット１００のいる方向を推定する処理を行ってもよい。他のロボット１００がいないときに、方向推定装置３０を起動しないようにすることにより、バッテリ消費を抑える、ＣＰＵ負荷を抑えることができる。また、他のロボット１００のいる方向を推定するのは、上述したように他のロボット１００との協調動作を実現することが一つの目的であるので、体勢検出部１１５にてロボット１００が抱っこされていることなどを検出し、ロボット１００が協調動作を実行しない特定状態にあると判定された場合には、方向推定装置３０を起動しないようにしてもよい。特定状態は、例えば、ユーザがロボット１００に対して接触しているなどの、ユーザとロボット１００とがやり取りしている状態であってもよい。また、ロボット検出部１１４にて他のロボット１００を検出した場合であっても、当該他のロボット１００が特定状態であることを通信部１１３を通じて受信したときには、方向推定装置３０を起動しないようにしてもよい。方向推定装置３０の起動条件は、一例として、同一空間内に複数のロボット１００が存在し、自分以外にも特定状態でないロボット１００があること（つまり、走行可能なロボット１００が２台以上あること）であり、この条件を満たすときに、方向推定装置３０は、他のロボット１００のいる方向の推定を行ってもよい。

【0083】

本実施の形態では、ロボット１００ａが赤外線を発光し、ロボット１００ｂが赤外線を受信してロボット１００ａの方向を推定する例を取り上げたが、ロボット１００ａとロボット１００ｂの構成は同一であり、いずれが赤外線を発光してもよい。したがって、複数のロボット１００がいる場合、複数のロボットが同時に赤外線を発光しないように制御することが好ましい。複数のロボット１００が赤外線を発光するタイミングを制御する方法は、次のような方法が考えられる。（１）赤外線以外の通信手段（Bluetooth（登録商標）やWi-Fi）を使って、発光の順番を制御する方法である。具体的には、一のロボット１００が発光要求を送信し、残りのロボット１００から許可通知が届いたら発光を開始する
。そして、一連のパケットを送信し終えたら完了通知を送信する。その通知を受けて、別のロボット１００が発光処理を開始する。つまり、完了通知が届くまでは、他のロボット１００は発光処理を待つ。（２）各ロボット１００が赤外線以外の通信手段を通じて、発光する順番を事前に決め、その順番で各ロボット１００が発光する。（３）各ロボット１００が赤外線を発光する周期を変動させる。変動のトリガとして、ノイズエラーの量を用い、ノイズエラーが多くなったら、周期を変える。

【0084】

（第５の実施の形態）
次に、本実施の形態の対象物存在方向推定システムについて説明する。対象物として、第４の実施の形態でも説明したようなロボットを例に挙げる。すなわち、対象物存在方向推定システムは、ロボットが他のロボットの存在する方向を推定するシステムである。第４の実施の形態では、赤外線を利用してロボットの存在方向を推定したが、本実施の形態では、赤外線以外のセンサも用いてロボットの存在方向を推定する。

【0085】

本実施の形態の対象物存在方向推定システムにおいては、ロボットには、上述した実施の形態で説明した赤外線を利用した発信元方向推定システムのほかに、種々の方向推定システム、位置推定のためのシステムが搭載されている。

【0086】

図１３は、ロボットに搭載されたロボット存在方向推定システム５０の構成を示す図である。ロボット存在方向推定システム５０は、発信元方向推定システム５２と、音声の到来方向（ＤＯＡ）検出システム５３と、画像認識装置５７と、位置情報共有システム６０と、ＢＬＥ通信部６４とを備えている。発信元方向推定システム５２は、赤外線の発信元の方向を推定するシステムであり、上述した実施の形態と同様に、発光素子、受光素子、および制御部を備えている。

【0087】

ＤＯＡ検出システム５３は、ロボットが音声を発生するスピーカ５４と、他のロボットから発せられた音声を集音するマイクアレイ５５と、マイクアレイ５５にて集音したデータにより他のロボット（が備えるスピーカ５４）の方向を計算する計算部５６とを備える。計算部５６は、各マイクアレイ５５によって集音した音声の到達時間差により音声の到来方向を推定する。なお、スピーカ５４が発する音声としては、人の声の周波数とは異なる周波数の音声を用いることが好ましい。また、これに加えて、スピーカ５４が発する音声としては、環境音の周波数とは異なる周波数の音声を用いることが好ましい。

【0088】

画像認識装置５７は、ロボットの周辺を撮影するカメラ５８と、撮影された画像に対して画像認識処理を行って他のロボットを抽出し、他のロボットの方向を推定する画像認識部５９とを備えている。

【0089】

位置情報共有システム６０は、自分の位置を他のロボットに対して通知する機能および他のロボットから通知された位置情報を取得し、他のロボットの存在方向を推定する機能を有する。位置情報共有システム６０は、自己位置推定部６１と、通信部６２と、他ロボット方向推定部６３とを備えている。自己位置推定部６１は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｉｏｕｓｌｙ Ｌｏｃａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）の技術を用いて、ロボットの自己位置を推定する。通信部６２は、自己位置推定部６１にて推定された自己位置のデータをネットワーク経由で他のロボットに送信すると共に、他ロボットから位置データを受信する。自ロボットと他ロボットはＳＬＡＭによって作成した共通のマップデータを持ち、自己位置や他ロボットの位置のデータは、その地図上において特定される。なお、マップ内に基準となる位置（例えば、ロボットの充電ステーション等）がある場合には、基準位置から相対位置によって位置を知らせてもよい。

【0090】

ＢＬＥ通信部６４は、ＢＬＥ規格にしたがってロボット間で通信を行う機能を有する。
ＢＬＥ通信部６４は、受信したＢＬＥの電波強度によって距離を推定する距離推定部６５を有する。

【0091】

ロボット存在方向推定システム５０は、上記した複数の方向推定システムで取得したロボットの存在方向の推定結果を統合して、他のロボットの存在方向を推定する推定結果統合部５１を有している。推定結果の統合の仕方には様々な態様が考えられる。以下に、推定結果統合部５１による推定結果の統合のバリエーションについて説明する。以下の説明では、複数の方向推定システムとして、赤外線の発信元方向推定システム５２、ＤＯＡ検出装置５３、画像認識装置５７の３つの推定結果の統合について説明する。

【0092】

［第１方式］
推定結果統合部５１は、発信元方向推定システム５２、ＤＯＡ検出システム５３、および画像認識装置５７から、他のロボットの存在方向の推定結果のデータとその推定結果の信頼度のデータを取得する。推定結果統合部５１は、取得した３つの推定結果の中から最も信頼度の高かった推定結果を対象物の存在方向と推定する。

【0093】

ここで信頼度とは、推定された方向が正しい可能性を示す指標である。赤外線による発信元方向推定装置では、例えば、赤外線の受光エラー率を信頼度の指標とすることができる。受光エラー率が低いほど推定結果の信頼度が高い。受光エラー率と信頼度の関係を予めテーブルに記憶しておくことにより、受光エラー率から信頼度を求めることができる。

【0094】

ＤＯＡ検出システム５３では、例えば、受信した音声のＳ／Ｎ比を信頼度の指標とすることができる。Ｓ／Ｎ比が高いほど推定結果の信頼度が高い。Ｓ／Ｎ比と信頼度の関係を予めテーブルに記憶しておくことにより、Ｓ／Ｎ比から信頼度を求めることができる。

【0095】

画像認識装置５７では、ロボットであると認識した対象物がロボットである確からしさ（尤度）を信頼度の指標とすることができる。パターンマッチングによりロボットを認識する場合には、一致率で尤度を計算できる。ニューラルネットワークにより学習したモデルによりロボットを検出する場合には、ニューラルネットワークモデルの出力層における出力値によって尤度を規定できる。これらの尤度と信頼度の関係を予めテーブルに記憶しておくことにより、尤度から信頼度を求めることができる。

【0096】

［第２方式］
推定結果統合部５１は、画像認識装置５７による方向推定結果を優先する。例えば、ロボットがそもそも映っていない場合や、映像の中にロボットに似たものがたくさんあってロボットの認識結果の信頼性が低い場合だけ、赤外線による発信元方向推定結果またはＤＯＡ検出結果のうちで信頼度の高い推定結果を用いる。一般的には、画像認識装置５７によって他のロボットを認識できた場合には、その存在方向が精度良く求まるので、第２方式は、画像認識装置５７による方向推定の結果を信頼する方式である。

【0097】

［第３方式］
図１４は、推定結果統合部５１による推定結果統合の第３方式を示すフローチャートである。推定結果統合部５１は、赤外線による方向推定結果とＤＯＡによる方向推定結果を取得し（Ｓ２０）、取得した２つの推定方向に重なりがあるか否かを判定する（Ｓ２１）。２つの推定方向に重なりがある場合には（Ｓ２１でＹＥＳ）、推定結果統合部５１は、重なっている方向を決定する（Ｓ２２）。重なりがない場合には（Ｓ２１でＮＯ）、推定結果統合部５１は、赤外線による方向推定結果とＤＯＡによる方向推定結果のうち信頼度の高い推定結果を決定する（Ｓ２３）。

【0098】

続いて、推定結果統合部５１は、決定された方向を画像認識装置５７に送信し、画像認
識装置５７のカメラ５８にて当該方向を撮影する（Ｓ２４）。そして、画像認識装置５７は、撮影された画像からロボットを認識し、ロボットの存在方向を推定し（Ｓ２５）、推定結果を推定結果統合部５１に渡す。

【0099】

画像認識装置５７は、撮影した画像の中に対象物であるロボットが存在する場合には精度の高い存在方向推定を行えるが、そもそもカメラ５８の視野内にロボットが存在しなければ、その方向を求めることができない。第３方式によれば、最初に、全方位に対応可能な赤外線またはＤＯＡによって、ロボットのある方向を推定し、その方向をカメラ５８で撮影することにより、効率よく精度の高い存在方向推定を行える。

【0100】

［第４方式］
図１５は、推定結果統合部５１による推定結果統合の第４方式を示すフローチャートである。第４方式では、ＤＯＡ検出システム５３を用いず、発信元方向推定システム５２と画像認識装置５７とを用いてロボットの存在方向を推定する。推定結果統合部５１は、画像認識装置５７によるロボット存在方向推定結果を取得し（Ｓ３０）、続いて、赤外線発信元方向推定装置から赤外線の発信元方向の推定結果を取得する（Ｓ３１）。

【0101】

次に、推定結果統合部５１は、２つの推定方向に重なりがあるか否かを判定し（Ｓ３２）、両者に重なりがある場合には（Ｓ３２でＹＥＳ）、推定結果統合部５１は、画像認識装置５７によるロボット存在方向推定結果を採用する（Ｓ３４）。両者に重なりがない場合には（Ｓ３２でＮＯ）、推定結果統合部５１は、赤外線発信元方向推定の推定結果を画像認識装置５７に送信し、画像認識装置５７のカメラ５８にて当該方向を撮影する（Ｓ３３）。そして、画像認識装置５７は、撮影された画像からロボットを認識し、ロボットの存在方向を推定し、推定結果統合部５１は、推定結果を取得する（Ｓ３０）。

【0102】

このように画像認識装置５７によって求めたロボット存在方向推定結果が赤外線による推定結果と重なるかどうかを判定することにより、画像認識装置５７は、ロボット以外の対象物をロボットと誤認識している場合には、赤外線の発信元の方向へカメラ５８を向けて撮影をやり直すことにより、正しい方向を認識させることができる。

【0103】

［第５方式］
推定結果統合部５１による推定結果統合の第５方式について説明する。発信元方向推定システム５２、ＤＯＡ検出システム５３および画像認識装置５７は、それぞれ異なる特性を有しており、得意な環境と不得意な環境がある。すなわち、発信元方向推定システム５２は、赤外線を受光してその発信元を推定するので、赤外線が所定の頻度以上で検出される環境だと、方向推定の信頼性が低下する。ＤＯＡは、音声を用いる方式なので、環境音が大きいと方向推定の信頼性が低下する。画像認識装置５７は、可視光を用いて撮影した画像を解析することから、暗い環境だと方向推定の信頼性が低下する。

【0104】

第５方式では、ロボット存在方向推定装置は、周辺の環境の情報に基づいて各システムを用いるかどうかを決定する。周辺環境の検出には、赤外線に関しては発信元方向推定システム５２が備える赤外線の受光素子、音声に関してはＤＯＡ検出システム５３が備えるマイクアレイ５５を用いることができる。環境の明るさに関しては、照度センサを用いることができる。

【0105】

赤外線の受光素子によって、他のロボットから送信される赤外線パケット以外の赤外線の受光量が所定の閾値以下であるか否かを判定し、所定の閾値以下の場合には、発信元方向推定システム５２による方向推定結果を用い、所定の閾値を超える場合には発信元方向推定システム５２による方向推定結果を用いないこととする。

【0106】

ＤＯＡ検出システム５３のマイクアレイ５５によって、他のロボットから送信される音域以外の音声の集音量が所定の閾値以下であるか否かを判定し、所定の閾値以下の場合には、ＤＯＡ検出システム５３による方向推定結果を用い、所定の閾値を超える場合にはＤＯＡ検出システム５３による方向推定結果を用いないこととする。

【0107】

照度センサによって、環境の照度が所定の閾値以上であるか否かを判定し、所定の閾値以上の場合には、画像認識装置５７によるロボット存在方向推定結果を用い、所定の閾値未満の場合には画像認識装置５７によるロボット存在方向推定結果を用いないこととする。

【0108】

以上の説明においては、赤外線を用いた発信元方向推定システム５２については、上述した第１～第４の実施の形態の発信元方向推定システムを用いる例を説明したが、第５の実施の形態のように、複数種類の方向推定システムを用いる場合には、赤外線による方向推定は上記した実施の形態の構成をとらないことも考えられる。一例としては、従来のように、単純に、どの赤外線受光部で赤外線を受光したかによって、受光方向を推定してもよい。その結果、受光結果が揺れ動いてしまう場合には、赤外線による方向推定の信頼度が低いと判断され、他の方向推定システムによる推定結果が用いられることになるので問題はない。

【0109】

以上、本発明の発信元方向推定システムおよびこれを備えたロボットについて、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。

【0110】

上記した第１の実施の形態では所定時間内に各受光素子２１で受光した赤外線の受光量に基づいて発信元の方向を推定する例を挙げたが、赤外線を所定の閾値以上受光したことを条件として、発信元の方向を推定することとしてもよい。例えば、いずれかの受光素子２１で赤外線のパケットを３個受光したら、その受光素子２１の受光方向を発信元の方向と推定してもよい。ただし、赤外線を３個受光するのにかかる時間が長すぎないように、３個のパケットを受光するまでの時間に制限を設けることが好ましい。例えば、１．５秒以内に赤外線のパケットを３個受光したことを条件として、その受光方向を発信元の方向と推定してもよい。

【0111】

上記した第１の実施の形態では、所定時間内における赤外光の受光量が最大の方向を発信元の方向として推定したが、第２の実施の形態で説明したように、複数の赤外線受光素子２１ａ～２１ｄのそれぞれで受光した受光量をベクトル加算して、発信元の方向を推定してもよい。

【0112】

上記した実施の形態では、発信元方向の推定を行う時点で受光した赤外線に基づいて発信元方向を推定する例を挙げたが、発信元方向推定装置は、現時点での推定結果と過去の推定結果とに基づいて、赤外線の発信元の方向を推定してもよい。このように現時点での推定結果に加えて過去の推定結果を用いることにより、精度の高い推定を行うことができる。特に、赤外線の発信元が移動しているときに有効である。過去の推定結果を用いる方法としては、例えば、過去に推定した方向と現時点で推定した方向とが重なる方向を発信元の方向であるとする方法や、過去の複数の時点での推定結果から発信元の移動ベクトルを求め、現時点の発信元方向の推定結果を補正する等の方法が考えられる。

【0113】

また、上記した第２の実施の形態では、複数の受光素子２１で受光した総データ数をベクトル加算して発信元の方向を推定したが、受信した総データ数に代えて受信したパケット数を用いてもよい。

【0114】

また、上記した第４の実施の形態では、赤外線の受信に基づいて、ロボット１００ｂがロボット１００ａの方向を推定した際に、発光素子ＩＤを無線通信することにより、ロボット１００ｂのいる方向をロボット１００ａに知らせる例を挙げたが、もし、ロボット１００ａとロボット１００ｂとが共通の座標系を有している場合には、ロボット１００ｂから見たロボット１００ａの方向を示す情報を、ロボット１００ａに無線通信により通知してもよい。

【0115】

上記した発信元装置１０、発信元方向推定装置２０及びロボット１００は、プログラムによって制御される。すなわち、上記した方向推定や距離推定、発光制御等の各機能を実現するモジュールを有するプログラムをＲＡＭ、ＲＯＭまたは記憶装置１１６等に格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した発信元装置１０、発信元方向推定装置２０及びロボット１００が実現される。このようなプログラムも本実施の形態の範囲に含まれる。

【産業上の利用可能性】

【0116】

本発明は、赤外線の発信元の方向を推定する技術として有用であり、例えば、ロボットの位置推定に用いることができる。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15】

【手続補正書】

【提出日】2024-05-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

赤外線発光部を有する発信元装置と音声を出力する音声出力装置とを備えた対象物の方向を推定するシステムであって、
前記対象物の発信元装置から送信される赤外線に基づいて、その発信元の方向を推定する発信元方向推定装置と、
前記対象物の音声出力装置から出力された音声の到来方向を検出するDOA検出装置と、
周辺を撮影するカメラにて撮影した画像から前記対象物を認識し、前記対象物が存在する方向を推定する画像認識装置と、
前記発信元方向推定装置にて推定した赤外線の発信元方向と、前記DOA検出装置にて検出した音声の到来方向と、前記画像認識装置にて認識した対象物の方向の結果を統合して、前記対象物が存在する方向を推定する推定結果統合部と、
を備え、
前記推定結果統合部は、赤外線量が所定の閾値以上の環境では発信元方向推定装置を無効にし、環境音が所定の閾値以上の環境ではDOA検出装置を無効にし、明るさが所定の閾値以下の環境では画像認識装置を無効にする対象物存在方向推定システム。