特許 7430083 発話制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-01

(45)【発行日】2024-02-09

(54)【発明の名称】発話制御装置

(51)【国際特許分類】

   B25J 13/00 20060101AFI20240202BHJP

【ＦＩ】

B25J13/00 Z

【請求項の数】 5

(21)【出願番号】P 2020050073

(22)【出願日】2020-03-19

(65)【公開番号】P2021146473

(43)【公開日】2021-09-27

【審査請求日】2023-01-16

(73)【特許権者】

【識別番号】302060926

【氏名又は名称】株式会社フジタ

(74)【代理人】

【識別番号】100120592

【弁理士】

【氏名又は名称】山崎 崇裕

(74)【代理人】

【識別番号】100184712

【弁理士】

【氏名又は名称】扇原 梢伸

(74)【代理人】

【識別番号】100192223

【弁理士】

【氏名又は名称】加久田 典子

(72)【発明者】

【氏名】山口 瞳

(72)【発明者】

【氏名】權 純洙

【審査官】松浦 陽

(56)【参考文献】

【文献】特開２０１９－２１９５０９（ＪＰ，Ａ）

【文献】特開２００８－２５４１２２（ＪＰ，Ａ）

【文献】特開２００７－２７６０８０（ＪＰ，Ａ）

【文献】特開２００５－２０２０７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

Ｇ１０Ｌ １５／００ － １５／３４

Ｇ０８Ｂ １９／００ － ２３／００

(57)【特許請求の範囲】

【請求項1】

予め複数に分類された騒音タイプ別に異なる騒音レベルの時間的な変化特性を有する暗騒音について、周囲環境中の暗騒音が前記騒音タイプのいずれであるかを騒音レベルの時間的な変化特性に基づいて判定し、当該判定した騒音タイプ別に異なる発話タイミングを設定する騒音タイプ別判定部と、
発話対象となる人物までの対人距離を判定する対人距離判定部と、
発話対象となる人物の周囲環境が予め複数に分類されたいずれの環境タイプであるかを判定する周囲環境判定部と、
前記対人距離判定部及び前記周囲環境判定部の各判定結果に基づいて発話音量を設定し、前記騒音タイプ別判定部により設定された発話タイミングで発話音声を出力させる音声出力部と
を備えた発話制御装置。

【請求項2】

請求項１に記載の発話制御装置において、
前記騒音タイプ別判定部は、
騒音レベルの観測値にインパルス状の上昇が間欠的に現れる変化特性の騒音タイプであると判定した場合、時間的に前後する観測値間の差分値が所定値以上となったタイミングを発話タイミングとして設定することを特徴とする発話制御装置。

【請求項3】

請求項１又は２に記載の発話制御装置において、
前記騒音タイプ別判定部は、
騒音レベルの観測値が周期的に極大化と極小化を繰り返す変化特性の騒音タイプであると判定した場合、観測値が極大値から閾値以下に低下したタイミングを発話タイミングとして設定することを特徴とする発話制御装置。

【請求項4】

請求項１から３のいずれかに記載の発話制御装置において、
前記周囲環境判定部は、
周囲環境が建設現場内の広い空間、通路及び部屋のいずれの環境タイプであるかを判定し、
前記音声出力部は、
前記周囲環境判定部による環境タイプの判定結果が広い空間である場合は発話音量を最大に設定し、通路である場合は発話音量を中間に設定し、部屋である場合は発話音量を最小に設定することを特徴とする発話制御装置。

【請求項5】

請求項１から４のいずれかに記載の発話制御装置において、
前記音声出力部は、
所定の上限値を超えない範囲内で、発話音量を騒音レベルより大きく設定することを特徴とする発話制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば発話機能を有する対人ロボット等への適用が可能な発話制御装置に関する。

【背景技術】

【0002】

従来、周囲の環境や人物の状況に応じた発話音量でロボットに発話させる先行技術が知られている（例えば、特許文献１参照。）。この先行技術は、周囲の騒音を測定して騒音のレベルを検出し、現在位置する場所と人物の状況に応じてロボットの発話音量を変更する。また、対象とする人物が会話中や休息中ではなく、視線方向がロボットを向いていることを確認して発話タイミングを決定している。

【0003】

上記の先行技術によれば、対象とする人物が視線を向けている状況でロボットに発話させるため、ロボットからの発話に対象の人物が気付きやすくなると考えられる。また、周囲の騒音レベルに合わせて音量が調整されるため、発話内容を人物が聞き取りやすくなると考えられる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００８－２５４１２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、いくら対象の人物がロボットに視線を向けていることを確認した上で発話させたとしても、周囲の騒音レベルが急に高くなったりすると音声がかき消されてしまい、冒頭（出だし）から充分に発話内容を聞き取ることができないという問題がある。

【0006】

また、上記の先行技術では、予め騒音レベルと対応付けて登録されたローカル地図データを用いて周囲の環境を検出している。これは、登録された地図データ上で周囲の環境が不変という前提では有効である。しかしながら、例えばビルの建設現場のように、作業工程の進捗によって周囲の環境（内部構造や仮設物の有無）も変化していく場合、たとえ地図上では同じ位置でも時期によって周囲の環境や騒音レベルも異なってくるため、先行技術の手法では適切に制御することができない。

【0007】

本発明は、適切に発話を制御する技術を提供するものである。

【課題を解決するための手段】

【0008】

本発明は、発話制御装置を提供する。この発話制御装置は、周囲環境中の暗騒音がどのような騒音タイプであるかを判定し、タイプ別に異なる騒音レベルの時間的な変化特性に基づいて発話タイミングを設定する。また、発話制御装置は、発話対象となる人物までの対人距離、及び人物の周囲環境がどのような環境タイプであるかを判定する。そして、対人距離及び環境タイプの判定結果に基づいて発話音量を設定するとともに、設定された発話タイミングで発話音声を出力させる。

【0009】

例えば、ビル等の建設現場では、作業中の各所でいろいろな騒音が生じており、それらが多数複合して周囲環境中の暗騒音を形成する。このため、暗騒音の大きさ（騒音レベル）は場所や時間で一定しておらず、常時不測に変動し得る。このような環境下では、位置情報と騒音の大きさとは予め対応付けられず、登録済みの地図データ等を用いた制御を適用することができない。

【0010】

本発明の発話制御装置による発話タイミングは、騒音レベルの時間的な変化特性に基づいて設定される。これは、暗騒音の大きさが時々刻々と変化するような環境下に適した設定である。例えば、打撃作業音のように、ある時点で急に音が大きくなり、次の瞬間急に音が小さくなるといった変化特性を示す騒音タイプの場合もあれば、回転作業機の動作音のように周期的に音が高下する変化特性を示す騒音タイプの場合もあるし、機関運転音のように、運転中は音の大きさがほぼ一定レベルであるような変化特性を示す騒音タイプの場合もある。これらの場合、対象の人物が発話元（ロボット等）に対して注意を向けていても、発話音声を出力させるタイミングによっては暗騒音が大きくなるタイミングと被ることがあり、人物が発話内容を充分に聞き取れないことがある。

【0011】

このため本発明では、周囲環境中の暗騒音がいずれの騒音タイプであるかを判定し、そのタイプ別に異なる騒音レベルの時間的な変化特性に基づいて発話タイミングを設定する。これにより、発話対象の人物が充分に聞き取りやすい、適切なタイミングで発話音声を出力させることができる。また、対人距離及び周囲環境のタイプをその場で判定し、その結果に基づいて発話音量を設定するので、例えば以前と同じ場所でも対人距離や周囲環境が変わっていれば、その時点での対人距離や環境タイプに合わせた発話音量を適切に設定することができる。

【0012】

発話制御装置は、騒音タイプとして以下に着目している。
（１）騒音レベルの観測値にインパルス状の上昇が間欠的に現れる変化特性を有するもの。
（２）騒音レベルの観測値が周期的に極大化と極小化を繰り返す変化特定を有するもの。
上記（１）の騒音タイプは、騒音レベルがある瞬間急に大きくなり、次の瞬間は小さくなるといった暗騒音を想定している。また、上記（２）の騒音タイプは、周期的に音が高下するような暗騒音を想定している。

【0013】

そして、いずれの騒音タイプであるかによって、発話タイミングの設定が異なる。すなわち、上記（１）の騒音タイプであると判定した場合、時間的に前後する観測値間の差分をとり、その差分値が所定値以下となったタイミングを発話タイミングに設定する。また、上記（２）の騒音タイプであると判定した場合、間措置が極大値から閾値以下に低下したタイミングを発話タイミングに設定する。これにより、暗騒音の大きさが前よりも下がったタイミングで発話音声が出力（開始）されるので、対象の人物に発話内容が聞き取りやすくなる。

【0014】

好ましくは、発話制御装置は特定の環境下においてより好適する。すなわち、ビルやマンション、医療施設等の建設現場において、建物構造体がある程度まで組み上がった状況を想定することができる。このような状況においては、発話音声を出力させる周囲環境も多種多様であり、環境タイプに適した音量設定が求められる。

【0015】

このため発話制御装置は、環境タイプとして建設現場内の「広い空間」、「通路」、「部屋」を想定し、周囲環境がいずれの環境タイプであるかを判定して発話音量を設定する。このうち「広い空間」は、例えば周囲に壁構造体がなく、開けた環境を想定するものである。「通路」は、発話方向（対象人物がいる方向）にある程度の空間があり、周囲に壁となる物体が存在する環境を想定するものである。また、「部屋」は、発話方向の奥行きが比較的小さく、両側を壁に囲まれている環境を想定するものである。

【0016】

そして、環境タイプを「広い空間」と判定した場合は発話音量を最大に設定し、「通路」と判定した場合は発話音量を中間に設定し、「部屋」と判定した場合は発話音量を最小に設定する。これにより、周囲環境に合わせた適切な音量設定で発話音声を出力させ、対象の人物に聞き取りにくさや煩わしさ、騒々しさといった不具合を感じさせることを防止することができる。

【0017】

また、発話制御装置による発話音量の設定は、単に「その時の騒音レベルより大きくする」というだけのものではない。すなわち、何らかの暗騒音がある環境下で発話音声を出力させるということは、そこで出力させた発話音声もまた、別の第三者にとって「騒音」となることを意味する。このため、「対象となる人物に聞こえればよい」というだけの観点から発話音量を設定すべきでない。

【0018】

本発明はこの点に着目し、発話音量の設定に制限を設けている。すなわち、ある上限値を超えない範囲内で、発話音量を騒音レベルより大きく設定することができるものとする。これにより、対象となる人物に対しては発話音声が聞き取りやすくなり、さらに別の第三者にとっては騒音レベルが上限値以下に抑えられるという二重のメリットを得ることができる。

【発明の効果】

【0019】

本発明によれば、適切に発話を制御することができる。

【図面の簡単な説明】

【0020】

【図1】発話制御装置の適用場面を一例として示す図である。

【図2】建設現場ＣＳ内で移動ロボットＲＢが発話音声を出力する場面を例示した図である。

【図3】一実施形態の発話制御装置１００の構成例を示すブロック図である。

【図4】騒音タイプ別判定部１１６による処理の概要を示す図である。

【図5】騒音タイプ別判定部１１６による処理の概要を示す図である。

【図6】騒音タイプ別判定部１１６による処理の概要を示す図である。

【図7】対人距離判定部１１８及び演算部１２２による処理の概要を示す図である。

【図8】周囲環境判定部１２０及び演算部１２２による処理の概要を示す図である。

【図9】騒音タイプ別判定処理の手順例を示すフローチャートである。

【図10】対人距離判定処理の手順例を示すフローチャートである。

【図11】周囲環境判定処理の手順例を示すフローチャートである。

【図12】声掛け音声出力処理の手順例を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、本発明の実施形態について図面を参照しながら説明する。以下の実施形態では、発話制御装置を移動ロボット（自走式ロボット）による音声出力に適用した例を挙げているが、本発明はこの例に限られるものではない。

【0022】

図１は、発話制御装置の適用場面を一例として示す図である。本実施形態では、例えば、大型ビルやマンション、医療施設、福祉施設といった建物の建設現場ＣＳでの使用を想定することができる。この建設現場ＣＳは、建物の構造体（コンクリートの梁ＢＭ、壁ＷＬ、床ＦＬ、柱ＣＬ等）がある程度出来上がった状態にあり、内部を人（作業員等）が歩くことができる状態にある。また、図１には示されていないが、建設現場ＣＳには開けた空間の他に、通路や部屋、エレベータシャフト、階段室等も存在する。

【0023】

この建設現場ＣＳには、例えば自走式の移動ロボットＲＢが配置されている。移動ロボットＲＢは、例えば４つの車輪ＷＨで建設現場ＣＳ内を移動することができる。また、移動ロボットＲＢは、内蔵のＩＰカメラ１１２を用いて周囲を撮像したり、マイク・スピーカ１２８を用いて集音及び発音（発話音声出力）したりすることができる。

【0024】

移動ロボットＲＢが建設現場ＣＳ内を移動して得た情報は、無線通信を介して例えばクラウドコンピュータ上にアップロードされる。また、移動ロボットＲＢは、クラウドコンピュータから更新情報を適時ダウンロードしてシステムをアップデートすることができる。このような移動ロボットＲＢは、既に多く提供されている公知の自律移動制御システムや環境検知システムを備えるものであり、その詳細についての説明は省略する。なお、移動ロボットＲＢは歩脚式のものでもよい。

【0025】

本実施形態の発話制御装置は、この適用例に挙げた移動ロボットＲＢによる発話音声出力の制御を好適に実現する。以下、移動ロボットＲＢによる発話音声出力を「声掛け」としても呼称する。

【0026】

図２は、建設現場ＣＳ内で移動ロボットＲＢが発話音声を出力する場面を例示した図である。移動ロボットＲＢは、日時、周囲の環境、人物の認識を各種センサとＡＩ（人工知能）を用いて行い、各人の状況や建設作業中に関係のある周囲の気候条件や環境に合わせた声掛けを行う。

【0027】

図２中（Ａ）：移動ロボットＲＢは、例えば建設現場ＣＳ内で作業員を人物認識し、日時や環境、声掛けの対象となる人物の状況に合わせた発話内容を選択する。この例では、人物が立ち止まった姿勢であること、現在が日中の時間帯であること、周囲気温が何らかの閾値を超過すること等の状況から総合判断して、「こんにちは 暑いので水分を取って下さい。」といった内容の声掛けを実行している。また、顔認識により人物個人を特定し、「○○さん」のように個人名を付した声掛けも実行することができる。

【0028】

図２中（Ｂ）：また、移動ロボットＲＢは、例えば建設現場ＣＳ内で作業員を人物認識するとともに、建設関連情報を認識する。この例では、建設関連情報として人物が足場ＳＣに登った高所作業中であることを状況判断し、「危ないですよ！注意して作業して下さい」といった内容の声掛けを実行している。

【0029】

このような声掛けの仕組みは、移動ロボットＲＢが決まった音声で声掛けする場合と比較して、安全性の向上に利する点が大きい。すなわち、移動ロボットＲＢが建設現場ＣＳ内を移動して回り、「人物認識したら機械的に定型の発話内容で声掛けする」というパターンでは、作業中の人物には発話内容があまり届かず、注意喚起にはつながらない。これに対し、作業員に対してその場の状況に合わせた具体的な健康情報や危険情報、建築関連情報を音声で案内する声掛けのパターンであれば、対象人物の注意喚起につながり、安全性向上に利する点が大きくなる。

【0030】

〔暗騒音との関係〕
ここで、本実施形態の発話制御装置が取り扱う主題は、特に移動ロボットＲＢが声掛けを実行する際の暗騒音との関係にある。すなわち、建設現場ＣＳのような環境には、各種の作業音や機械動作音、電子機器音といった多様な暗騒音が存在する。このような環境下で移動ロボットＲＢが声掛け（発話音声出力）の内容を対象の人物に届かせるには、暗騒音を含む環境に合わせた声掛けの仕組みが必要となる。以下、本実施形態で扱う声掛けの仕組みについて説明する。

【0031】

〔発話制御装置の構成〕
図３は、一実施形態の発話制御装置１００の構成例を示すブロック図である。なお、図３では一部に移動ロボットＲＢの構成要素も合わせて示されている。

【0032】

発話制御装置１００は、声掛けシステム１１０を中心として構成されている。声掛けシステム１１０は、ＩＰカメラ１１２やマイク・スピーカ１２８からの信号を入力とし、内部でＡＩによる処理や各種の演算を行った上で、マイク・スピーカ１２８から発話音声を出力させる制御を実現する。

【0033】

マイク・スピーカ１２８は、例えば周囲の騒音レベルを計測したり、移動ロボットＲＢから発話音声を出力したりするために用いられる。なお、マイク・スピーカ１２８は別体式（マイクとスピーカが別）の構成であってもよい。

【0034】

ＩＰカメラ１１２は、人物を含む周囲環境を撮像するために用いられる。ＩＰカメラ１１２には、例えば公知の市販製品を適用することができる。ＩＰカメラ１１２は、いわゆるパン、チルト、ズーム（ＰＴＺ）機能を備えたネットワークカメラであるが、本実施形態では特にＰＴＺ機能を用いていない（ただし、用いてもよい。）。ＩＰカメラ１１２は、移動ロボットＲＢの本体（例えば頭部）に内蔵されている（図１参照）。ここでは、移動ロボットＲＢの進行方向正面にＩＰカメラ１１２の向きを設定している。

【0035】

また、声掛けシステム１１０には、ＡＩ処理高速化装置１１４が付加されている。ＡＩ処理高速化装置１１４には、例えば公知の市販製品を用いることができ、ＡＩ処理高速化装置１１４は、声掛けシステム１１０の内部で実行されるＡＩ処理の高速化に寄与する。

【0036】

声掛けシステム１１０は、移動ロボットＲＢの制御部１３０と協働する。制御部１３０は、声掛けシステム１１０と協働して移動ロボットＲＢの移動装置１３２を制御する。例えば、声掛けシステム１１０が声掛けを実行する場合、制御部１３０は移動ロボットＲＢの移動を停止させたり、対象の人物との位置関係を調整したりする。あるいは、制御部１３０が移動ロボットＲＢを移動させつつ、声掛けシステム１１０が声掛けを実行することもある。

【0037】

声掛けシステム１１０は、例えば図示しないＣＰＵ（中央処理装置）及びその周辺機器を含むコンピュータ機器を用いて実現することができる。声掛けシステム１１０は、移動ロボットＲＢのシステムに追加して搭載される別のハードウエアでもよいし、移動ロボットＲＢが既に有するハードウエアにインストールされるソフトウエアでもよい。

【0038】

声掛けシステム１１０には、例えば騒音タイプ別判定部１１６や対人距離判定部１１８、周囲環境判定部１２０、そして演算部１２２といった各種の機能ブロックが含まれている。これらの機能ブロックは、例えばコンピュータプログラムを用いて行うＡＩ処理やソフトウエア処理によって実現することができる。

【0039】

また、声掛けシステム１１０には記憶部１２４や出力装置１２６が含まれる。記憶部１２４は、例えば半導体メモリや磁気記録装置である。記憶部１２４には、例えば声掛けシステム１１０が移動ロボットＲＢに出力させる発話内容の音声データが格納されている。出力装置１２６は、マイク・スピーカ１２８を駆動するドライバアンプ等である。なお、音声データは適宜アップデートすることが可能である。

【0040】

以下に、声掛けシステム１１０の各種機能ブロックによる処理の概要を説明する。また、具体的な処理の詳細については、さらに別途フローチャートを用いて後述する。

【0041】

〔騒音タイプ別判定部〕
図４から図６は、騒音タイプ別判定部１１６による処理の概要を示す図である。騒音タイプ別判定部１１６は、予め暗騒音のタイプを例えば「スパイクタイプ」、「波タイプ」及び「一定タイプ」に分類している。なお、各騒音タイプの特性については後述する。

【0042】

騒音タイプ別判定部１１６は、マイク・スピーカ１２８からの入力信号を用いて暗騒音の騒音レベルを観測し、その時間的な変化特性から騒音タイプがいずれであるかを判定する。そして、騒音タイプ別判定部１１６は、騒音タイプが「スパイクタイプ」又は「波タイプ」のいずれかであれば、それぞれの変化特性に基づいて最適な発話タイミングを設定する。以下、騒音タイプ別に説明する。

【0043】

〔スパイクタイプの暗騒音〕
「スパイクタイプ」の暗騒音には、例えばハンマー等を用いた打撃作業音が含まれる。すなわち、例えばベースとなる暗騒音があり、その中のある時点で急に大きな打撃音が発生し、次の瞬間急に音が小さくなるといった騒音である。このようなタイプの暗騒音には、図４〔スパイクタイプ判定〕の左側枠内に示すように、騒音レベルの観測値（縦軸の波形）が時間軸上で間欠的にインパルス状（スパイク状）に上昇する変化特性が現れる。このような騒音タイプの判定は、観測値の波形をプロファイルすることで実現可能である（これ以降も同様。）。

【0044】

このため、図４〔スパイクタイプ時声掛けタイミング設定〕の右側枠内に示すように、騒音タイプ別判定部１１６は、時間的に前後する観測値（離散時間信号のサンプル値）間の差分値をリアルタイムに演算し、前後の差分値が所定値（例えば３０ｄＢ）以上である場合に「スパイクタイプ」と判定する。なお、「スパイクタイプ」の判定条件は、前後の差分値が所定値以上であることを１回確認した場合としてもよいし、複数回にわたり確認した場合としてもよい。また、前後の差分値が所定値以上となる間隔（スパイクの間隔）は、実際に発生している暗騒音によって異なるが、例えば１秒以下から数秒の範囲内に設定することができる。

【0045】

いずれにしても、「スパイクタイプ」の暗騒音が支配的な環境下では、騒音レベルが大きくなるタイミングを避けて声掛けすることが好ましい。逆に、騒音レベルが小さくなるタイミングで声掛けすれば、発話内容が対象の人物には聞き取りやすくなる。そして、騒音レベルが小さくなるタイミングは、観測値の前後の差分値が所定値以上となるタイミングに相当する。

【0046】

このため騒音タイプ別判定部１１６は、図４〔スパイクタイプ時声掛けタイミング設定〕の右側枠内に示すように、前後の差分値が所定値以上となる時刻ｔ１や時刻ｔ２を発話タイミングとして設定する。これにより、実際に騒音レベルが小さくなったタイミングで移動ロボットＲＢに声掛け（発話音声を出力）させることで、対象の人物に発話内容を聞き取りやすくすることができる。

【0047】

例えば、時刻ｔ１では「こんにちは」を発話させ、時刻ｔ２では「熱中症に気をつけて下さい」を発話させれば、対象の人物にはどちらの発話内容も冒頭から聞き取りやすい。このため、時刻ｔ１と時刻ｔ２の間（時刻ｔ２の直前）に騒音レベルが一瞬大きくなることがあったとしても、対象の人物は２つの発話内容を続けて聞き取り、１つの声掛けとして理解することができる。あるいは、時刻ｔ１又は時刻ｔ２のどちらかのタイミングで両方の内容を一気に発話させてもよい。

【0048】

〔波タイプの暗騒音〕
「波タイプ」の暗騒音には、例えばドリル等の回転作業機の動作音が一部含まれる。すなわち、騒音レベルが周期的に大きくなったり小さくなったりするような騒音である。このようなタイプの暗騒音には、図５〔波タイプ判定〕の左側枠内に示すように、騒音レベルの観測値が時間軸上で周期的に極大化と極小化を繰り返す変化特性が現れる。

【0049】

このため、図５〔波タイプ時声掛けタイミング設定〕の右側枠内に示すように、騒音タイプ別判定部１１６は、観測時間内で騒音レベルが最大（極大）となった値Ｎｍａｘを記憶し、騒音レベルの観測値と最大値Ｎｍａｘとの差（最大値－現在の観測値）が所定値以上（例えば±１０ｄＢ以上）となる場合に「波タイプ」と判定する。なお、観測時間は例えば１秒から数秒程度に設定することができる。

【0050】

このような「波タイプ」の暗騒音が支配的な環境下では、騒音レベルが最大値（ある期間の極大値）になるタイミングを避けて声掛けすることが好ましい。逆に、騒音レベルが最大値からある閾値以下にまで下がってきたタイミングで声掛けすれば、発話内容が対象の人物には聞き取りやすくなる。そして、騒音レベルが最大値から閾値以下まで下がってきたタイミングは、最大値と現在の観測値との差が閾値以上となるタイミングに相当する。

【0051】

このため騒音タイプ別判定部１１６は、図５〔波タイプ時声掛けタイミング設定〕の右側枠内に示すように、最大値Ｎｍａｘと現在の観測値との差分値が閾値Ｔｈ以上となる時刻ｔ３を発話タイミングとして設定する。これにより、実際に騒音レベルが最大値から閾値以下に低下したタイミングで移動ロボットＲＢに声掛け（発話音声を出力）させることで、対象の人物に発話内容を聞き取りやすくすることができる。

【0052】

例えば、時刻ｔ３で「危ないですよ！注意して作業して下さい」を発話させれば、その後も騒音レベルはより低下していくため、対象の人物には発話内容が冒頭からスムーズに聞き取りやすい。また、仮に時刻ｔ３以降で仮に騒音レベルが低下から上昇に転じることがあったとしても、対象の人物は発話内容をその後も続けて聞き取り、声掛けの内容を最後まで理解することができる。

【0053】

〔一定タイプ〕
「一定タイプ」の暗騒音には、例えば機関運転音が含まれる。すなわち、発電機等が動力源とする機関の運転中は、音の大きさがほぼ一定レベル（細かい上下はある）であるような騒音である。また、ドリル等の回転音も一部これに含まれる場合がある。このようなタイプの暗騒音には、図６〔一定タイプ判定〕の枠内で左側に示すように、騒音レベルの観測値が時間軸上でほぼ一定レベルを維持する変化特性が現れる。

【0054】

このため、図６の枠内右側に示すように、騒音タイプ別判定部１１６は、観測時間内で観測値の前後の差分値をとり、その値が所定範囲Ｐ－Ｐ内（例えば±１０ｄＢ以内）に収まっている場合に「一定タイプ」と判定する。なお、観測時間は１秒から数秒程度に設定することができる。

【0055】

このような「一定タイプ」の暗騒音が支配的な環境下では、発話タイミングの設定は任意（適宜）とすることができる。すなわち、どのタイミングで移動ロボットＲＢが声掛けを開始しても、暗騒音との関係は一定しているからである。この場合、発話タイミングとは別に、発話音量を騒音レベルの最大値より大きく（例えば＋５ｄＢ）設定することが好ましい。これにより、対象の人物に発話内容が聞き取りやすい音量で声掛けさせることができる。

【0056】

〔騒音タイプの複合時〕
以上の騒音タイプは、場所や状況によっては複合することがある。すなわち、異なるタイプの暗騒音が各所から発生している場所では、２つ以上の騒音タイプ（例えば、「スパイクタイプ」と「一定タイプ」、「波タイプ」と「スパイクタイプ」、「波タイプ」と「一定タイプ」、３つのタイプ全て等）が複合的に存在することがある。この場合、本実施形態では優先順位を設けることで処理を一本化する。具体的には、「スパイクタイプ」を最優先とし、次に「波タイプ」、「一定タイプ」の順に低く優先順位を設定する。これにより、騒音タイプが複合する場合でも、混乱なく処理を実行することができる。

【0057】

〔距離との関係〕
また、本実施形態の発話制御装置が取り扱う主題は、移動ロボットＲＢが声掛けを実行する際の人物との距離にも関係する。すなわち、建設現場ＣＳのような環境では、例えばオフィスのワンフロアのような開けた場所で移動ロボットＲＢが遠くの人物に声掛けする場合もあれば、近接した距離で声掛けする場合もある。このような環境下で移動ロボットＲＢが声掛けの内容を対象の人物に適切に届かせるには、人物と移動ロボットＲＢとの距離に合わせた声掛けの仕組みも必要となる。

【0058】

〔対人距離判定部〕
図７は、対人距離判定部１１８及び演算部１２２による処理の概要を示す図である。対人距離判定部１１８は、ＩＰカメラ１１２からの入力信号（撮像信号）を用いてＡＩ処理により人物を認識するとともに、人物までの距離（対人距離Ｌ）を判定する。そして、演算部１２２は、対人距離判定部１１８の判定結果に基づいて、移動ロボットＲＢからの発話音量を設定（調節）する。

【0059】

〔対人距離〕
図７中（Ａ）：ここでは、例えば移動ロボットＲＢと声掛け対象の人物との距離を対人距離Ｌ（ｍ）とする。なお、対人距離Ｌには、ある程度の誤差（数ｃｍ程度）が許容されるものとしてよい。

【0060】

〔対人距離Ｌ≧５（ｍ）時〕
図７中（Ｂ）：先ず、人物と移動ロボットＲＢとの距離がある程度離れている状況を想定する。この場合、対人距離判定部１１８は、ＩＰカメラ１１２から入力された撮像信号からＡＩ処理により、対象の人物を認識する。ここでは、認識された人物が一点鎖線の矩形枠（バウンディングボックス）で示されている（これ以降も同様。）。対人距離Ｌは、人物認識したときのバウンディングボックスより推論が可能である。この例では、対人距離判定部１１８は対人距離Ｌを１５ｍと判定する。

【0061】

この結果、演算部１２２は、「Ｌ≧５（ｍ）」の条件を満たすとして、発話音量を基準値より大きく（例えば＋５ｄＢ）設定する。これにより、移動ロボットＲＢからある程度離れた場所にいる人物に対しては、基準値よりも大きい音量で声掛けさせることにより、人物に発話内容を聞き取りやすくすることができる。

【0062】

〔対人距離３≦Ｌ＜５（ｍ）時〕
図７中（Ｃ）： 次に、人物と移動ロボットＲＢとの距離が中程度である状況を想定する。この例では、対人距離判定部１１８は対人距離Ｌを４ｍと判定する。

【0063】

この結果、演算部１２２は、「３≦Ｌ＜５（ｍ）」の条件を満たすとして、発話音量を基準値と同等（例えば±０ｄＢ）に設定する。これにより、移動ロボットＲＢからそう遠くない場所にいる人物に対しては、基準値レベルの音量で声掛けさせることにより、人物に発話内容を聞き取りやすくすることができる。したがって、例えば中程度の距離にいる人物にとって標準的に聞き取りやすい発話音量を基準値（ｄＢ）とすることができる。

【0064】

〔対人距離Ｌ＜３（ｍ）時〕
図７中（Ｄ）：次に、人物と移動ロボットＲＢとの距離が近接している状況を想定する。この例では、対人距離判定部１１８は対人距離Ｌを３ｍ以内と判定する。

【0065】

この結果、演算部１２２は、「Ｌ＜３（ｍ）」の条件を満たすとして、発話音量を基準値より小さく（例えば－５ｄＢ）設定する。これにより、移動ロボットＲＢに近接した場所にいる人物に対しては、基準値レベルより小さい音量で声掛けさせることにより、人物に煩わしさを感じさせることなく、充分に発話内容を聞き取りやすくすることができる。

【0066】

以上のような対人距離Ｌと発話音量の設定との関係は、以下のような知見に基づく。すなわち、図７中（Ａ）に示すように、移動ロボットＲＢが発話するときの音量は、対象の人物に聞こえる（対人距離Ｌ離れた先まで届く）音量を基準に設定する必要がある。したがって、実際に対象の人物に聞こえる音量は、建設現場ＣＳでの暗騒音レベルを上回っている必要があるが、このとき、対人距離Ｌが中程度（３～５ｍ）の範囲内であれば、移動ロボットＲＢから暗騒音レベルを上回る標準的な音量（基準値±０ｄＢ）で発話させても、人物への声掛けに大きな影響がない（特段に聞き取りにくくない）ことが分かっている。したがって、周囲環境の暗騒音レベルより大きい（例えば暗騒音＋５ｄＢ）を発話音量の基準値とし、その上で対人距離Ｌのレンジに応じて発話音量を大小に調節すれば、どの距離でも安定して人物に聞こやすい音量で声掛けさせることができる。

【0067】

〔周囲環境との関係〕
さらに、本実施形態の発話制御装置が取り扱う主題は、移動ロボットＲＢが声掛けを実行する際の周囲環境の条件にも関係する。すなわち、建設現場ＣＳでは、移動ロボットＲＢが人物に声掛けする際に周囲環境が様々に異なる場合がある。このような異なる環境下で移動ロボットＲＢが声掛けの内容を対象の人物に適切に届かせるには、周囲環境に合わせた声掛けの仕組みも必要となる。

【0068】

〔周囲環境判定部〕
図８は、周囲環境判定部１２０及び演算部１２２による処理の概要を示す図である。周囲環境判定部１２０は、ＩＰカメラ１１２からの入力信号（撮像信号）を用いてＡＩ処理により周囲環境を認識し、どの環境タイプであるかを判定する。ここでは、ＡＩで認識する環境タイプを３つに予め分類しているものとする。すなわち、「広い空間」、「通路」そして「部屋」の３タイプである。そして、演算部１２２は、周囲環境判定部１２０の判定結果に基づいて、移動ロボットＲＢからの発話音量を設定（調節）する。

【0069】

〔広い空間認識時〕
図８中（Ａ）：周囲環境判定部１２０は、この例のように周囲に壁がない空間ＳＰであるとＡＩ処理によって認識できる場合は、環境タイプを「広い空間」と判定する。

【0070】

この結果、演算部１２２は、発話音量を基準値より大きく（例えば＋５ｄＢ）設定する。これは、実際に広い空間では、移動ロボットＲＢから発話させた音声が拡散しやすく、対象の人物に届くまでに音圧レベルが減衰しやすいことを考慮したものである。これにより、ある程度開けた場所にいる人物に対しては、基準値よりも大きい音量で声掛けさせることにより、人物に発話内容を聞き取りやすくすることができる。

【0071】

〔通路認識時〕
図８中（Ｂ）：また、周囲環境判定部１２０は、この例のように進行方向に空間ＳＰがあり、周囲に壁ＷＬや棚ＲＣがあるとＡＩ処理によって認識できる場合は、環境タイプを「通路」と判定する。

【0072】

この結果、演算部１２２は、発話音量を基準値と同等（例えば±０ｄＢ）に設定する。これは、実際に通路のような場所では、移動ロボットＲＢの正面進行方向（発話音声を出力する方向）に発話させた音声が伝達しやすく、対象の人物に届くまでに音圧レベルがあまり減衰しないことを考慮したものである。これにより、通路のような場所にいる人物に対しては、基準値レベルの音量で声掛けさせることにより、人物に発話内容を聞き取りやすくすることができる。したがって、例えば通路内にいる人物にとって標準的に聞き取りやすい発話音量を基準値（ｄＢ）とすることができる。

【0073】

〔部屋認識時〕
図８中（Ｃ）：また、周囲環境判定部１２０は、この例のように移動ロボットＲＢの正面進行方向の距離は短く（突き当たりＤＥ）、両側に壁ＷＬがあるとＡＩ処理によって認識できる場合は、環境タイプを「部屋」と判定する。

【0074】

この結果、演算部１２２は、発話音量を基準値より小さく（例えば－５ｄＢ）設定する。これは、実際に部屋のような場所では、移動ロボットＲＢから発話させた音声が反響しやすく、音圧レベルがほとんど減衰せずに対象の人物に届くことを考慮したものである。これにより、部屋の中にいる人物に対しては、基準値よりも小さい音量で声掛けさせることにより、煩わしさを感じさせることなく、人物に発話内容を聞き取りやすくすることができる。

【0075】

〔処理プログラムの例〕
以上の説明で声掛けシステム１１０による各種処理の概要は明らかとなっているが、以下では、フローチャートを用いて具体的な処理の手順を説明する。

【0076】

〔騒音タイプ別判定処理〕
図９は、騒音タイプ別判定部１１６で実行されるプログラムの一部として騒音タイプ別判定処理の手順例を示すフローチャートである。以下、手順例に沿って説明する。

【0077】

ステップＳ１００：騒音タイプ別判定部１１６は、騒音計測を実行する。ここでは、例えばマイク・スピーカ１２８からの入力信号を離散時間処理し、観測値のサンプルを得る。なお、入力信号は声掛けシステム１１０の図示しないＡ／Ｄ変換部によりデジタル変換される。

【0078】

ステップＳ１０２：騒音タイプ別判定部１１６は、計測完了の条件を判断する。例えば、観測値のサンプルを必要数（３０～１００個）蓄積すると、計測完了（Ｙｅｓ）と判断する。計測を完了するまでは（Ｎｏ）、騒音タイプ別判定部１１６はここで本処理を抜け（リターン）、ステップＳ１００を繰り返す。計測完了（Ｙｅｓ）の場合、次にステップＳ１０４を実行する。

【0079】

ステップＳ１０４：騒音タイプ別判定部１１６は、騒音タイプ判定を実行する。ここでは、上記のように暗騒音が「スパイクタイプ」、「波タイプ」又は「一定タイプ」のいずれの騒音タイプであるかを判定する。この判定は、ＡＩ処理を用いた推論により行ってもよいし、サンプルを全て評価してから行ってもよい。

【0080】

ステップＳ１０６：騒音タイプ別判定部１１６は、騒音タイプが「スパイクタイプ」である場合（Ｙｅｓ）、ステップＳ１０８に進む。それ以外では（Ｎｏ）、ステップＳ１１０に進む。

【0081】

ステップＳ１１０：騒音タイプ別判定部１１６は、騒音タイプが「波タイプ」である場合（Ｙｅｓ）、ステップＳ１１２に進む。それ以外は騒音タイプが「一定タイプ」であり（Ｎｏ）、ステップＳ１１４に進む。

【0082】

〔スパイクタイプ判定時〕
ステップＳ１０８：騒音タイプ別判定部１１６は、「スパイクタイプ」判定時の声掛けタイミング（発話タイミング）を設定する。先の例（図４）であれば、前後の差分値が閾値以上となる時刻ｔ１，ｔ２を発話タイミングとして設定する。

【0083】

〔波タイプ判定時〕
ステップＳ１１２：騒音タイプ別判定部１１６は、「波タイプ」判定時の声掛けタイミング（発話タイミング）を設定する。先の例（図５）であれば、最大値Ｎｍａｘとの差が閾値Ｔｈ以上となる時刻ｔ３を発話タイミングとして設定する。

【0084】

〔一定タイプ判定時〕
ステップＳ１１４：騒音タイプ別判定部１１６は、「一定タイプ」判定時の発話音量を設定する。先の例（図６）であれば、暗騒音レベルを上回る音量に設定する。

【0085】

ステップＳ１１６：騒音タイプ別判定部１１６は、ステップＳ１０８，Ｓ１１２，Ｓ１１４のいずれかの処理の結果を出力する。すなわち、設定した発話タイミング又は発話音量を演算部１２２に出力する。

【0086】

以上の手順を実行すると、騒音タイプ別判定部１１６は本処理を離脱（リターン）する。そして、上記同様の手順を繰り返し実行する。

【0087】

〔対人距離判定処理〕
図１０は、対人距離判定部１１８で実行されるプログラムの一部として対人距離判定処理の手順例を示すフローチャートである。以下、手順例に沿って説明する。

【0088】

ステップＳ２００：対人距離判定部１１８は、人物検知処理を実行する。この処理は、ＡＩ処理を用いて実行することができる。
ステップＳ２０２：対人距離判定部１１８は、人物を検知した場合（Ｙｅｓ）、ステップＳ２０４に進む。人物を検知していない場合（Ｎｏ）、ステップＳ２０８に進む。

【0089】

〔人物検知時〕
ステップＳ２０４：対人距離判定部１１８は、対人距離判定処理を実行する。この処理もまた、ＡＩ処理を用いて実行することができる。先の例（図７）であれば、人物を認識したバウンディングボックスを用いた推論により対人距離Ｌを判定する。
ステップＳ２０６：対人距離判定部１１８は、判定した対人距離Ｌの値を処理の結果として演算部１２２に出力する。

【0090】

〔人物非検知時〕
ステップＳ２０８：この場合、対人距離判定部１１８は、「人物検知なし」を演算部１２２に出力する。

【0091】

以上の手順を実行すると、対人距離判定部１１８は本処理を離脱（リターン）する。そして、上記同様の手順を繰り返し実行する。

【0092】

〔周囲環境判定処理〕
次に、図１１は、周囲環境判定部１２０で実行される周囲環境判定処理の手順例を示すフローチャートである。以下、手順例に沿って説明する。

【0093】

ステップＳ３００：周囲環境判定部１２０は、周囲環境認識処理を実行する。この処理は、ＡＩ処理を用いて実行することができる。先の例（図８）に挙げたように、ここでは周囲環境を認識した上で、環境タイプが「広い空間」、「通路」又は「部屋」のいずれであるかを判定する。

【0094】

ステップＳ３０２：周囲環境判定部１２０は、環境タイプを「広い空間」と判定した場合（Ｙｅｓ）、ステップＳ３０４を実行する。それ以外では（Ｎｏ）、ステップＳ３０６に進む。
ステップＳ３０６：周囲環境判定部１２０は、環境タイプを「通路」と判定した場合（Ｙｅｓ）、ステップＳ３０８を実行する。それ以外では（Ｎｏ）、ステップＳ３１０に進む。
ステップＳ３１０：周囲環境判定部１２０は、環境タイプを「部屋」と判定した場合（Ｙｅｓ）、ステップＳ３１２を実行する。それ以外では（Ｎｏ）、ステップＳ３１４に進む。

【0095】

〔広い空間判定時〕
ステップＳ３０４：周囲環境判定部１２０は、発話音量の調整パラメータとして「＋５ｄＢ」を設定する。

【0096】

〔通路判定時〕
ステップＳ３０８：周囲環境判定部１２０は、発話音量の調整パラメータとして「±０ｄＢ」を設定する。

【0097】

〔部屋判定時〕
ステップＳ３１２：周囲環境判定部１２０は、発話音量の調整パラメータとして「－５ｄＢ」を設定する。

【0098】

ステップＳ３１６：周囲環境判定部１２０は、ステップＳ３０４，Ｓ３０８，Ｓ３１２のいずれかの処理の結果を出力する。すなわち、設定した発話音量の調整パラメータを演算部１２２に対して出力する。

【0099】

ステップＳ３１４：一方、環境タイプを判定できなかった場合（ステップＳ３１０＝Ｎｏ）、周囲環境判定部１２０は、「周囲環境不明」を演算部１２２に対して出力する。

【0100】

以上の手順を実行すると、周囲環境判定部１２０は本処理を離脱（リターン）する。そして、上記同様の手順を繰り返し実行する。

【0101】

〔声掛け音声出力処理〕
図１２は、演算部１２２で実行される声掛け音声出力処理の手順例を示すフローチャートである。以下、手順例に沿って説明する。

【0102】

ステップＳ４００：演算部１２２は、騒音タイプ別判定部１１６、対人距離判定部１１８及び周囲環境判定部１２０からの出力結果をそれぞれ入力する。
ステップＳ４０２：騒音タイプ別判定部１１６から声掛け（発話）タイミングの設定が入力されてきた場合（Ｙｅｓ）、演算部１２２は、ステップＳ４０４に進む。それ以外であれば（Ｎｏ）、ステップＳ４０４をスキップしてステップＳ４０６に進む。

【0103】

〔声掛けタイミング設定あり時〕
ステップＳ４０４：演算部１２２は、騒音タイプ別判定部１１６により設定された声掛け（発話）タイミングであることを確認すると（Ｙｅｓ）、ステップＳ４０６に進む。設定された声掛けタイミングでなければ（Ｎｏ）、ここで本処理を離脱（リターン）してステップＳ４００から繰り返す。

【0104】

ステップＳ４０６：声掛けタイミングの設定あり時（ステップＳ４０２＝Ｙｅｓ）及び設定なし時（ステップＳ４０２＝Ｎｏ）のいずれについても、演算部１２２は声掛け（発話）音量を設定する。ここでは、対人距離判定部１１８で判定された対人距離Ｌの条件や、周囲環境判定部１２０で設定された調整パラメータを用いて声掛け（発話）音量を設定する。

【0105】

〔上限値による制限〕
ただし、演算部１２２は、声掛け（発話）音量の設定に制限を設けている。具体的には、暗騒音レベルを上回る基準値に調整パラメータを足し合わせた上で、発話させる音量の上限は所定の規制値（例えば８０ｄＢ）の範囲内としている。これにより、移動ロボットＲＢから出力させる発話音声が別の第三者（建設現場ＣＳ外の人物）に対する騒音となるのを防止することができる。

【0106】

ステップＳ４０８：そして演算部１２２は、声掛け（発話）タイミングが設定された場合はそのタイミングに、設定されていない場合は適宜のタイミングに、かつ、設定した声掛け（発話）音量で声掛け音声出力を出力装置１２６に対して指示する。これにより、マイク・スピーカ１２８から発話音声が出力される。

【0107】

以上の手順を実行すると、演算部１２２は本処理を離脱（リターン）する。そして、上記同様の手順を繰り返し実行する。

【0108】

このように、声掛けシステム１１０の各部が各処理を同時並行的に実行することにより、移動ロボットＲＢによる声掛けが適切に実行されることになる。

【0109】

なお、対人距離判定処理（図１０）のステップＳ２０６では、結果として対人距離Ｌの値を出力しているが、周囲環境判定処理（図１１）のステップＳ３０２～Ｓ３１２のように、対人距離Ｌのレンジ別に発話音量の調整パラメータを設定して出力してもよい。具体的には、対人距離判定部１１８は、判定した対人距離Ｌが５ｍ以上であれば、発話音量の調整パラメータとして「＋５ｄＢ」を設定し、判定した対人距離Ｌが３ｍ以上５ｍ未満であれば、発話音量の調整パラメータとして「±０ｄＢ」を設定し、判定した対人距離Ｌが３ｍ未満であれば、発話音量の調整パラメータとして「－５ｄＢ」を設定することとしてもよい。

【0110】

逆に、周囲環境判定処理（図１１）ではステップＳ３０２～Ｓ３１２を実行することなく、判定結果として環境タイプ（又は周囲環境不明）だけを出力することとしてもよい。この場合、ステップＳ３０２～Ｓ３１２の処理を音声出力処理の中で実行することで、同じ結果を得ることができる。

【0111】

以上のような実施形態の発話制御装置１００によれば、適切に発話を制御することができる。これにより、例えば建設現場ＣＳのように周囲環境にハンマーを叩く音やドリルが回る音といった様々なタイプの暗騒音が存在し、また、対象の人物までの距離や人物が居る周囲環境も異なる場合であっても、移動ロボットＲＢが日中、建設現場ＣＳ内を自律移動しながら作業者に声掛けする際に、暗騒音に阻害されることなく、声掛けの内容を確実に聞かせることができる。

【0112】

本発明は上述した実施形態に制約されることなく、種々に変形して実施することが可能である。
既に述べたように、発話制御装置１００を適用する対象は移動ロボットＲＢに限られず、固定式のロボットであってもよいし、ロボットの形態ではない車両その他のマシン、あるいは据え置き型の機器であってもよい。

【0113】

ＩＰカメラ１１２やマイク・スピーカ１２８の設置個数や位置、形状、向き等は適宜に選択又は変更することができる。また、ＡＩ処理高速化装置１１４は必須ではなく、特にこれを用いなくてもよい。

【0114】

また、各種処理（図９～図１２）で挙げた手順例は適宜に変更可能であるし、必ずしも手順例の通りに処理が行われなくてもよい。また、各種処理をどのような契機（割り込みイベント処理又はトリガイベント処理）で実行させるかは適宜に決定してもよい。

【0115】

その他、実施形態等において図示とともに挙げた構造はあくまで好ましい一例であり、基本的な構造に各種の要素を付加し、あるいは一部を置換しても本発明を好適に実施可能であることはいうまでもない。

【符号の説明】

【0116】

１００ 発話制御装置
１１０ 声掛けシステム
１１２ ＩＰカメラ
１１６ 騒音タイプ別判定部
１１８ 対人距離判定部
１２０ 周囲環境判定部
１２２ 演算部（音声出力部）
１２６ 出力装置（音声出力部）
１２８ マイク・スピーカ（音声出力部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】