【解決手段】自律移動可能な代理装置1は、移動目標を受信する移動目標受信手段と、移動目標へ最適な経路で自律移動する移動手段と、経路及び/または目標の位置において、画像及び/または音声を取得する情報取得手段と、画像及び/または音声を代理装置1と通信可能な基地局100へ送信する情報送信手段と、基地局100から受信した情報を音声及び/または画像として出力する出力手段と、を有する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
忙しい人にとって、複数の仕事を同時進行的にこなすのが理想的である。しかし、一人の人間の体は一つであるから、例えば、複数の異なる場所に自分自身で顧客を案内して、説明を行ったり、打ち合わせを行うことはできない。上述の技術においては、決まった位置で決まった作業を行うだけであるから、かかる要請を満たすことはできない。
【0005】
本発明はかかる問題の解決を試みたものであり、自律的に本人の分身として移動を実施し、さらに、作業を行うことができる代理装置、移動方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
第一の発明は、自律移動可能な代理装置であって、移動目標を受信する移動目標受信手段と、前記移動目標へ最適な経路で自律移動する移動手段と、前記経路及び/または前記目標の位置において、画像及び/または音声を取得する情報取得手段と、前記画像及び/または音声を前記代理装置と通信可能な基地局へ送信する情報送信手段と、前記基地局から受信した情報を音声及び/または画像として出力する出力手段と、を有する代理装置である。
【0007】
第一の発明の構成によれば、代理装置は、移動目標へ自律移動し、移動中の経路や移動先において、画像及び/または音声を取得し、基地局から受信した音声及び/または画像を出力することができる。すなわち、基地局を管理する管理者は、代理装置を介して、異なる場所にいる者に対して、質疑応答を含む作業を行うことができる。これにより、自律的に本人の分身として移動を実施し、さらに、作業を行うことができる。
【0008】
第二の発明は、第一の発明の構成において、人間及び物を含む物体を認識する物体認識手段を有し、前記経路及び/または前記目標の位置において、所定の前記物体と所定の距離範囲内を維持する距離範囲維持手段を有する、代理装置である。
【0009】
第三の発明は、第二の発明の構成において、前記物体認識手段は、深層学習(ディープラーニング)によって生成されたデータを参照する代理装置である。
【0010】
第四の発明は、第一の発明乃至第三の発明のいずれかの構成を有する複数の代理装置と通信可能な基地局である。
【0011】
第五の発明は、自律移動可能な代理装置が、移動目標を受信する移動目標受信ステップと、前記移動目標へ最適な経路で自律移動する移動ステップと、前記経路及び/または前記目標の位置において、画像及び/または音声を取得する情報取得ステップと、前記画像及び/または音声を前記代理装置と通信可能な基地局へ送信する情報送信ステップと、前記基地局から受信した情報を音声及び/または画像として出力する出力ステップと、を実施する代理方法である。
【0012】
第六の発明は、自律移動可能な代理装置を管理するコンピュータを、移動目標を受信する移動目標受信手段、前記移動目標へ最適な経路で自律移動する移動手段、前記経路及び/または前記目標の位置において、画像及び/または音声を取得する情報取得手段、前記画像及び/または音声を前記代理装置と通信可能な基地局へ送信する情報送信手段、前記基地局から受信した情報を音声及び/または画像として出力する出力手段、として機能させるためのプログラムである。
【発明の効果】
【0013】
本発明によれば、自律的に本人の身代わりを行うことができる。
【発明を実施するための形態】
【0015】
以下、本発明を実施するための形態(以下、実施形態)について詳細に説明する。以下の説明においては、同様の構成には同じ符号を付し、その説明を省略又は簡略する。なお、当業者が適宜実施できる構成については説明を省略し、本発明の基本的な構成についてのみ説明する。
【0016】
図1乃至
図3は、本発明の実施形態に係る代理装置の作用を示す概要図である。
図1に示す無人飛行装置1A,1B,1C及び1D(以下、「無人飛行装置」を「無人機」と呼び、無人機1A乃至1Dを総称して「無人機1」という。)は、自律移動可能な代理装置の一例である。無人機1は空中を飛行する無人飛行体(「ドローン」とも呼ばれる。)である。無人機1は、外部からの操作信号がない場合であっても、自律移動可能に構成されている。
【0017】
無人機1は、例えば、
図1に示す空港200内に配置されたステーション204上に配置される。ステーション204には、無人機1の充電装置(図示せず)、または、予備のバッテリー(図示せず)が配置されている。ステーション204には、無人機1と通信可能な基地局100も配置されている。基地局100は、パーソナルコンピュータであり、基地局の一例である。無人機1と基地局100で、案内システムを構成している。
【0018】
空港200には、案内カウンター202があり、担当者204A及び204Bが配置されている。担当者204A及び204Bの任務は、空港200内の旅行者に、空港内を案内することである。本実施形態においては、担当者204等に代わって、無人機1A,1B,1C及び1Dが、観光客206A等に同行し、目的の場所においても質問を受け付ける等の作業を行うようになっている。本明細書において、旅行者を「案内対象」とも呼び、案内対象との同行や質問を受け付ける等の作業を「案内」とも表現する。案内対象が行きたい場所を「移動目標」と呼ぶ。移動目標は、例えば、電車(Train)の駅、地下鉄(Subway)の駅、タクシー(Taxi)乗り場、バス(Bus)乗り場、駐車場(Parking)や、洗面所(Washing room)である。
【0019】
案内カウンター202の近傍には、旅行客206A,206B及び206Cが待機したり、担当者204A及び204Bに、空港内の場所についての質問をしている。旅行客206A等が、空港200の内部に不慣れな場合には、自分自身では、移動目標に到達することが困難である。おもてなしの観点では、担当者204A等が目的の場所まで同行するのが望ましいのであるが、旅行客が多数の場合には、対応が困難である。この点、本実施形態では、
図2に示すように、無人機1Aは旅行者206B及び206Cを目標の場所に案内し、同じ時間帯に、無人機1Bは旅行者206Aを目標の場所に案内する。
図4に示すように、担当者204A等は、基地局100のディスプレイ100aで、無人機1A及び無人機1Bが旅行者206A等を案内する様子をモニターする。
【0020】
無人機1は、移動中においては、移動経路の説明や、階段、段差などへの注意をアナウンスする。また、移動目標の位置などにおいて、旅行者206A等から質問を受けた場合、その質問の意味を解析し、予め記憶部に格納している想定質問であれば、予め記憶部に格納している回答を、例えば、音声として出力する。無人機1は、想定質問でない場合には、基地局100のディスプレイ100aに例えば、その音声を文字表示し(
図4参照)、基地局100からの回答データを受信する。あるいは、無人機1は、基地局100を介して、担当者204A等と旅行者206A等が直接コミュニケーションをおこなうことができるようにする。担当者204A等は、案内カウンター202に居ながらにして、必要に応じて、基地局100及び無人機1を介して、複数の異なる位置にいる旅行客206A等からの質問に答えるなどの対応を行うことができる。
【0021】
図5に示すように、無人機1は、筐体2を有する。筐体2には、無人機1の各部を制御するコンピュータ、自律飛行装置、無線通信装置、GPS(Global Positioning System)を利用した測位装置、慣性センサー、気圧センサー、バッテリー等が配置されている。また、筐体2には、固定装置12を介して、情報取得部14が配置されている。情報取得部14は、カメラ14a、レーザー距離計14b及びマイク14cで構成される。カメラ14aは、可視光カメラ、または、近赤外線カメラであるが、切り替え可能なハイブリッドカメラであってもよい。レーザー距離器14bは、例えば、発信したレーザー光が戻るまでの時間によって、無人機1と外部の物体との距離を計測することができるようになっている。マイク14cは、外部の音声を取得することができる。固定装置12は、カメラ14aによる撮影画像のぶれを最小化し、かつ、カメラ14aの光軸を任意の方向に制御することができる3軸の固定装置(いわゆる、ジンバル)である。
【0022】
筐体2には、スピーカー16が配置されている。スピーカー16からは、無人機1自体の合成音声や、担当者204A等の声を出力することができる。
【0023】
固定装置12には、プロジェクター18が配置されている。プロジェクター18からは、画像を出力し、例えば、空港200の床や壁などに地図などの画像を映し出すことができる。
【0024】
筐体2には、丸棒状のアーム4が接続されている。各アーム4にはモーター6が接続されており、各モーター6にはプロペラ8が接続されている。
【0025】
アーム4には保護枠10が接続され、プロペラ8が外部の物体に直接接触することを防止している。アーム4及び保護枠10は、例えば、炭素繊維強化プラスチックで形成されており、強度を保ちつつ、軽量に構成されている。
【0026】
次に、無人機1の機能構成を説明する。
【0027】
図6に示すように、無人機1は、CPU(Central Processing Unit)50、記憶部52、無線通信部54、GPS(Global Positioning System)部56、慣性センサー部58、駆動制御部60、画像・音声処理部62、スピーカー制御部64、プロジェクター制御部66、距離方向測定部68、及び、電源部70を有する。
【0028】
無人機1は、無線通信部54によって、パソコン100と通信可能になっている。無人機1は、無線通信部54によって、パソコン100から、発進等の指示を受信する。
【0029】
無人機1は、GPS部56と慣性センサー部58によって、無人機1自体の位置を測定することができる。GPS部56は、基本的に、3つ以上のGPS衛星からの電波を受信して無人機1の位置を計測する。慣性センサー部58は、例えば、加速度センサー及びジャイロセンサーによって、出発点からの無人機1の移動を積算して、無人機1の位置を計測する。無人機1自体の位置情報は、無人機1の移動経路の決定及び自律移動のために使用する。
【0030】
無人機1は、駆動制御部60によって、各プロペラ8に接続された各モーター6の回転を制御し、上下水平移動や空中停止、傾きなどの姿勢を制御するようになっている。
【0031】
無人機1は、画像・音声処理部62によって、カメラ14a及びマイク14cを作動させて外部の画像及び音声を取得することができる。画像・音声処理部62は、情報取得手段の一例である。カメラ14aによって、空港200内の物や案内対象の画像を取得する。マイク14cによって、案内対象の質問等の音声を取得する。
【0032】
無人機1は、プロジェクター制御部64によって、パソコン100から受信した画像データや記憶部52に記憶した画像データを出力することができる。例えば、案内対象の質問への回答に地図などの画像情報が有用な場合には、そのような画像データを出力する。
【0033】
無人機1は、距離方向測定部68によって、レーザー距離計14bを作動させて、無人機1と外部の物体との距離及び方向を測定することができる。距離は、例えば、レーザー光を照射してから外部の物体に反射して戻ってくるまでの時間で計測する。方向は、レーザー光を照射した方向である。レーザー距離計14bによって測定した距離は、例えば、案内対象と所定距離範囲を維持するために使用する。
【0034】
電源部70は、例えば、交換可能な可充電電池であり、無人機1の各部に電力を供給するようになっている。
【0035】
記憶部52には、出発点から目的位置まで自律移動するための移動計画を示すデータ等の自律移動に必要な各種データ及びプログラム、飛行予定領域の形状や構造物の位置を示す情報が格納されている。
図7は、自律移動に必要なデータ(以下、「自律移動用データ」という。)の一例である。自律移動用データは、移動目標となる空港200内の場所を示す場所データ、各場所の座標データ、及び、各座標へ移動するための経路データを含む。無人機1は、現在位置と各場所の座標を取得すれば、理論的には、最短距離を自律飛行することも可能であるが、実際には、空港200内には構造物が配置されているから、最短距離を飛行することができない場合がある。また、例えば、案内カウンター202が空港ビルの2階に配置され、目標となる電車の駅が地下1階の場合のように、複数階を移動する場合には、最短距離を飛行することはできない。また、無人機1自体が移動可能であっても、案内対象が移動できない経路は採用できない。そのため、経路データは、案内カウンター202から、移動目標へ到達するために、空港200内の構造と人間の移動可能性を踏まえたうえでの、最適な経路を示す情報として生成されている。例えば、電車の駅については、経路は「A→B→C」である。Aは、案内カウンター202の位置の座標、Bはエスカレーター208の乗り口の座標、Cは電車の切符売り場の位置の座標である。
【0036】
記憶部52には、また、
図7の想定問答データが格納されている。想定問答データは、移動目標となる場所ごとに、想定質問と回答が組になったデータである。例えば、電車について、「上野に行くためのホームは何番?」という質問と「1番ホームです。」という回答が組になっている。この想定質問は、日本語のほかに、英語、中国語、韓国語等、主な言語で準備されている。
【0037】
記憶部52には、以上のデータのほか、以下の各プログラムが格納されている。
【0038】
記憶部52には、飛行準備プログラム、飛行制御プログラム、物体認識プログラム、距離範囲維持プログラム、情報取得プログラム、回答プログラム、情報送信プログラム、出力プログラム、及び、バッテリー残量確認プログラムが格納されている。CPU50と飛行準備プログラムは、移動目標受信手段の一例である。CPU50と飛行制御プログラムは、移動手段の一例である。CPU50と物体認識プログラムは、物体認識手段の一例である。CPU50と距離範囲維持プログラムは、距離範囲維持手段の一例である。CPU50と情報取得プログラムは、情報取得手段の一例である。CPU50と回答プログラムは、回答手段の一例である。CPU50と情報送信プログラムは、情報送信手段の一例である。CPU50と出力プログラムは、出力手段の一例である。CPU50とバッテリー残量確認プログラムは、バッテリー残量確認手段の一例である。
【0039】
無人機1は、飛行準備プログラムによって、以下の処理を行う。無人機1は、担当者204A等によって起動されると、移動目標の入力を受け、記憶部52に格納された自律移動用データ(
図7参照)を参照し、移動目標に対応する経路データを取得する。また、無人機1は、案内対象である例えば、旅行者206Aの顔及び声のデータを取得し、記憶部52に記憶する。旅行者206Aの顔のデータは、後述の特定物体認識に使用し、声のデータは質問認識において使用する。
【0040】
無人機1は、飛行制御プログラムによって、無人機1の自律飛行を制御する。具体的には、無人機1は、最適な経路を飛行しつつ、各モーター6の出力を調整し、予定した飛行経路を外れたり、飛行姿勢が乱れた場合には筐体2内の各種センサーで検知して飛行経路や飛行姿勢を修正し、予め規定された飛行経路及び高度を維持するようになっている。最適な経路は、自律移動用データ(
図7参照)に含まれる経路データに示される経路である。
【0041】
無人機1は、物体認識プログラムによって、深層学習(ディープラーニング)によって生成された特徴データを参照する。特徴データは記憶部52に格納されている。深層学習とは、多層構造のニューラルネットワークの機械学習であり、画像認識の分野が有力な活用分野の一つである。
【0042】
無人機1は、カテゴリーごとの多数の特徴情報に基づいて、カメラ14aによって取得した画像に含まれる物体の特徴を識別して、物体のカテゴリーを認識できるようになっている。このカテゴリーの認識を一般物体認識と呼ぶ。
【0043】
無人機1は、また、物体認識プログラムによって、予め記憶部52に記憶した画像(以下、「検査対象」という。)と、カメラ14aによって取得した物体の画像の特徴の相関を判断して、物体の同一性を判断できるようになっている。この同一性の判断を特定物体認識と呼ぶ。検査対象は、例えば、旅行客206Aの顔の画像である。
【0044】
例えば、
図1に示すように、案内カウンター202等の物と、旅行客206A等が空港200内に位置する場合に、旅行客206A等を「人間」として認識する処理が一般物体認識である。そして、検査対象である、例えば、旅行客206Aの画像と、カメラ14aによって取得した画像に含まれる人間が同一性を有すると判断する処理が特定物体認識である。
【0045】
一般物体認識においては、カメラ14aで取得した画像について、例えば、輪郭や個々の構成の方向といった特徴を多数抽出し、ディープラーニングで取得した各カテゴリーの特徴と対比して、相関性(相関度)を判断する。相関度が高いほど、取得した画像中の物体が特定のカテゴリーに属する可能性が高い。例えば、相関度が0の場合には、特定のカテゴリーである可能性(以下、「カテゴリー共通確率」と呼ぶ。)は0として、相関度が最大値を示すときに、カテゴリー共通確率が100%であると定義する。無人機1は、カテゴリー共通確率が所定の基準値である、例えば、95%以上であるときに、取得した画像中の物体のカテゴリーが、特定のカテゴリーに属すると判断する。
【0046】
特定物体認識においては、無人機1は、特定のカテゴリーに属する検査対象が、特定の人間または物である可能性が高い物体(以下、「候補物体」と呼ぶ)であるか否かを判断する。
【0047】
無人機1は、例えば、旅行客206Aの画像が検査対象である場合、検査対象の画像とカメラ14aによって取得した人間の画像の特徴の相関度を判断する。例えば、目の切れ端の形や方向、鼻の中心線と小鼻の角度といった特徴を多数抽出し、同様に検査対象についても特徴を多数抽出し、共通点あるいは類似点が多いほど、相関度が高いと判断する。相関度が高いほど、候補物体である可能性が高い。相関度が0の場合には、候補物体である可能性(以下、「確度」と呼ぶ。)は0として、相関度が最大値を示すときに、確度が100%であると定義する。
【0048】
無人機1は、確度が、所定の判断基準値である、例えば、90%以上であるときに、検査対象を候補物体とする。
【0049】
無人機1は、距離範囲維持プログラムによって、移動目標への移動経路や移動目標の位置において、案内対象である旅行者206A等との距離が所定の距離範囲となるように距離L(
図2及び
図3参照)を維持する。所定の距離範囲は、例えば、1.5メートル(m)以上2.5メートル(m)以下である。所定の距離範囲は、案内対象と接触するなどの危険が及ばず、案内対象からの音声を取得し、無人機1が出力する音声を案内対象に聞かせることが可能な距離として規定される。所定の距離範囲を維持すべき対象は、上述の一般物体認識及び特定物体認識によって認識する。無人機1は、案内対象が常にカメラ14aの視界に入るように、無人機1の位置及び方向やカメラ14aの光軸の方向を調整する。無人機1は、案内対象がカメラ14aの視界から出た場合には、視界に入るように無人機1の位置及び方向やカメラ14aの光軸の方向を調整する。所定の距離範囲は、距離方向測定部68によって測定する。案内対象が旅行者206Aである場合には、無人機1は、一般物体認識によって、カメラ14aで取得した画像中の「人間」を認識し、特定物体認識によって、その人間が旅行者206Aであることを認識する。無人機1は、旅行者206Aの画像データは、上述の飛行準備プログラムによって、移動の準備段階で、記憶部52に格納している。
【0050】
無人機1は、情報取得プログラムによって、移動経路や目標座標の位置において、旅行者206A等の画像及び音声を取得する。具体的には、無人機1は、画像・音声処理部62によって、カメラ14a及びマイク14cを制御し、旅行者206A等の画像及び音声を取得する。
【0051】
無人機1は、回答プログラムによって、案内対象の音声を分析し、質問の意味を認識する。音声の意味の分析においても、ディープラーニングで作成したデータを参照するようにしてもよい。案内対象の音声が、記憶部52に記憶した想定問答データの想定質問(
図8参照)であれば、想定問答データの回答を取得する。想定質問の内容によっては、無人機1は、外部のデータベースにアクセスして回答を完成するようにしてもよい。例えば、電車の時刻表を参照して回答を完成する必要がある場合には、基地局100に格納される時刻表にアクセスし、必要なデータを取得するようにしてもよい。
【0052】
無人機1は、情報送信プログラムによって、上述の情報取得プログラムによって取得した案内対象の画像を基地局100に送信する。また、無人機1は、情報送信プログラムによって、案内対象の音声が、想定問答データの想定質問ではない場合には、基地局100に音声データを送信し、基地局100のディスプレイ装置に文字表示させ、担当者204A等の回答入力を受けるようにする。なお、本実施形態とは異なり、無人機1は、取得した案内対象の音声をすべて基地局100に送信し、基地局100のディスプレイに、想定質問の場合には青色の文字で表示させ、想定質問ではない場合には赤色の文字で表示させるなど、想定質問か否かを識別するための識別情報を付加するようにしてもよい。
【0053】
無人機1は、出力プログラムによって、想定問答データベースの回答、または、基地局100から取得した回答を出力する。具体的には、無人機1は、回答をスピーカー16から音声として出力したり、必要な資料をプロジェクター18で画像として出力する。旅行者206A等の質問が想定質問ではなく、基地局100からの回答入力もない場合には、旅行者206A等と担当者204A等が直接会話するようにする。具体的には、無人機1は、画像・音声処理部62、スピーカー制御部64及びプロジェクター制御部66によって、旅行者206A等と担当者204A等が基地局100及び無人機1を介して会話できるようにする。
【0054】
無人機1は、バッテリー残量確認プログラムによって、無人機1のバッテリー残量が基準値以下になったか否かを確認する。無人機1は、バッテリー残量が基準値以下になった場合には、ステーション204で充電、または、バッテリーの交換を行うようになっている。無人機1は、ステーション204に充電装置が配置されている場合には、自律的に充電を行ってもよいし、バッテリー残量が基準値以下であることを担当者204A等に知らせ、バッテリーを交換させるようにしてもよい。基準値は、例えば、無人機1が、所定の経路を経てステーション204に帰還するまでに必要なバッテリー残量に適宜の余裕を加えた残量、あるいは、バッテリー残量が満充電に対する所定割合、例えば、5%である。
【0055】
以下、無人機1の動作例を
図9及び
図10を参照して説明する。
【0056】
無人機1は、起動すると(
図9のステップST1)、移動目標を受信する(ステップST2)。続いて、無人機1は、案内対象である例えば、旅行者206Aの言語情報を受信する(ステップST3)。無人機1は、旅行者206Aがアメリカ人であれば、英語を示す言語情報を受信し、以後、音声出力や画像表示において、英語を使用する。続いて、無人機1は、案内対象の画像及び音声を取得する(ステップST4)。案内対象の画像は、移動目標までの経路や移動目標の位置において案内対象と所定距離範囲を維持する際に、案内対象を認識するために使用する。案内対象の音声は、案内対象の質問を、他の音声と区別するために使用する。続いて、無人機1は、案内飛行を行い(ステップST5)、その経路において、案内対象が所定距離範囲内か否かを判断し(ステップST6)、所定距離範囲内ではない場合には、距離を調整する(ステップST7)。続いて、無人機1は、案内対象から質問があったかどうかを判断し(ステップST8)、質問が想定外であった場合には、基地局と通信し(ステップST9)、基地局100からの回答を出力する(ステップST10)。なお、無人機1は、案内対象の音声が想定質問であれば、記憶部52に格納されている想定問答データの回答を出力する。また、無人機1は、案内対象の音声が想定質問ではなく、かつ、基地局100からの回答入力もない場合には、担当者204A等と案内対象が、基地局100及び無人機1を介して会話できるように各部を制御する。続いて、無人機1は、移動目標に到達したと判断すると(ステップST11)、例えば、「到着しました。分からないことなどありますか?」という音声を出力する現場作業を実施する(ステップST12)。現場作業は、案内対象からの質問への回答を含む。質問がなければ、任務完了と判断し(ステップST13)、ステーション204へ帰還する(ステップST14)。
【0057】
なお、本発明は本実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。