【実施例1】
【0011】
図1に実施例1の物体受け渡しシステムの構成例を示す。実施例1の物体受け渡しシステムは、同じ物体受け渡し装置100がネットワーク800を介して接続され、リアルタイムで物体を受け渡す。物体受け渡し装置100は、映像取得部110、物体移動データ取得部120、通信部130、出力部140、物体移動再現部150を備える。また、複製データ取得部160、複製部170、記録部190も備えてもよい。
【0012】
物体とは、具体的には、プリンタなどで印刷された紙の資料、立体的な模型、プレゼントの品物などである。提供側の物体と受け取る側の物体を区別して説明する必要があるときは、提供する側の物体を「表示用の物体」、受け取る側の物体を「受取用の物体」と表現する。本実施例では、物体はあらかじめ受け取る側に用意している、もしくは複製データ取得部160と複製部170によってリアルタイムに複製物が受け取る側に送れることを前提とする。
図2は、物体受け渡し装置100−1が物体を提供する側、物体受け渡し装置100−2が物体を受け取る側とした場合の物体受け渡しシステムの処理フロー例である。
図2(A)が物体受け渡し装置100−1の処理フロー、
図2(B)が物体受け渡し装置100−2の処理フローである。
【0013】
映像取得部110は、物体提供時には物体提供者の映像と音響のデータである提供映像データを取得し、物体受取時には物体受取者の映像と音響のデータである受取映像データを取得する。つまり、提供側の映像取得部110−1が、物体提供者の映像と音響のデータである提供映像データを取得する(S111−1)。受取側の映像取得部110−2が、受取映像データを取得する(S112−2)。映像取得部110は、カメラとマイクなどで構成すればよい。提供映像データと受取映像データは記録部190に記録しておいてもよい。
【0014】
物体移動データ取得部120は、物体提供時には、物体提供者が移動させる表示用の物体の動きの情報である物体移動データを、提供映像データと対応付けて取得する。つまり、物体移動データ取得部120−1が、物体提供者が移動させる表示用の物体の動きの情報である物体移動データを、提供映像データと対応付けて取得する(S120−1)。「対応付けて」とはタイミングを一致させる(同期させる)ことができるようにという意味である。物体移動データ取得部120は、モーショントラッキングセンサなどを用いて、物体提供者の腕の動きまたは表示用の物体の動きをトラッキングすればよい。画像認識によってトラッキングする場合、映像取得部110が取得した提供映像データを用いてもよいし、別のカメラの映像を用いてもよい。なお、表示用の物体は、受取用の物体と同一のものである必要はない。例えば、物体移動データ取得部120が、画像認識によってトラッキングするのであれば、表示用の物体には画像認識しやすいマーカを付しておいてもよい。物体移動データは記録部190に記録しておいてもよい。
【0015】
通信部130は、物体提供時には、提供映像データと物体移動データとを対応付けて送信し、物体受取者の映像である受取映像データを受信し、物体受取時には、提供映像データと前記物体移動データとを対応付けて受信し、受取映像データを送信する。つまり、提供側の通信部130−1は、提供映像データと物体移動データとを対応付けて受取側の物体受け渡し装置100−2に送信し(S131−1)、物体受取者の映像と音響のデータである受取映像データを受取側の物体受け渡し装置100−2から受信する(S133−1)。受取側の通信部130−2は、提供映像データと物体移動データとを対応付けて提供側の物体受け渡し装置100−1から受信し(S132−2)、受取映像データを提供側の物体受け渡し装置100−1に送信する(S134−2)。受信した受取映像データ、提供映像データと物体移動データは、記録部190に記録しておいてもよい。
【0016】
出力部140は、物体提供時には受信した前記受取映像データを出力し、物体受取時には受信した提供映像データを出力する。つまり、提供側の出力部140−1が、受信した受取映像データを出力する(S141−1)。受取側の出力部140−2が、受信した提供映像データを出力する(S142−2)。「提供映像データを出力する」とは、出力部140をディスプレイとスピーカなどで構成して映像や音で出力するという意味と、外部のディスプレイやスピーカに対して電気信号を出力するという意味の両方を含んでいる。また、例えば、一般的なテレビ会議端末を映像取得部110と出力部140として使ってもよい。
【0017】
物体移動再現部150は、受信した提供映像データと対応させ、受信した物体移動データに基づいて、物体提供者から離れる方向に表示用の物体が移動するときは受取用の物体を物体受取者側に移動させ、物体提供者側に表示用の物体が移動するときは受取用の物体を物体受取者から離れる方向に移動させる。つまり、物体移動再現部150−2が、受取用の物体を移動させる(S150−2)。物体移動再現部150−2には、ロボットアームやペーパーフィーダー(紙供給用の機械)などを用いればよい。ロボットアームを用いればいろいろな物体を受け渡すことができるし、出力部140の下からだけでなく横や上から物体を受け渡すことも可能である。受け渡す物体が紙の資料に限定される場合にはペーパーフィーダーを用いることができる。この場合は、紙を一定スピードで供給してしまうのではなく、提供映像データと対応するように、物体移動データに基づいて紙を移動させるようにすることが望ましい。例えば、物体提供者側に表示用の物体(紙)が移動するときは受取用の物体を物体受取者から離れる方向(つまり、供給する方向とは逆)に受取用の物体(紙)を移動させる。「受信した提供映像データと対応させ」とは、物体移動データ取得部120での「対応付けて」についての説明と同じように、受信した提供映像データとタイミングを一致させる(同期させる)ことを意味する。また、上記の説明では、物体の受け渡しに必要な離れる方向や近づく方向について説明しているが、この方向に限定するものではない。物体を受け取る人が出力部に映されている物体の提供者と対面していると感じるように、物体を6自由度(3軸回転3軸平行移動)で移動させてもよい。また、物体を変形させること(例えば、紙を折るなど)も加えてもよい。
【0018】
図3に物体を複製する場合の処理フロー例を示す。紙の資料や3次元プリンタで複製できる物体であれば、物体受け渡し装置100は複製データ取得部160、複製部170を備えればよい。複製データ取得部160は、物体提供時には複製するための複製データを取得する。複製部170は、物体受取時には複製データに基づいた複製によって受取用の物体を作成する。この場合は、通信部130は、物体提供時には複製データも送信し、物体受取時には複製データも受信する。つまり、複製データ取得部160−1が複製するための複製データを取得し(S160−1)、通信部130−1が複製データも送信する(S135−1)。通信部130−2が複製データを受信し(S136−2)、複製部170が複製データに基づいた複製によって受取用の物体を作成する(S170−2)。複製データ取得部160には、2次元または3次元のスキャナを用いればよい。複製部170には、印刷機や3Dプリンタなどを用いればよい。また、手書きの文字を複製する場合には、ロボットアームで筆記動作を再現してもよい。
図3に示した複製はリアルタイムで実行できるならば、
図2に示したフローと並列に行ってもよい。また、複製をリアルタイムでは実行できない場合には、あらかじめ複製した物体を用意しておけばよい。
【0019】
実施例1の物体受け渡しシステムによれば、映像で示される動作と物体の動きが同期するので、物体を受け取る人に、物体の提供者と同じ空間にいるという感覚を生じさせることができる。また、物体を提供する人にとっても、受け取る人の様子を確認できる。なお、実施例1では物体受け渡し装置100−1,2は同じ構成なので、どちらが提供側にもなれる。
【0020】
<具体例>
図4に、実際に作成した物体受け渡し装置100の例を示す。
図4(A)は物体受け渡し装置100の全体を出力部140のディスプレイの横から見た図、
図4(B)は出力部140のディスプレイを正面から見た図、
図4(C)は
図4(A)の(C)の部分の拡大図であって物体移動再現部150としてロボットアームを用いた場合の図、
図4(D)は
図4(A)の(D)の部分をディスプレイの正面側から見た拡大図であって筆記軌跡受信機166を示す図である。映像取得部110として利用するカメラと、物体移動データ取得部120のトラッキング用カメラ121がディスプレイの上部に設置されている。複製データ取得部160の1つとして筆記軌跡送信機(ペン)165と筆記軌跡受信機166が置かれており、筆跡が取得できる。
図4(A)のディスプレイの右側(つまり、ディスプレイの裏側)には、複製部170としてプリンタが用いられ、物体移動再現部150としてロボットアームが用いられている。この例では、物体は紙159であり、ディスプレイの下にある穴151からロボットアームで押されて出てくる。
図4(B)に示すように、映像と同期して紙159が出てくることで、物体を受け取る人に、物体の提供者と同じ空間にいるという感覚を生じさせることができる。
【0021】
[実施例1変形例1]
本変形例では、一方が必ず提供側で他方が必ず受取側の場合を説明する。この場合は、提供側の物体受け渡し装置100には、物体移動再現部150は必要ない。また、受取側の物体受け渡し装置100には物体移動データ取得部120は必要ない。
図1において物体受け渡し装置100−1を提供側、物体受け渡し装置100−2を受取側としたときの構成と処理について以下で説明する。そのときの処理フローは
図2と同じである。
【0022】
提供側の物体受け渡し装置100−1は、少なくとも映像取得部110−1、物体移動データ取得部120−1、通信部130−1、出力部140−1を備える。なお、複製データ取得部160−1も備えてもよい。提供側の映像取得部110−1は、物体提供者の映像と音響のデータである提供映像データを取得する(S111−1)。物体移動データ取得部120−1は、物体提供者が移動させる表示用の物体の動きの情報である物体移動データを、提供映像データと対応付けて取得する(S120−1)。提供側の通信部130−1は、提供映像データと物体移動データとを対応付けて受取側の物体受け渡し装置100−2に送信し(S131−1)、物体受取者の映像と音響のデータである受取映像データを受取側の物体受け渡し装置100−2から受信する(S133−1)。提供側の出力部140−1は、受信した受取映像データを出力する(S141−1)。
【0023】
受取側の物体受け渡し装置100−2は、少なくとも映像取得部110−2、通信部130−2、出力部140−2、物体移動再現部150−2を備える。なお、複製部170−2も備えてもよい。受取側の映像取得部110−2は、受取映像データを取得する(S110−2)。受取側の通信部130−2は、提供映像データと物体移動データとを対応付けて提供側の物体受け渡し装置100−1から受信し(S132−2)、受取映像データを提供側の物体受け渡し装置100−1に送信する(S134−2)。受取側の出力部140−2は、受信した提供映像データを出力する(S142−2)。物体移動再現部150−2は、受信した提供映像データと対応させ、受信した物体移動データに基づいて、物体提供者から離れる方向に表示用の物体が移動するときは受取用の物体を物体受取者側に移動させ、物体提供者側に表示用の物体が移動するときは受取用の物体を物体受取者から離れる方向に移動させる(S150−2)。
【0024】
このように、一方が必ず提供側で他方が必ず受取側の場合は実施例1の場合よりも簡単な構成で実施例1と同様の効果が得られる。
【実施例2】
【0025】
実施例2では、同じ物体受け渡し装置200がネットワーク800を介して接続され、かつ記録媒体を用いた例を示す。実施例2の物体受け渡しシステムの構成例も
図1である。物体受け渡し装置200は、映像取得部210、物体移動データ取得部120、通信部230、出力部240、物体移動再現部150、記録部290を備える。また、複製データ取得部160、複製部170も備えてもよい。
図5は、物体受け渡し装置200−1が物体を提供する側、物体受け渡し装置200−2が物体を受け取る側とした場合の物体受け渡しシステムの処理フロー例である。
図5(A)が物体受け渡し装置200−1の処理フロー、
図5(B)が物体受け渡し装置200−2の処理フローである。なお、各構成部の実現方法は実施例1と同じなので、以下の説明では省略する。
【0026】
映像取得部210は、物体提供時には物体提供者の映像と音響のデータである提供映像データをする。つまり、提供側の映像取得部210−1が、物体提供者の映像と音響のデータである提供映像データを取得する(S111−1)。
【0027】
物体移動データ取得部120は、物体提供時には、物体提供者が移動させる表示用の物体の動きの情報である物体移動データを、提供映像データと対応付けて取得する。つまり、物体移動データ取得部120−1が、物体提供者が移動させる表示用の物体の動きの情報である物体移動データを、提供映像データと対応付けて取得する(S120−1)。
【0028】
通信部230は、物体提供時には、提供映像データと物体移動データとを対応付けて送信し、物体受取時には、提供映像データと前記物体移動データとを対応付けて受信する。つまり、提供側の通信部230−1は、提供映像データと物体移動データとを対応付けて受取側の物体受け渡し装置200−2に送信する(S131−1)。受取側の通信部230−2は、提供映像データと物体移動データとを対応付けて提供側の物体受け渡し装置200−1から受信する(S132−2)。受取側の物体受け渡し装置200−2は、受信した提供映像データと物体移動データを、記録部290に記録する(S293−2)。
【0029】
受取側の物体受け渡し装置200−2は、記録部290から提供映像データと物体移動データとを読み出す(S292−2)。出力部240は、物体受取時には受信した提供映像データを出力する。つまり、受取側の出力部140−2が、受信した提供映像データを出力する(S142−2)。
【0030】
物体移動再現部150は、記録部290から読み出した提供映像データと対応させ、読み出した物体移動データに基づいて、物体提供者から離れる方向に表示用の物体が移動するときは受取用の物体を物体受取者側に移動させ、物体提供者側に表示用の物体が移動するときは受取用の物体を物体受取者から離れる方向に移動させる。つまり、物体移動再現部150−2が、受取用の物体を移動させる(S150−2)。
【0031】
物体を複製する場合の処理フロー例は、実施例1と同じである。実施例2の物体受け渡しシステムによれば、映像で示される動作と物体の動きが同期するので、物体を受け取る人に、物体の提供者と同じ空間にいるという感覚を生じさせることができる。
【0032】
[実施例2変形例1]
本変形例では、提供側の物体受け渡し装置200が提供映像データと物体移動データを記録する場合を示す。本実施例の物体受け渡しシステムの構成も
図1に示す。ただし、物体受け渡し装置200−1,200−2はネットワーク800を介して接続されていなくてもよい。
図6は、物体受け渡し装置200−1が物体を提供する側、物体受け渡し装置200−2が物体を受け取る側とした場合の物体受け渡しシステムの処理フロー例である。
図6(A)が物体受け渡し装置200−1の処理フロー、
図6(B)が物体受け渡し装置200−2の処理フローである。
【0033】
提供側の物体受け渡し装置200−1は、少なくとも映像取得部210−1、物体移動データ取得部120−1、記録部290−1を備える。提供側の映像取得部210−1は、物体提供者の映像と音響のデータである提供映像データを取得する(S111−1)。物体移動データ取得部120−1は、物体提供者が移動させる表示用の物体の動きの情報である物体移動データを、提供映像データと対応付けて取得する(S120−1)。提供側の記録部290−1は、提供映像データと物体移動データとを対応付けて記録する(S291−1)。そして、記録された提供映像データと物体移動データは、郵送や通信などの手段によって受取側に送り、受取側の物体受け渡し装置200−2の記録部290−2に記録される。
【0034】
受取側の物体受け渡し装置200−2は、少なくとも記録部290−2、出力部240−2、物体移動再現部150−2を備える。上記の処理によって、受取側の記録部290−2は、提供映像データと物体移動データとを対応付けて記録している。物体受け渡し装置200−2は、記録部290−2から提供映像データと物体移動データとを読み出す(S292−2)。受取側の出力部240−2は、受取側の記録部290−2が記録する提供映像データを出力する(S142−2)。物体移動再現部150−2は、受取側の記録部290−2が記録する提供映像データと対応させ、受取側の記録部290−2が記録する物体移動データに基づいて、物体提供者から離れる方向に表示用の物体が移動するときは受取用の物体を物体受取者側に移動させ、物体提供者側に表示用の物体が移動するときは受取用の物体を物体受取者から離れる方向に移動させる(S150−2)。
【0035】
このような構成と処理なので、本変形例の物体受け渡しシステムでも、実施例2と同じ効果が得られる。
【0036】
[実施例2変形例2]
本変形例では、1つの物体受け渡し装置を用いて異なる時間に提供と受け渡しが行われる場合を示す。本変形例の物体受け渡し装置200の機能構成例は、
図1の物体受け渡し装置200−1と同じである。
図7は、物体受け渡し装置200が物体を提供する側と物体を受け取る側の両方を行う場合の処理フロー例である。
図7(A)が物体を提供するときの処理フロー、
図7(B)が物体を受け取るときの処理フローである。
【0037】
物体受け渡し装置200は、映像取得部210、物体移動データ取得部120、記録部290、出力部240、物体移動再現部150を備える。
【0038】
物体提供時には、映像取得部210は、物体提供者の映像と音響のデータである提供映像データを取得する(S111)。物体移動データ取得部120は、物体提供者が移動させる表示用の物体の動きの情報である物体移動データを、提供映像データと対応付けて取得する(S120)。記録部290は、提供映像データと物体移動データとを対応付けて記録する(S291)。
【0039】
物体受取時には、物体受け渡し装置200は、記録部290から提供映像データと物体移動データを読み出す(S292)。出力部240は、記録部290が記録する提供映像データを出力する(S142)。物体移動再現部150は、記録部290が記録する提供映像データと対応させ、記録部290が記録する物体移動データに基づいて、物体提供者から離れる方向に表示用の物体が移動するときは受取用の物体を物体受取者側に移動させ、物体提供者側に表示用の物体が移動するときは受取用の物体を物体受取者から離れる方向に移動させる(S150)。
【0040】
このような構成と処理なので、本変形例の物体受け渡しシステムでも、実施例2と同じ効果が得られる。