特許 6044306 情報処理装置、情報処理システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6044306

(24)【登録日】2016年11月25日

(45)【発行日】2016年12月14日

(54)【発明の名称】情報処理装置、情報処理システム及びプログラム

(51)【国際特許分類】

   H04N 7/14 20060101AFI20161206BHJP

【ＦＩ】

   H04N7/14

【請求項の数】7

【全頁数】22

(21)【出願番号】特願2012-264584(P2012-264584)

(22)【出願日】2012年12月3日

(65)【公開番号】特開2014-110558(P2014-110558A)

(43)【公開日】2014年6月12日

【審査請求日】2015年11月12日

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】本間 毅史

【審査官】 富樫 明

(56)【参考文献】

【文献】 特開２０１０−１５４３８７（ＪＰ，Ａ）

【文献】 特開２００６−１７４４８０（ＪＰ，Ａ）

【文献】 特開２００９−０７７３８０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１４

Ｈ０４Ｎ ２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

ユーザの動作を認識可能なデバイスから情報を取得し、前記ユーザの第１動作情報を生成する動作情報生成手段と、
通信回線を介して他の装置から第２動作情報を受信する通信手段と、
動作情報と動作種類とを対応付けた動作対応情報に基づいて、前記第１動作情報に対応する第１動作種類及び前記第２動作情報に対応する第２動作種類を検出する動作検出手段と、
前記通信回線による前記他の装置との通信遅延を検出する遅延検出手段と、
前記第１動作種類、前記第２動作種類、及び前記通信遅延に基づいて、表示対象のオブジェクトの修正が必要か否かを判定する判定手段と、
前記判定手段により修正要と判定された場合、前記第２動作情報を修正する修正手段と、
修正された第２動作情報に基づいて前記オブジェクトを生成するオブジェクト生成手段と
を備える情報処理装置。

【請求項2】

前記判定手段は、
過去の第１動作種類から現在の第１動作種類への動作変化に基づく反応要求の有無と、前記第２動作種類を修正してよいか否かの修正可否結果と、前記通信遅延と閾値との判定結果とに基づいて、前記オブジェクトの修正が必要か否かを判定する請求項１記載の情報処理装置。

【請求項3】

前記修正手段は、
前記第１動作種類の変化に応じて、前記第２動作情報の修正内容及び修正開始時間を決定する請求項１又は２記載の情報処理装置。

【請求項4】

前記修正手段は、
前記第１動作種類の変化に応じた修正内容を複数有し、ランダムに修正内容を選択する請求項３記載の情報処理装置。

【請求項5】

前記修正手段は、
前記第１動作種類の変化、及び前記通信遅延に応じて、前記第２動作情報の修正内容及び修正開始時間を決定する請求項１又は２記載の情報処理装置。

【請求項6】

複数の情報処理装置が通信回線を介して接続され、前記複数の情報処理装置間でコミュニケーションを行う情報処理システムであって、
一の情報処理装置は、
ユーザの動作を認識可能なデバイスから情報を取得し、前記ユーザの第１動作情報を生成する動作情報生成手段と、
前記通信回線を介して他の情報処理装置から第２動作情報を受信する通信手段と、
動作情報と動作種類とを対応付けた動作対応情報に基づいて、前記第１動作情報に対応する第１動作種類及び前記第２動作情報に対応する第２動作種類を検出する動作検出手段と、
前記通信手段による前記他の情報処理装置との通信遅延を検出する遅延検出手段と、
前記第１動作種類、前記第２動作種類、及び前記通信遅延に基づいて、表示対象のオブジェクトの修正が必要か否かを判定する判定手段と、
前記判定手段により修正要と判定された場合、前記第２動作情報を修正する修正手段と、
修正された第２動作情報に基づいて前記オブジェクトを生成するオブジェクト生成手段と
を備える情報処理システム。

【請求項7】

ユーザの動作を認識可能なデバイスから情報を取得し、前記ユーザの第１動作情報を生成する動作情報生成ステップと、
通信回線を介して他の装置から第２動作情報を受信する通信ステップと、
動作情報と動作種類とを対応付けた動作対応情報に基づいて、前記第１動作情報に対応する第１動作種類及び前記第２動作情報に対応する第２動作種類を検出する動作検出ステップと、
前記通信回線による前記他の装置との通信遅延を検出する遅延検出ステップと、
前記第１動作種類、前記第２動作種類、及び前記通信遅延に基づいて、表示対象のオブジェクトの修正が必要か否かを判定する判定ステップと、
前記判定ステップにより修正要と判定された場合、前記第２動作情報を修正する修正ステップと、
修正された第２動作情報に基づいて前記オブジェクトを生成するオブジェクト生成ステップと
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通信回線を介して他の装置とデータ通信を行う情報処理装置、情報処理システム及びプログラムに関する。

【背景技術】

【0002】

複数の端末装置をインターネット等の通信回線を介して接続し、映像と音声を双方向に送受信することで、遠隔地にいる者同士の会議を実現するビデオ会議をはじめとする遠隔会議システムが既に知られている。

【0003】

しかし、映像を送受信するシステムは、帯域が不十分であるなど回線状況によっては、映像が乱れたり途切れたりすることがある。そこで、実映像のかわりにデータ量が各段に小さいユーザの動作に関わる情報のみを送受信し、端末では、その情報を用いて擬似化オブジェクトとして表示する技術がある（例えば特許文献１参照）。これにより、より帯域の狭い通信回線においても、会議を行うことが可能になる。

【0004】

しかし、今までの動作情報を送受信する遠隔会議システムでは、帯域によって生じる問題に対処しているにすぎなかった。通信回線を介した遠隔地同士のコミュニケーションにおいては、帯域の他に遅延により円滑なコミュニケーションが阻害される場合がある。

【0005】

対面しているときのコミュニケーションにおいては、一方が発話してから他方が発話や動作など何らかの反応をみせるまでの時間は非常に短い。しかし、通信回線を介したコミュニケーションの場合、相手の反応が返ってくるまでに往復分の遅延が生じることになる。

【0006】

この遅延が一定水準よりも大きくなると対面でのコミュニケーションよりも発話の衝突や沈黙の頻度が上昇し、コミュニケーションが円滑ではなくなる問題があった。この問題に対処する技術として、実映像を用いたコミュニケーションにおいて、この遅延に相当する時間に、遅延を示すオブジェクトを描画することで通信遅延による違和感を低減する手法が提案されている（例えば非特許文献１参照）。

【発明の概要】

【発明が解決しようとする課題】

【0007】

ここで、通信回線を用いたコミュニケーションにおける、通信遅延により生じる問題について説明する。従来の遠隔会議システムでは、クライアント端末は受信したデータをそのまま解釈して出力機器に出力している。この場合、遅延がある一定以上の値になると、ユーザは、相手の反応が遅延時間分遅く端末に表示されることにより、コミュニケーションを円滑に行うことが困難になる。

【0008】

困難となる理由は、例えば、片道で５００ｍｓ、往復で１０００ｍｓの通信遅延がある場合、発話者が手を動かしたときの受話者の反応が、発話者が使用しているクライアント端末に描画されるのには少なくとも１０００ｍｓの遅延が生じるからである。

【0009】

一般に、対面でコミュニケーションを行っているときの反応は無意識的なものも含めると２００ｍｓ以内には行われることが多い。よって、通信回線によるコミュニケーションが、人間にとって不自然な環境となってしまっている。

【0010】

しかし、人間が対面で会話を行っているときなどに「間」が数百ｍｓを超えることなどは珍しいことではない。これは、このときに反応を返す側の人間が「間」を埋める動作を行っているからである。この「間」を埋める動作は、身体を動かしたり「えー」など意味を含まない音声を発したりすることによって行われている。

【0011】

非特許文献１では、この「間」を埋めるために、「間」を表すオブジェクトを表示しているが、実映像上でこのオブジェクトが表示されるのは、自然なコミュニケーションとはならない。

【0012】

また、特許文献１に記載のように、動作情報に対応する擬似的なオブジェクトに、非特許文献１に記載されたオブジェクトを重畳表示しても、やはり、自然なコミュニケーションとはならない。

【0013】

そこで、本発明は、通信回線を介したコミュニケーションにおいて、帯域の負荷をかけずに、円滑で自然なコミュニケーションを可能にすることを目的とする。

【課題を解決するための手段】

【0014】

本発明の一態様における情報処理装置は、ユーザの動作を認識可能なデバイスから情報を取得し、前記ユーザの第１動作情報を生成する動作情報生成手段と、通信回線を介して他の装置から第２動作情報を受信する通信手段と、動作情報と動作種類とを対応付けた動作対応情報に基づいて、前記第１動作情報に対応する第１動作種類及び前記第２動作情報に対応する第２動作種類を検出する動作検出手段と、前記通信回線による前記他の装置との通信遅延を検出する遅延検出手段と、前記第１動作種類、前記第２動作種類、及び前記通信遅延に基づいて、表示対象のオブジェクトの修正が必要か否かを判定する判定手段と、前記判定手段により修正要と判定された場合、前記第２動作情報を修正する修正手段と、修正された第２動作情報に基づいて前記オブジェクトを生成するオブジェクト生成手段とを備える。

【発明の効果】

【0015】

本発明によれば、通信回線を介したコミュニケーションにおいて、帯域の負荷をかけずに、円滑で自然なコミュニケーションを可能にすることができる。

【図面の簡単な説明】

【0016】

【図1】実施例における情報処理システムの一例を示す図。

【図2】実施例における情報処理装置の構成の一例を示すブロック図。

【図3】実施例における情報処理装置の機能の一例を示すブロック図。

【図4】動作修正の一例を示す図。

【図5】発話者が発話を開始したときの遅延の影響を示す図。

【図6】動作の修正を加えるタイミングを示す図。

【図7】動作対応情報の一例を示す図。

【図8】修正可否情報の一例を示す図。

【図9】反応要求情報の一例を示す図。

【図10】動作修正情報（その１）の一例を示す図。

【図11】動作修正情報（その２）の一例を示す図。

【図12】動作修正情報（その３）の一例を示す図。

【図13】実施例における画像処理の一例を示すフローチャート。

【図14】実施例における反応要求動作の判定処理の一例を示すフローチャート。

【図15】実施例における動作修正の判定処理の一例を示すフローチャート。

【図16】実施例における動作修正処理の一例を示すフローチャート。

【図17】通信遅延による影響を示す図。

【図18】動作の修正を行う時間帯の一例を示す図。

【図19】修正のタイミングと、修正前後の動作の一例を示す図。

【発明を実施するための形態】

【0017】

以下、本発明の各実施例を図面に基づいて説明する。
［実施例］
＜システム＞
図１は、実施例における情報処理システムの一例を示す図である。図１に示すシステムは、複数の装置が通信回線を介して接続され、コミュニケーションを行うシステムであり、例えば遠隔会議システムなどである。

【0018】

図１に示す例では、情報処理システム１は、各情報処理装置１０−ｎ（ｎ＝１〜３、ｎは複数の任意の数）が通信回線５を介して接続されている。通信回線５は、データ通信可能であればいずれでもよく、有線又は無線のＬＡＮ（Local Area Network）、ＷＡＮなどやネットワーク通信網などでもよい。なお、各情報処理装置１０−ｎは、それぞれを区別する必要がなければ、情報処理装置１０として表記する。

【0019】

情報処理装置１０は、クライアント端末とも称され、ネットワークを介した会議を行う際の端末である。情報処理装置１０は、例えば、ＰＣ（Personal Computer）やタブレット端末、テレビ会議用の専用端末などである。

【0020】

ここで、通信回線５を介したコミュニケーションとしてテレビ会議を例にする。ユーザが利用している情報処理装置同士で、ネットワークを介した会議を行う際に、各情報処理装置１０は、通信における送受信の遅延を取得する。

【0021】

情報処理装置１０は、取得した遅延と、端末内に記憶されている遅延に関する閾値とを比較する。情報処理装置１０は、この比較結果と、自装置及び相手装置のユーザの動作情報とに基づいて、オブジェクトをどのように表示するかの判定を行う。

【0022】

情報処理装置１０は、判定結果を基に、必要に応じて、オブジェクトを修正したうえでユーザに表示する。オブジェクトとは、例えばアバターなどの２Ｄ又は３Ｄのキャラクターである。

【0023】

なお、情報処理システム１は、各情報処理装置１０とのコミュニケーションを制御するサーバを設けてもよい。

【0024】

＜構成＞
図２は、実施例における情報処理装置１０の構成の一例を示すブロック図である。図２に示す情報処理装置１０は、制御部１０１、主記憶部１０２、補助記憶部１０３、ドライブ装置１０４、ネットワークＩ／Ｆ部１０６、入力部１０７、及び表示部１０８を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

【0025】

制御部１０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部１０１は、主記憶部１０２や補助記憶部１０３に記憶されたコミュニケーション制御プログラムを実行する演算装置であり、入力部１０７や記憶装置からデータを受け取り、演算、加工した上で、表示部１０８や記憶装置などに出力する。

【0026】

主記憶部１０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部１０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

【0027】

補助記憶部１０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

【0028】

ドライブ装置１０４は、記録媒体１０５、例えばＳＤカードなどからプログラムを読み出し、記憶装置にインストールする。また、記録媒体１０５に、例えばコミュニケーション制御プログラムを格納し、コミュニケーション制御プログラムはドライブ装置１０４を介して情報処理装置１０にインストールされる。インストールされたコミュニケーション制御プログラムは、情報処理装置１０により実行可能となる。

【0029】

ネットワークＩ／Ｆ部１０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ、ＷＡＮなどのネットワークを介して接続された通信機能を有する周辺機器と情報処理装置１０とのインターフェースである。

【0030】

入力部１０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部１０８の表示画面上でキーの選択等を行うためのマウスやスライドパッド等を有する。

【0031】

表示部１０８は、ＬＣＤ（Liquid Crystal Display）等を有し、制御部１０１から入力される表示データに応じた表示が行われる。また、表示部１０８は、情報処理装置１０と別体でもよく、この場合は、情報処理装置１０には、表示部１０８を制御する表示制御部が設けられる。

【0032】

＜機能＞
図３は、実施例における情報処理装置１０−１の機能の一例を示すブロック図である。各情報処理装置１０の機能は、同様であるため、情報処理装置１０−１を例にして、機能を説明する。

【0033】

図３に示す例では、情報処理装置１０−１は、入力機器２０からユーザの動作を表す情報を取得する。入力機器２０は、ユーザの動作を認識可能なデバイスであり、例えば、カメラや深度センサやマイクなどのデバイスである。

【0034】

また、情報処理装置１０−１は、生成したオブジェクトを出力機器３０に出力する。出力機器３０は、例えば、表示部１０８やスピーカーなどのデバイスである。

【0035】

図３に示す情報処理装置１０−１は、動作情報生成手段２０１、通信手段２０２、通信遅延検出手段２０３、動作検出手段２０４、記憶手段２０５、判定手段２０６、修正手段２０７、及びオブジェクト生成手段２０８を備える。

【0036】

動作情報生成手段２０１、通信遅延検出手段２０３、動作検出手段２０４、判定手段２０６、修正手段２０７、及びオブジェクト生成手段２０８は、図２に示す制御部１０１が例えばコミュニケーション制御プログラムを実行することで機能する。このとき、主記憶部１０２は、ワークメモリとして使用される。

【0037】

また、通信手段２０２は、例えばネットワークＩ／Ｆ部１０６により実現され、記憶手段２０５は、例えば補助記憶部１０３及び／又は主記憶部１０２により実現されうる。

【0038】

動作情報生成手段２０１は、入力機器２０から得られる情報を基に、身体の動作のみではなく音声も含むコミュニケーションにおいてやりとりされる情報を示す動作情報（例えば第１動作情報）を生成する。生成された動作情報は、通信手段２０２及び動作検出手段２０４に送信される。

【0039】

通信手段２０２は、通信回線５を介して他の情報処理装置１０−２とコミュニケーションを行うために必要な情報の送受信を行うものである。よって、通信手段２０２は、送信手段及び受信手段として機能する。

【0040】

ここで、コミュニケーションを行うために必要な情報とは、動作に関する情報と音声を含む。実施例では、通信手段２０２は、入力機器２０からの情報を基に、動作に関する情報（第１動作情報）を構成してから他の情報処理装置１０−２に送信する。通信手段２０２は、他の情報処理装置１０−２から動作情報（例えば第２動作情報）を受信する。

【0041】

動作に関する情報とは、例えば、３Dモデルで構成されたアバターであれば、各オブジェクトに対して基部の座標とＸ，Ｙ，Ｚの３次元で表わされるオブジェクトの向きおよび回転角の４次元の情報(Quaternion)である。

【0042】

この４次元の情報あれば、オブジェクトの様態を一意に定めることができるため、各フレームにおけるQuaternionが、送受信されればよい。このとき、３Ｄモデルの情報は、事前に共有したり利用者が独自に調達したりすることで準備したものを利用する。

【0043】

ただし、表情については、位置情報から構成すると不自然になる場合がある。これは、アニメーションなどで一般的にみられるように、写実的ではないアバターの表情にともなう動作は、実際の人間が行う動作と同じ意図を伝える際に同じ動作をすればいいとは限らないからである。

【0044】

そのため、情報処理装置１０は、特許第３５９３０６７号公報のような手法で表情を判断したうえで、表情の種類（喜怒哀楽等）の情報を送信し、受信側で使用しているモデルにその表情を適用する形をとってもよい。

【0045】

また、情報処理装置１０は、音声については音声認識手段および音声合成手段を搭載し、音声をテキストデータとして送受信し、受信したデータから音声を再合成してもよい。

【0046】

通信遅延検出手段２０３は、通信回線５の状態から、通信遅延を検出する。通信遅延検出手段２０３が提供する通信遅延情報とは、通信回線５を介して接続された自端末と相手側端末との間をデータが往復するのに要する時間のことである。

【0047】

通信遅延検出手段２０３は、例えばＰｉｎｇを打ち、その遅延時間を測るといった形で通信遅延を測定することができる。通信遅延検出手段２０３は、検出した通信遅延を判定手段２０６に出力する。

【0048】

動作検出手段２０４は、動作情報と動作種類とを対応付けた動作対応情報に基づいて、第１動作情報に対応する第１動作種類、及び第２動作情報に対応する第２動作種類を検出する。第１動作種類は、自装置側のユーザの動作の種類を示し、第２動作種類は、相手装置側のユーザの動作の種類を示す。動作対応情報は、後述する記憶手段２０５に記憶されている。

【0049】

例えば、動作検出手段２０４は、通信手段２０２から伝送されてきた動作情報（第２動作情報）に対して、動作対応情報の動作情報と一致するかどうかの判断を行い、一致する動作情報に対応する動作種類（第２動作種類）を特定する。

【0050】

動作検出手段２０４は、特定した動作種類を、例えばメタデータ(例えば、発話中・うなずいている・首を左右に振っている・よそ見している・手を動かしている・動作なし・動作不明など)を動作情報に付加したうえで、判定手段２０６に出力する。

【0051】

また、動作検出手段２０４は、動作情報生成手段２０１から取得した動作情報（第１動作情報）に対しても、上記と同様の処理を行い、第１動作種類を付加した第１動作情報を判定手段２０６に出力する。

【0052】

記憶手段２０５は、上述した動作対応情報を記憶しておく。動作対応情報は、動作情報の基準値、例えば、３Ｄモデルの各部の座標の時系列データの基準値と、動作の種類が対応付けられている。

【0053】

例えば、オブジェクトを３Ｄモデルのアバターとした場合、３Ｄモデルは、複数のボーンが結節し、親オブジェクトに対する結節点の位置情報とボーン毎にQuaternionが与えられる形で構成される。

【0054】

例えば、前腕であれば上腕との結節点である肘関節が基点となり、その基点に対してQuaternionが与えられれば前腕を描画する位置を特定できる。ここでは、オブジェクトは、基点を腰の一点とし、主に実際の人間の骨格に類似した形と方向にボーンを配置したアバターとする。

【0055】

このとき、各ボーンの回転角は、直立しカメラに正対しているときに０度となるように設定される。上述した３Ｄモデルの構成は、オープンソースの３ＤＣＧソフトウェアであるＢｌｅｎｄｅｒ(http://www.blender.org/)などで作成することができる。

【0056】

また、記憶手段２０５は、第１動作種類に基づき反応要求を行うか否かを判定するための反応要求情報と、第２動作種類に基づき、第２動作情報を修正しても良いか否かを判定するための修正可否情報とを記憶する。また、記憶手段２０５は、動作情報をどのように修正するかを示す動作修正情報を記憶する。記憶手段２０５が記憶する各情報の詳細は、図７〜１２を用いて後述する。

【0057】

判定手段２０６は、第１動作種類、第２動作種類、及び通信遅延に基づいて、表示対象のオブジェクトの修正が必要か否かを判定する。判定手段２０６は、例えば、過去の第１動作種類から現在の第１動作種類への動作変化による反応要求の有無と、第２動作種類を修正してよいか否かの修正可否結果と、通信遅延と閾値との判定結果とに基づいて判定を行う。判定手段２０６は、上記判定により、ユーザが動作に対する反応を欲すると判定した場合に、オブジェクトの修正が必要であると判定する。

【0058】

判定手段２０６は、修正が必要であると判定した場合には、判定に用いた情報を修正手段２０７に出力し、修正が必要でないと判定した場合には、第２動作情報をオブジェクト生成手段２０８に出力する。判定手段２０６は、必要であれば、第１動作情報をオブジェクト生成手段２０８に出力してもよい。

【0059】

修正手段２０７は、判定手段２０６から修正要と判定された場合に、第２動作情報を修正する。修正手段２０７は、例えば、記憶手段２０５に記憶された動作修正情報に基づいて、第１動作種類の変化に応じて、第２動作情報の修正内容及び修正開始時間を決定してもよい。これにより、自装置側の動作に応じて相手装置側の動作の修正内容や開始時間を決定することができる。

【0060】

また、修正手段２０７は、例えば、記憶手段２０５に記憶された動作修正情報に基づいて、第１動作種類の変化に応じた修正内容を複数有し、ランダムに修正内容を選択してもよい。これにより、修正時に、毎回同じ反応を示すオブジェクトとなることを防止することができる。

【0061】

また、修正手段２０７は、例えば、記憶手段２０５に記憶された動作修正情報に基づいて、第１動作種類の変化、及び遅延時間に応じて、第２動作情報の修正内容及び修正開始時間を決定してもよい。これにより、通信遅延の長さに応じて、動作の修正内容や開始時間を変えることができる。

【0062】

修正手段２０７は、上述したいずれかの方法により修正した第２動作情報を、オブジェクト生成手段２０８に出力する。

【0063】

オブジェクト生成手段２０８は、修正手段２０７により修正された第２動作情報、又は判定手段２０６から取得した第２動作情報に基づいてオブジェクトを生成する。オブジェクト生成手段２０８は、生成したオブジェクトを出力機器３０に出力する。出力機器３０に表示するオブジェクトの情報は、事前に情報処理装置１０−１に保存されていてもよいし、会議開始時に相手側の装置から提供されていてもよい。

【0064】

ここで、修正手段２０７による動作の修正の一例を説明する。図４は、動作修正の一例を示す図である。図４（Ａ）は、受話者がよそ見をしているときに、発話者が発話を開始したときの受話者を表す図である。

【0065】

対面でのコミュニケーションであれば、受話者は直ちに発話者に視線を移すなどの反応をみせる。これにより、発話者と受話者はアイコンタクトをすることができる。しかしながら、通信遅延が大きい場合には、受話者が視線を移した結果の映像が表示部１０８に表示されるのが遅くなる。よって、情報処理装置１０は、閾値以上の通信遅延が生じると予め分かっている場合には、受話者の動作を修正する。

【0066】

図４（Ｂ）は、動作修正後の受話者を表す図である。図４（Ｂ）に示すように、修正手段２０７は、受話者の視線が発話者を見るように動作を修正する。これにより、オブジェクト生成手段２０８は、自然なアイコンタクトを可能にするオブジェクトを表示部１０８に出力する。

【0067】

通信回線５を用いたコミュニケーション手法であって、表情や身体動作を送受信する手法は、多く提案されている。本システムの動作情報生成手段による動作情報生成や、通信手段によるその情報の送受信、ならびに通信遅延検出手段による通信遅延検出については、これらの一般的な手法を用いてもよい。

【0068】

例えば、これらの手法の例として、特開２００３−０１６４７５号公報、特開２００９−７７３８０号公報、特開２０１０−２３９３９３号公報などがある。特に、特開２０１０−２３９３９３は、通信遅延を通信回線５から取得する手段を備え、モデルを利用することで会議を行うことが可能なシステムである。

【0069】

＜修正が必要なタイミング＞
次に、動作の修正が必要となるタイミングについて説明する。図５は、発話者が発話を開始したときの遅延の影響を示す図である。対面式のコミュニケーションであれば、発話直後から受話者の反応があるのに対し、図５に示すように、遅延のある環境下での会話は、会話の反応が返ってくるまでに時間がかかる。よって、参加者Ａは、応答が無いことを知覚できてしまうため、コミュニケーションに違和感を覚えてしまう。

【0070】

図５に示す応答無に見える時間帯（斜線部分）の間、受話者である参加者Ｂは、会話を無視しているわけではないが、通信遅延の影響で、発話者は、図４（Ａ）の画面を見ることになる。参加者Ａである発話者は、会話をしているのに、図４（Ａ）に示す画面が表示されることで、参加者Ｂである受話者が会話を無視していると感じてしまう。

【0071】

一方、図６は、動作の修正を加えるタイミングを示す図である。図６に示す例では、遅延により反応が返ってこない時間帯に、受話者の動作情報を修正して発話者に見せることで、遅延によって受話者の反応が返ってきていないことを発話者に知覚させないようにする。

【0072】

例えば、図５に示した応答無に見える時間帯（斜線部分）に、図６に示すように受話者の動作を修正することで、受話者が発話に気付いていないときの動作を発話者に見せないようにする。これにより、参加者Ａが違和感を覚えはじめる会話の遅延を減らすことが可能となる。

【0073】

＜各種データの例＞
次に、記憶手段２０５に記憶される各データの一例を説明する。図７は、動作対応情報の一例を示す図である。図７に示す動作対応情報は、ラベルと、動作種類と、動作情報の基準と、を対応付けている。

【0074】

例えば、ラベル「２」には、動作種類「よそ見」、動作情報の基準「ある時点において、正対方向に対する顔の回転角が閾値以上であるとき」が対応付けられている。動作検出手段２０４は、取得した動作情報が動作情報の基準に一致又は該当するとき、一致又は該当した動作情報に対応するラベルや動作種類を特定する。なお、図７に示す動作対応情報は、一例にすぎず、図７に示す以外の動作種類を含んでもよい。

【0075】

図８は、修正可否情報の一例を示す図である。図８に示す修正可否情報は、ラベルと、動作種類と、修正の可否と、を対応付けている。例えば、ラベル「２」には、動作種類「よそ見」、修正の可否「○」が対応付けられている。修正の可否は、０又は１などで表現されてもよい。

【0076】

判定手段２０６は、動作検出手段２０４から取得した第２動作種類に対応する修正の可否を、図８に示す修正可否情報を参照して判定する。

【0077】

図９は、反応要求情報の一例を示す図である。図９に示す反応要求情報は、要求動作ラベルと、反応要求動作とする動作変化と、を対応付けている。例えば、ラベル「２」には、反応要求動作とする動作変化「非発話中→発話中」が対応付けられている。

【0078】

判定手段２０６は、例えば直前の第１動作種類から現在の第１動作種類への動作変化が、図９に示す動作変化に一致するかを判定する。判定手段２０６は、一致すると判定した場合、ユーザの動作は反応を要求する動作（反応要求動作とも称す）であると判定する。

【0079】

図１０は、動作修正情報（その１）の一例を示す図である。図１０に示す動作修正情報は、要求動作ラベルに、修正動作の内容と、修正開始時間とを対応付けている。例えば、要求動作ラベル「２」には、修正動作「話者に注目」、修正開始時間「１５０ｍｓ後」が対応付けられている。

【0080】

修正手段２０７は、判定手段２０６から取得した要求動作のラベルに応じて、修正動作と、修正開始時間とを決定する。これにより、自装置側の動作に応じて相手装置側の動作の修正内容や開始時間を決定することができる。

【0081】

図１１は、動作修正情報（その２）の一例を示す図である。図１１に示す動作修正情報は、要求動作ラベルに、１又は複数の修正動作の内容と、修正開始時間とを対応付けている。例えば、要求動作ラベル「２」には、修正動作を示す「話者に注目」又は「うなずく」と、修正開始時間「１５０ｍｓ後」とが対応付けられている。

【0082】

修正手段２０７は、判定手段２０６から取得した要求動作のラベルに応じて特定した修正動作が複数ある場合、何れの修正動作にするかをランダムに選択する。これにより、修正時に、毎回同じ反応を示すオブジェクトとなることを防止することができる。

【0083】

図１２は、動作修正情報（その３）の一例を示す図である。図１２に示す動作修正情報は、要求動作ラベル及び遅延時間に対し、修正動作及び修正開始時間を対応付けている。例えば、要求動作ラベル「２」及び遅延時間「３００〜６００ｍｓ」には、修正動作「話者に注目」、修正開始時間「１５０ｍｓ後」が対応付けられている。

【0084】

つまり、同じ要求動作のラベルであっても、遅延時間の長さによって、修正動作や修正開始時間が異なる。修正手段２０７は、判定手段２０６から取得した要求動作のラベル及び遅延時間に応じて、修正動作及び修正開始時間を判定する。これにより、通信遅延の長さに応じて、動作の修正内容や開始時間を変えることができる。

【0085】

＜動作＞
次に、実施例における情報処理装置１０の動作について説明する。以下では、全体の情報処理を説明した後に、各処理の詳細について説明する。

【0086】

図１３は、実施例における画像処理の一例を示すフローチャートである。図１３に示すステップＳ１０１で、通信手段２０２は、他の情報処理装置１０から第２動作情報を受信する。

【0087】

ステップＳ１０２で、通信手段２０２は、受信した第２動作情報を動作検出手段２０４に伝送する。また、動作情報生成手段２０１は、入力機器２０から取得した情報に基づく第１動作情報を動作検出手段２０４に出力する。

【0088】

ステップＳ１０３で、動作検出手段２０４は、取得した第１動作情報及び第２動作情報それぞれに対応する第１動作種類及び第２動作種類を、記憶手段２０５に記憶されている動作対応情報を参照して特定する。特定された第１動作種類及び第２動作種類を含む動作検出情報は、判定手段２０６に伝送される。

【0089】

ステップＳ１０４で、通信手段２０２は、第２動作情報受信時の通信情報を通信遅延検出手段２０３に伝送する。

【0090】

ステップＳ１０５で、通信遅延検出手段２０３は、取得した通信情報を基に、通信遅延を検出し、検出した通信遅延を蓄積しておく。通信遅延検出手段２０３は、判定手段２０６が判定を行うときに、最新の通信遅延に関する情報を判定手段２０６に伝送する。最新の通信遅延に関する情報は、直前の通信遅延でもよいし、直前の所定時間内に計測された通信遅延の平均値でもよい。

【0091】

ステップＳ１０６で、判定手段２０６は、第１動作種類、第２動作種類、及び通信遅延に基づいて、第２動作情報を修正するか否かを判定する。例えば、判定手段２０６は、通信遅延が閾値（例えば３００ｍｓ）以上であり、第２動作種類が修正可能であり、第１動作種類の動作変化が反応要求動作であれば、修正が必要と判定する。

【0092】

判定手段２０６により修正が必要と判定されれば（ステップＳ１０６−ＹＥＳ）ステップＳ１０７に進み、修正が不要と判定されれば（ステップＳ１０６−ＮＯ）ステップＳ１０８に進む。

【0093】

ステップＳ１０７で、修正手段２０７は、動作修正情報に基づいて、第２動作情報を修正する。修正手段２０７は、動作修正情報内の修正動作になるように、第２動作情報を修正する。

【0094】

ステップＳ１０８で、オブジェクト生成手段２０８は、判定手段２０６から取得した第２動作情報、又は修正手段２０７から取得した第２動作情報に基づき、オブジェクトを生成する。

【0095】

ステップＳ１０９で、オブジェクト生成手段２０８は、生成したオブジェクトを出力機器３０に出力する。

【0096】

次に、主要な各部の処理を、動作検出手段２０４、判定手段２０６、修正手段２０７の順に説明する。

【0097】

《動作検出処理》
まず、他の情報処理装置１０から受信された第２動作情報に対する処理について説明する。動作検出手段２０４は、ユーザがコミュニケーションを行う際に、意識的・無意識的に行う動作（以下では、所定動作とも称す。）について、検出する。

【0098】

例えば、コミュニケーションを行っている相手の言行への反応として、うなずいたり手を動かしたりするなどの動作が所定動作に相当する。所定動作の検出は、例えば、図７に示す動作対応情報の基準に適合する動作であれば、そのラベルを付与するという形で行われる。

【0099】

ここで行われる動作の検出では、複数のラベルを付与することも可能である。例えば、発話しながら手を動かすことは、図７に示す動作情報の基準を同時に満たすことが可能であるため、一連の動作情報に対して、同時にラベル４と５とが付与できる。動作検出手段２０４は、このラベルが付与された第２動作情報を、判定手段２０６に出力する。このラベルは、第２動作種類に対応する。

【0100】

なお、動作検出手段２０４は、動作情報生成手段２０１から取得した第１動作情報に対しても、上述した処理と同様の処理を行う。つまり、動作検出手段２０４は、必要に応じてラベルが付与された第１動作情報を、判定手段２０４に出力する。このラベルは、第１動作種類に対応する。

【0101】

例えば、上述した動作検出処理は、モーション認識、及び表情認識をもとに行われる。モーション認識、及び表情認識は、予め設定された適当な数秒程度以下の時間の動作に対して、記憶手段２０５に記憶された動作対応情報に含まれる基準との比較等の処理によって行われる。

【0102】

《判定処理》
判定手段２０６は、修正可否判定、反応要求動作判定、通信遅延閾値判定、動作修正判定を行う。以下では、各判定を順に説明する。

【0103】

判定手段２０６は、第２動作情報に対して修正を加えてよいか否かを、図８に示す修正可否情報を参照して判定する。ここで、ユーザの動作は、特有の意味を持つかどうかで区別することができる。

【0104】

例えば、相槌をうったり、自然に身体を動かしたりといった動作であれば、修正によって置き換わったり、新たに動作が生成されたり、もしくは動作をなくしたりしても、あまり問題はないと考えられる。

【0105】

しかし、手の動作によって物の形を表現しているような場合には別の動作が加えられたり、別の動作に置き換わったりするとコミュニケーションが成立しない。したがって、判定手段２０６では、まず相手側のユーザの動作を修正していい状態かどうかを判定する。

【0106】

例えば、動作検出手段２０４により、身体を軽く揺らすこと（図８に示す例では「動作なし＝ラベル６」に含まれる）や、話を聞きながらうなずくといった動作（図８に示す例では「頷き＝ラベル１」）が検出されたとする。

【0107】

これらの動作は、コミュニケーションにおいて特に意味を持たなかったり、タイミングによるものであったりする。よって、図８に示す修正可否情報では、ラベル１と６の修正可否は、いずれも○であり、修正可状態とする。

【0108】

また、動作検出手段２０４により検出された、発話しながら手を動かしているといった動作（図７に示すラベル４と５）は、非言語情報として意味がある可能性が高い。そのため、ラベル４と５は、図８に示す修正可否情報で×となっているので、修正不可状態とする。これにより、判定手段２０６は、第２動作種類に基づいて、第２動作情報に修正を加えてよいか否かを判定できる。

【0109】

判定手段２０６は、受信された第２動作情報に修正が必要かどうかの判断は、さらに、自装置側のユーザの動作がどのように変化したのかから判断する。これは、自装置側のユーザの動作が、相手側に反応を要求しないような動作であれば、相手側の動作を修正する必要がないからである。以下では、相手側に反応を要求する一連の動作を、反応要求動作とも称す。

【0110】

判定手段２０６は、第１動作の変化に基づいて、反応要求動作か否かを判定する。例えば、判定手段２０６は、所定時間内に第１動作種類が変化した場合に、この変化の内容が、図９に示す反応要求情報に含まれれば、その動作変化は反応要求動作であると判定する。なお、図９に示す「非発話中」は、例えばラベル５以外のラベルを表し、「非よそ見」は、例えばラベル「２」以外のラベルを表す。

【0111】

判定手段２０６は、反応要求動作を検出、つまり、反応を欲するタイミングであると判定したときには、要求動作ラベルを第２動作情報に付加して修正手段２０７に出力する。判定手段２０６は、反応要求動作を検出しなければ、第２動作情報をオブジェクト生成手段２０８に出力する。

【0112】

図１４は、実施例における反応要求動作の判定処理の一例を示すフローチャートである。図１４に示すステップＳ２０１で、判定手段２０６は、所定時間内で第１動作種類の変化を検出した場合、この動作変化が図９に示す反応要求情報に含まれる動作変化であるか否かを判定する。

【0113】

判定手段２０６は、検出した動作変化が反応要求情報に含まれれば反応要求動作を検出し（ステップＳ２０１−ＹＥＳ）、ステップＳ２０２に進み、動作変化が反応要求情報に含まれなければ反応要求動作を非検出とする（ステップＳ２０１−ＮＯ）。

【0114】

ステップＳ２０２で、判定手段２０６は、検出した要求動作ラベルを、第２動作情報に付加する。これにより、要求動作ラベルが、第２動作情報に付加されていれば、反応が要求されていると判断することができる。

【0115】

また、判定手段２０６は、通信遅延が閾値以上であるか否かを判定する。判定手段２０６は、コミュニケーション開始前は、通信相手のクライアント端末との遅延を測定できないため、通信遅延検出手段２０３の初期値が閾値以下と判定した状態にする。

【0116】

判定手段２０６は、コミュニケーション開始後、通信遅延が、予め設定された閾値以上であるか否かを判定する。閾値について、装置や出力機器３０の情報処理による遅延やユーザの個人差などにより、コミュニケーションを行ううえで問題となる遅延が異なることが考えられる。そのため、判定に用いる閾値は、設定により適宜変更することができるようにする。

【0117】

判定手段２０６は、修正可否判定、反応要求動作判定、及び通信遅延閾値判定の判定結果に基づいて、動作修正判定を行う。図１５は、実施例における動作修正の判定処理の一例を示すフローチャートである。

【0118】

図１５に示すステップＳ３０１で、判定手段２０６は、第１動作種類の変化が反応要求動作であるか否かを判定する。反応要求動作であれば（ステップＳ３０１−ＹＥＳ）ステップＳ３０２に進み、反応要求動作でなければ（ステップＳ３０１−ＮＯ）ステップＳ３０５に進む。

【0119】

ステップＳ３０２で、判定手段２０６は、通信遅延が閾値以上であるか否かを判定する。通信遅延が閾値以上であれば（ステップＳ３０２−ＹＥＳ）ステップＳ３０３に進み、通信遅延が閾値未満であれば（ステップＳ３０２−ＮＯ）ステップＳ３０５に進む。

【0120】

ステップＳ３０３で、判定手段２０６は、他の装置から受信された動作が修正可能か否かを判定する。受信動作が修正可能であれば（ステップＳ３０３−ＹＥＳ）ステップＳ３０４に進み、受信動作が修正不可能であれば（ステップＳ３０３−ＮＯ）ステップＳ３０５に進む。なお、ステップＳ３０１〜Ｓ３０３の処理は、順不同である。

【0121】

ステップＳ３０４で、判定手段２０６は、動作修正が必要であると判定する。ステップＳ３０５で、判定手段２０６は、動作修正が不要であると判定する。これにより、判定手段２０６は、動作修正が必要な適切なタイミングを判定することができる。

【0122】

《動作修正処理》
まず、どのような動作に修正するかを決定する必要がある。例えば、修正する動作としては、「うなずく動作を実行する」、「現在行っている動作を停止する」、「視線を移動させる」、「表情を変える」などが挙げられる。これらの動作を修正動作と称す。

【0123】

修正手段２０７は、修正動作の選択方法として、予め設定された修正動作を選択しても、ランダムに選択しても、実行時に動的に選択してもよい。例えば、修正手段２０７は、記憶手段２０５に記憶された動作修正情報に基づいて、修正動作を選択してもよい。

【0124】

図１６は、実施例における動作修正処理の一例を示すフローチャートである。図１６に示すステップＳ４０１で、修正手段２０７は、修正する動作を選択する。修正手段２０７は、図１０〜１２に示す動作修正情報のいずれかを用いて、第１動作種類の変化に応じて、修正する動作を選択する。

【0125】

ステップＳ４０２で、修正手段２０７は、修正動作を選択した後、記憶手段２０５から、選択した修正動作の動作情報を、動作対応情報から取得する。

【0126】

ステップＳ４０３で、修正手段２０７は、修正動作の動作情報を用いて第２動作情報を修正する。修正手段２０７は、例えば動作の合成を行って動作を修正する。動作の合成方法は、記憶手段２０５から取得した動作情報を上書きする形で行う。

【0127】

ただし、修正手段２０７は、記憶手段２０５から取得した動作において動作が規定されていない部位があった場合、その部分については何も行わない。つまり、修正手段２０７は、その部位に動作があった場合に静止させるようなことは行わない。

【0128】

動作の修正の例として、例えば、修正手段２０７は、図１０に示す動作修正情報を用いて、要求動作ラベルに応じた修正内容や修正時間を選択する。また、修正手段２０７は、図１１に示す動作修正情報を用いて、２つ以上の修正内容から１つを選んで修正することや、要求があっても修正しないことや、修正開始時間に幅を持たせるといった修正でもよい。また、修正手段２０７は、図１２に示す動作修正情報を用いて、複数の修正を同時に行うことや、同じ要求動作ラベルを持った動作に対する修正であっても、遅延時間によって修正内容を変えることを行ってもよい。

【0129】

また、修正手段２０７は、動作の修正を、乱数などによって修正の有無やタイミングを調整してもよい。修正手段２０７は、例えば、−２から５までの乱数を発生させ、負の場合は動作を修正せず、零の場合は動作をずらさず、正の場合はその値の大きさに応じた時間分（例えば、５であれば５０ｍｓ）動作を遅らせてもよい。

【0130】

修正の有無やタイミングを調整する理由は、人間の反応は常に同じタイミングで同じ反応を返すとは限らないため、そのような人間の特性に合わせて、動作の修正をしない場合を発生させたり、動作修正が行なわれるタイミングをずらしたりするためである。モデルの動作を修正する既存技術としては、例えば特開２００９−０７７３８０号公報がある。

【0131】

＜具体例＞
次に、上記実施例を用いたシステムでの修正動作及びタイミングについての具体例を説明する。具体例では、入力機器２０としてカメラと深度センサを用いる。具体例におけるシステム１では、カメラから撮影された動画像をもとにした動作情報の生成と、深度センサによる深度画像をもとにした動作情報の生成を行う。

【0132】

動作の修正のタイミングとして、発話の開始と終了とが設定される。動作の修正は、通信遅延の時間程度継続して行う。その後は、修正を行わない状態に遷移する。

【0133】

図１７は、通信遅延による影響を示す図である。図１７に示すように、通信遅延により、発話者にとって応答が無い時間帯と、応答が継続する時間帯とがある。図１８は、動作の修正を行う時間帯の一例を示す図である。図１８に示す例では、図１７に示す応答無しの時間帯と、応答継続の時間帯とに対し、動作の修正が加えられる。

【0134】

なお、発話の開始は、自装置の利用者の発話開始であるため、発話開始時の音声により判断すればよい。ただし、会話によるコミュニケーションを行っている際には発話開始前に準備動作があることが知られており、その準備動作を発話開始判定に用いてもよい（資料：Web会議における話者交替円滑化手法の検討[玉木ら, 画像電子学会VMA研究会29th, pp.9-18, 2011]）。

【0135】

修正手段２０７は、発話の開始時および終了時のような発話者が期待する受話者の反応になるように、動作に修正を加える。

【0136】

図１９は、修正のタイミングと、修正前後の動作の一例を示す図である。図１９に示す例では、判定手段２０６は、反応要求動作の検出として、発話開始か発話終了を判定する。図１９に示す例では、修正手段２０７は、発話開始時であれば、受話者の動作を、発話者に注目するように修正する。また、修正手段２０７は、発話終了時であれば、受話者の動作を、軽く頷いた後、発話者への傾聴応答をやめるように修正する。

【0137】

なお、上述した情報処理装置１０は、発話しているかどうかだけでなく、参加者の動作情報も検出しているので、発話開始時や発話終了時などのタイミングとは異なる形で修正を入れるように設定することも可能である。

【0138】

また、情報処理装置１０は、複数の受話者が同時に同様の動作を行うことは不自然であるため、修正動作の種類・有無・タイミングを設定により調節することもできる。

【0139】

・修正のタイミングであっても動作修正を行わない例
修正手段２０７は、発話者の発話終了時に、受話者が記憶手段２０５に記憶された動作で上書きできないとされている動作や判別できない動作を行っているときには修正を行わない。これは、前述した動作の修正を行うことは、受話者の行動が発話を遮ったり終了させたりすることを意図していた場合に限っては適切であるが、動作の意図を正確に解釈することは困難であるためである。

【0140】

予め規定されていて上書きできない動作の例として、大きくうなずいている（肯定の意思表示と考えるのが妥当であるため）や、首を振っている（同じく否定の意思表示）などが挙げられる。

【0141】

・記憶手段で記憶する動作の実施例
例えばオブジェクトが、剛体で構成された３Ｄモデルで表現されているとき、各剛体は四元数によって三次元空間の位置と回転が一意に定まる。うなずく動作であれば、顔や首などの剛体の四元数が時系列によって変化することで表現することができる。

【0142】

この四元数の時系列は記憶手段２０５に記憶されている。また、通信手段２０２がこの情報を送受信することで動作情報を送受信することができる。
以上、実施例によれば、通信回線を介したコミュニケーションにおいて、帯域の負荷をかけずに、円滑で自然なコミュニケーションを可能にすることができる。

【0143】

なお、実施例の情報処理装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0144】

また、実施例の情報処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施例の情報処理装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0145】

また、実施例の情報処理装置１０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

【0146】

なお、実施例の情報処理装置、情報処理システム及びプログラムは、上記各施例そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施例に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施例に示される全構成要素からいくつかの構成要素を削除してもよい。

【符号の説明】

【0147】

１ 情報処理システム
１０ 情報処理装置
２０ 入力機器
３０ 出力機器
１０１ 制御部
１０２ 主記憶部
１０３ 補助記憶部
２０１ 動作情報生成手段
２０２ 通信手段
２０３ 通信遅延検出手段
２０４ 動作検出手段
２０５ 記憶手段
２０６ 判定手段
２０７ 修正手段
２０８ オブジェクト生成手段

【先行技術文献】

【特許文献】

【0148】

【特許文献1】特開平１１−２２４１５２号公報

【非特許文献】

【0149】

【非特許文献1】西川猛司，川嶋宏彰，松山隆司 "Visual Filter: 視覚刺激提示による伝送遅延状況下での円滑な遠隔対話の実現"， ＦＩＴ２００７ 情報科学技術レターズ，ｐｐ３１１−３１４，２００７

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】