特許第6435701号(P6435701)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 沖電気工業株式会社の特許一覧
<>
  • 特許6435701-制御装置 図000002
  • 特許6435701-制御装置 図000003
  • 特許6435701-制御装置 図000004
  • 特許6435701-制御装置 図000005
  • 特許6435701-制御装置 図000006
  • 特許6435701-制御装置 図000007
  • 特許6435701-制御装置 図000008
  • 特許6435701-制御装置 図000009
  • 特許6435701-制御装置 図000010
  • 特許6435701-制御装置 図000011
  • 特許6435701-制御装置 図000012
  • 特許6435701-制御装置 図000013
  • 特許6435701-制御装置 図000014
  • 特許6435701-制御装置 図000015
  • 特許6435701-制御装置 図000016
  • 特許6435701-制御装置 図000017
  • 特許6435701-制御装置 図000018
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6435701
(24)【登録日】2018年11月22日
(45)【発行日】2018年12月12日
(54)【発明の名称】制御装置
(51)【国際特許分類】
   H04N 7/14 20060101AFI20181203BHJP
   H04N 7/15 20060101ALI20181203BHJP
   H04M 3/56 20060101ALI20181203BHJP
【FI】
   H04N7/14 140
   H04N7/15 120
   H04M3/56 Z
【請求項の数】8
【全頁数】22
(21)【出願番号】特願2014-163684(P2014-163684)
(22)【出願日】2014年8月11日
(65)【公開番号】特開2016-39600(P2016-39600A)
(43)【公開日】2016年3月22日
【審査請求日】2017年5月15日
【前置審査】
(73)【特許権者】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100095957
【弁理士】
【氏名又は名称】亀谷 美明
(72)【発明者】
【氏名】山口 ▲徳▼郎
【審査官】 松元 伸次
(56)【参考文献】
【文献】 特開2011−244454(JP,A)
【文献】 特開2015−043507(JP,A)
【文献】 特開2011−030063(JP,A)
【文献】 特開2011−097447(JP,A)
【文献】 特開2005−110045(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04M3/00
3/16−3/20
3/38−3/58
7/00−7/16
11/00−11/10
H04N7/10
7/14−7/173
7/20−7/56
21/00−21/858
(57)【特許請求の範囲】
【請求項1】
会議参加者ごとにそれぞれ設けられた複数の表示装置それぞれが有するセンサによって検出されたセンサデータに基づいて、前記複数の表示装置それぞれを利用する会議参加者が話者であるか否かを判定する判定部と、
前記複数の表示装置それぞれを利用する会議参加者が話者であるか否かに基づいて、前記複数の表示装置それぞれによって表示される表示映像の構成を表示装置ごとに決定する構成決定部と、
を備え
前記判定部は、話者の表示装置同士が別拠点に属するか否かを判定し、
前記構成決定部は、話者の表示装置同士が別拠点に属するか否かに基づいて、前記複数の表示装置それぞれによって表示される前記表示映像の構成を決定し、
前記構成決定部は、話者の表示装置同士が別拠点に属すると判定された場合、1の拠点における非話者の表示装置によって表示される表示映像の構成を、前記1の拠点における話者を側面から映した映像および他の拠点における話者を側面から映した映像が、話者同士が向き合うようにして前記表示映像に含まれるように決定する、
制御装置。
【請求項2】
前記制御装置は、
撮像装置から取得された取得映像のうち話者に関連付けられた設定領域を解析することにより話者の顔向きを判定する映像解析部を備え、
前記構成決定部は、前記1の拠点における話者の顔向きと前記1の拠点における話者および非話者の位置関係とにさらに基づいて、前記1の拠点における話者の映像における向きを決定する、
請求項に記載の制御装置。
【請求項3】
前記映像解析部は、前記取得映像における前記設定領域を示すレイアウト情報を取得する、
請求項に記載の制御装置。
【請求項4】
前記構成決定部は、他の拠点における話者を側面から映した映像のサイズを調整する、
請求項に記載の制御装置。
【請求項5】
前記構成決定部は、話者の表示装置同士が別拠点に属すると判定された場合、1の拠点における非話者の表示装置によって表示される表示映像の構成を、前記1の拠点における非話者と前記1の拠点における話者との距離が閾値を下回る場合、前記1の拠点における話者を側面から映した映像が前記表示映像に含まれないように決定する、
請求項に記載の制御装置。
【請求項6】
会議参加者ごとにそれぞれ設けられた複数の表示装置それぞれが有するセンサによって検出されたセンサデータに基づいて、前記複数の表示装置それぞれを利用する会議参加者が話者であるか否かを判定する判定部と、
前記複数の表示装置それぞれを利用する会議参加者が話者であるか否かに基づいて、前記複数の表示装置それぞれによって表示される表示映像の構成を表示装置ごとに決定する構成決定部と、
を備え、
前記判定部は、話者の表示装置同士が別拠点に属するか否かを判定し、
前記構成決定部は、話者の表示装置同士が別拠点に属するか否かに基づいて、前記複数の表示装置それぞれによって表示される前記表示映像の構成を決定し、
前記構成決定部は、話者の表示装置同士が同一拠点に属すると判定された場合、1の拠点における話者の表示装置によって表示される表示映像の構成を、他の拠点を映した映像が前記表示映像に含まれるように決定する
御装置。
【請求項7】
会議参加者ごとにそれぞれ設けられた複数の表示装置それぞれが有するセンサによって検出されたセンサデータに基づいて、前記複数の表示装置それぞれを利用する会議参加者が話者であるか否かを判定する判定部と、
前記複数の表示装置それぞれを利用する会議参加者が話者であるか否かに基づいて、前記複数の表示装置それぞれによって表示される表示映像の構成を表示装置ごとに決定する構成決定部と、
を備え、
前記判定部は、話者の表示装置同士が別拠点に属するか否かを判定し、
前記構成決定部は、話者の表示装置同士が別拠点に属するか否かに基づいて、前記複数の表示装置それぞれによって表示される前記表示映像の構成を決定し、
前記構成決定部は、話者の表示装置同士が同一拠点に属すると判定された場合、1の拠点における話者のセンサと同一の拠点における非話者の表示装置によって表示される表示映像の構成を、他の拠点を映した映像が前記表示映像に含まれるように決定する
御装置。
【請求項8】
会議参加者ごとにそれぞれ設けられた複数の表示装置それぞれが有するセンサによって検出されたセンサデータに基づいて、前記複数の表示装置それぞれを利用する会議参加者が話者であるか否かを判定する判定部と、
前記複数の表示装置それぞれを利用する会議参加者が話者であるか否かに基づいて、前記複数の表示装置それぞれによって表示される表示映像の構成を表示装置ごとに決定する構成決定部と、
を備え、
前記構成決定部は、前記表示装置の向きの変化に応じて前記表示装置によって表示される表示映像の構成を更新する
御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御装置に関するものである。
【背景技術】
【0002】
複数の拠点を結び、映像や音声を用いた多人数対応のTV会議システムが広く用いられている。このとき、ある拠点に配信されているもう一方の拠点側の映像は、例えば、別拠点の話者の切り替えに応じて適切に切り替えられることで、当該拠点にいる人の話者関係の把握を助けることはよく知られている。しかしながら、こういった映像の手動による切り替えは面倒で煩雑な操作を伴うことも多く、有効に用いられていない。結果として別拠点全体の映像視点のみを選択してしまい、各会議参加者の映像は小さくなり、表情の向きやジェスチャの方向といった非言語コミュニケーションが阻害される要因となっている。このため、複数の拠点において、誰と誰がしゃべっているのかといった話者関係の把握やその時点の話者以外の会議参加者(以下、「第3者」とも言う。)の動向などの把握が難しくなっている。
【0003】
これらを解決するために、特許文献1では、会議参加者に対してマイクを1つずつ設置して話者の音声を収集し、またズームアップ用カメラを用いて話者を撮影するテレビ会議システムが開示されている。特許文献2には、対象者らに対して複数のマイクとカメラ、磁気センサなどの各種センサをそれぞれ設置し、視線の方向やうなずきのタイミングなどの非言語情報を収集し、その場にいない第3者に対して映像を切り替えて表示する映像切り替え装置を開示している。特許文献3では、会議拠点に会議参加者に向けたディスプレイを設置し、複数のカメラ、マイクから話者の映像・音声を収集し、一方の拠点において別拠点の会話者を表示するテレビ会議装置を開示している。また、会議参加者の人数分ディスプレイを分割し、各会議参加者の正面映像を個別表示する映像会議システムも存在する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平2−202275号公報
【特許文献2】特開2004−248125号公報
【特許文献3】特許第5227899号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1では、一方の拠点(拠点A)の話者に対してズーム表示することに限定しており、そのとき拠点Aまたは他方の拠点(拠点B)の誰に対しての会話なのかを拠点B側の会議参加者が把握するのは難しい。特許文献2では、一方の拠点(拠点A)での話者関係の把握のために、他方の拠点(拠点B)での表示映像を切り替えることに限定しており、複数の拠点にまたがる話者関係性を把握することや、拠点A側から拠点B側の第3者の動向を把握することなどは難しくなっている。同様に、特許文献3では、拠点Aと拠点Bの話者関係をそれぞれの話者へ映像として提示することに限定しており、各々の話者にとって複数の拠点間の話者関係性の把握はなされているが、拠点Aおよび拠点B双方の第3者からはそれは困難である。また、各々の話者にとっても、双方の拠点の第3者の動向を把握することは難しい。また、会議参加者の人数分ディスプレイを分割し、各会議参加者を個別表示する映像会議システムにおいても、各会議参加者の正面映像しか表示されないため、同様に各々の話者にとっては複数拠点間の話者関係性は把握されているが、それ以外の第3者からは把握が困難である。
【0006】
そこで、本発明は、上記問題に鑑みてなされたものであり、第3者を含めた話者関係性の把握を支援する映像会議システムである。例えば、本発明は、複数の拠点の第3者を含めた話者関係性の把握を支援する映像会議システムである。各会議参加者が保持するディスプレイ装置と拠点内を撮像する環境カメラを設置し、会議参加者の座席位置や立ち位置関係に応じた表示映像の切り替え方法と配信方法を提供する。これにより、参加者に対して、第3者含めた話者周囲の関係性の把握を支援することができる。例えば、参加者に対して、複数の拠点間の話者だけでなく、第3者も含めた話者周囲の関係性の把握を支援することができる。
【課題を解決するための手段】
【0007】
上記問題を解決するために、本発明のある観点によれば、会議参加者ごとにそれぞれ設けられた複数の表示装置それぞれが有するセンサによって検出されたセンサデータに基づいて、前記複数の表示装置それぞれを利用する会議参加者が話者であるか否かを判定する判定部と、前記複数の表示装置それぞれを利用する会議参加者が話者であるか否かに基づいて、前記複数の表示装置それぞれによって表示される表示映像の構成を表示装置ごとに決定する構成決定部と、を備える、制御装置が提供される。
【0008】
前記判定部は、話者の表示装置同士が別拠点に属するか否かを判定し、前記構成決定部は、話者の表示装置同士が別拠点に属するか否かに基づいて、前記複数の表示装置それぞれによって表示される前記表示映像の構成を決定してもよい。
【0009】
前記構成決定部は、話者の表示装置同士が別拠点に属すると判定された場合、1の拠点における話者の表示装置によって表示される表示映像の構成を、他の拠点における話者を正面から映した映像が前記表示映像に含まれるように決定してもよい。
【0010】
前記構成決定部は、話者の表示装置同士が別拠点に属すると判定された場合、1の拠点における非話者の表示装置によって表示される表示映像の構成を、前記1の拠点における話者を側面から映した映像および他の拠点における話者を側面から映した映像が、話者同士が向き合うようにして前記表示映像に含まれるように決定してもよい。
【0011】
前記制御装置は、撮像装置から取得された取得映像のうち話者に関連付けられた設定領域を解析することにより話者の顔向きを判定する映像解析部を備え、前記構成決定部は、前記1の拠点における話者の顔向きと前記1の拠点における話者および非話者の位置関係とにさらに基づいて、前記1の拠点における話者の映像における向きを決定してもよい。
【0012】
前記映像解析部は、前記取得映像における前記設定領域を示すレイアウト情報を取得してもよい。
【0013】
前記構成決定部は、他の拠点における話者を側面から映した映像のサイズを調整してもよい。
【0014】
前記構成決定部は、話者の表示装置同士が別拠点に属すると判定された場合、1の拠点における非話者の表示装置によって表示される表示映像の構成を、前記1の拠点における非話者と前記1の拠点における話者との距離が閾値を下回る場合、前記1の拠点における話者を側面から映した映像が前記表示映像に含まれないように決定してもよい。
【0015】
前記構成決定部は、話者の表示装置同士が同一拠点に属すると判定された場合、1の拠点における話者の表示装置によって表示される表示映像の構成を、他の拠点を映した映像が前記表示映像に含まれるように決定してもよい。
【0016】
前記構成決定部は、話者の表示装置同士が同一拠点に属すると判定された場合、1の拠点における話者のセンサと異なる拠点における非話者の表示装置によって表示される表示映像の構成を、同一拠点に属する話者それぞれを側面から映した映像が、前記話者同士が向き合うようにして前記表示映像に含まれるように決定してもよい。
【0017】
前記構成決定部は、話者の表示装置同士が同一拠点に属すると判定された場合、1の拠点における話者のセンサと同一の拠点における非話者の表示装置によって表示される表示映像の構成を、他の拠点を映した映像が前記表示映像に含まれるように決定してもよい。
【0018】
前記制御装置は、前記表示映像の構成に従って、前記表示映像を生成する表示制御部を備えてもよい。
【0019】
前記判定部は、前記複数の表示装置それぞれが有する音声センサによって検出された音声データに基づいて、前記複数の表示装置それぞれの会議参加者が話者であるか否かを判定してもよい。
【0020】
前記構成決定部は、前記表示装置の向きの変化に応じて前記表示装置によって表示される表示映像の構成を更新してもよい。
【発明の効果】
【0026】
以上説明したように本発明によれば、話者関係性の把握を支援する映像会議システムが提供される。
【図面の簡単な説明】
【0027】
図1】本発明の実施形態に係る映像会議システムの構成を示した説明図である。
図2】ある地点にて3名の会議参加者がそれぞれ表示装置を利用して映像会議システム10を利用している様子を示した図である。
図3】撮像装置の機能構成例を示したブロック図である。
図4】撮像装置が取得する取得映像の例を示す図である。
図5】制御装置の機能構成例を示したブロック図である。
図6】表示装置の機能構成例を示したブロック図である。
図7】撮像装置による人物認識の処理の流れを示す図である。
図8】制御装置による処理の流れを示す流れ図である。
図9】人物位置を判定する手法の例を説明するための図である。
図10】各会議参加者の位置関係の模式図である。
図11】参加者情報の構成例を示す図である。
図12】表示装置におけるセンサデータ送信の処理の流れを示す流れ図である。
図13】表示装置における会議映像生成の処理の流れを示す流れ図である。
図14】表示装置における会議映像生成の処理の流れを示す流れ図である。
図15】会議映像の決定例を示した図である。
図16】会議映像の決定例を示した図である。
図17】会議映像の決定例を示した図である。
【発明を実施するための形態】
【0028】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0029】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0030】
(1.映像会議システムの構成)
図1および図2を参照しながら、本発明の実施形態に係る映像会議システム10の基本構について説明する。図1は、本発明の実施形態に係る映像会議システム10の構成を示した説明図である。図1に示したように、本発明の実施形態に係る映像会議システム10は、複数の表示装置100と、制御装置200と、複数の撮像装置500と、無線LAN(Local Area Network)アクセスポイント300と、通信網400とを備える。このような映像会議システム10は、オフィス会議室、公共施設内多目的室、病院および金融機関の相談・面談室などの多様な場所に設置され得る。
【0031】
表示装置100は、例えば、会議参加者が保持する携帯電話、スマートフォン、ゲーム機、タブレットコンピュータ、パーソナルコンピュータなどであってよい。
【0032】
無線LANアクセスポイント300は、無線通信機能により無線LANを形成し、無線LANに属する通信装置による通信を制御および中継する。図1に示した例では、無線LANアクセスポイント300Aが形成する無線LAN310Aに、表示装置100A−1、100A−2、100A−3および撮像装置500A−1、500A−2および500A−3が属し、無線LANアクセスポイント300Aは、表示装置100A−1、100A−2、100A−3および撮像装置500A−1、500A−2および500A−3による通信を制御および中継する。
【0033】
同様に、無線LANアクセスポイント300Bが形成する無線LAN310Aに、表示装置100B−1、100B−2、100B−3および撮像装置500B−1、500B−2および500B−3が属し、無線LANアクセスポイント300Bは、表示装置100B−1、100B−2、100B−3および撮像装置500B−1、500B−2および500B−3による通信を制御および中継する。
【0034】
本発明の実施形態においては、撮像装置500は、無線LANアクセスポイント300に無線で接続されているが、有線で接続されていてもよい。
【0035】
通信網400は、通信網400に接続されている装置から送信される情報の有線または無線の伝送路である。例えば、通信網400は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、通信網400は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。本実施形態においては、通信網400および無線LANアクセスポイント300を介して、制御装置200と拠点Aおよび拠点Bそれぞれの装置(各表示装置100および各撮像装置500)とが接続される。
【0036】
図2は、ある地点(拠点A)にて3名の会議参加者(600A−1、600A−2、600−3)がそれぞれ表示装置100A−1、100A−2、100A−3を利用して映像会議システム10を利用している様子を示している。例えば、表示装置100A−1、100A−2、100A−3は、会議参加者に向かって設置され、会議参加者によって自由に位置および向きを変更させることが可能である。
【0037】
撮像装置500B−1、500B−2および500B−3は、例えば、会議室の壁や天井など、会議参加者を1人ないし複数捉えるように設置されている。本実施形態においては、拠点Aのこれら表示装置100と撮像装置500の組み合わせと、別拠点(拠点B)に配置された表示装置100と撮像装置500の組み合わせを用いて映像会議システム10を構成する。
【0038】
図2には示していないが、表示装置100に表示される表示映像(以下、「会議映像」とも言う。)は、会議参加者ごとに、拠点Aの撮像装置500によって取得された取得映像や拠点Bの撮像装置500によって取得された取得映像を組み合わせて実現される。取得映像の組み合わせにより実現される会議映像の具体例としては、例えば、会議参加者600A−1が別拠点の人物と会話をしている場合、表示装置100A−1には別拠点の人物の正面のショットを中心とした会議映像が表示される一方で、会議参加者600A−3が保持する表示装置100A−3には別拠点の人物の左向きからのショットを中心とした会議映像が表示される。会議参加者600A−3の左側に会議参加者600A−1が在席しており、表示装置100A−3に左向きショットの別拠点の人物が表示されることによって、会議参加者600−3は両者が会話していることを把握することができる。
【0039】
このように、本発明の実施形態においては、会議参加者の位置関係に応じて表示装置に表示する会議映像を切り替えることによって、会議参加者が第3者も含めた話者周囲の関係性を把握することを支援する。
【0040】
本発明の実施形態に係る映像会議システム10は、拠点Aに属する表示装置100A−1〜100A−3と撮像装置500A−1〜500A−3と、拠点Bに属する表示装置100B−1〜100B−3と撮像装置500B−1〜500B−3とによって、各拠点の会議参加者への会議映像を提供する。このとき、制御装置200は、各拠点の表示装置100および撮像装置500の情報をそれぞれ取得し、各会議参加者の表示装置100へ配信する会議映像を制御する。以下、表示装置100、撮像装置500および制御装置200それぞれの各機能構成を説明する。
【0041】
(1−1.撮像装置の機能構成)
図3は、撮像装置500の機能構成例を示したブロック図である。図3に示したように、撮像装置500は、制御部510、記憶部520、通信部530および検出部540を備える。
【0042】
制御部510は、撮像装置500の動作全体を制御する機能を有し、専用のハードウェアによって構成されてもよいし、撮像装置500に内蔵されたCPUがROMに記憶されたプログラムをRAMに展開して実行することにより実現されてもよい。かかるプログラムが提供され得る他、かかるプログラムを記憶させた記憶媒体も提供され得る。制御部510は、映像取得部511、通信制御部512および画角制御部513を備える。
【0043】
記憶部520は、制御部510を動作させるためのプログラムやデータを記憶することができる。また、記憶部520は、制御部510の動作の過程で必要となる各種データを一時的に記憶することもできる。本発明の実施形態では、記憶部520は、レイアウト情報522を記憶している。
【0044】
通信部530は、通信網400を介して制御装置200との間において各種情報を送受信するための通信インタフェースである。
【0045】
検出部540は、当該装置に内蔵される映像センサなどからなり、当該装置が撮像する取得映像を取得する。取得された取得映像は、映像取得部511によって取得され、通信制御部512によって通信部530を介して制御装置200に送信される。図4に、撮像装置500が取得する取得映像Z40を図示する。図4においては、会議参加者600A−1、600A−2および600A−3が座席に座っている様子が捉えられている。画角制御部513は、当該装置の画角を制御する機構を想定している。本実施形態では、会議参加者のリクエストにより、当該装置の画角を制御することが可能である。
【0046】
レイアウト情報522は、当該装置が撮像している会議卓上の座席レイアウトを表現している。例えば、図4に示された設定領域Z41、Z42およびZ43のようにレイアウト情報は表現される。レイアウト情報は、座席する各会議参加者が映る可能性のある矩形領域が左上座標および右下座標によって2次元で表現されてよい。このとき、当該領域内にて人物認識がなされた場合にはその座席に会議参加者が座っていると判定してよい。
【0047】
各座席には、例えば、一意の座席番号が割り当てられており、複数の撮像装置500によって異なる画角から同じ座席を撮像している場合でも、同じ座席には同じ座席番号が割り当てられているものとする。また、座席番号と会議参加者とが一意に対応している場合には、座席番号の代わりに会議参加者の人物名が用いられてもよい。なお、各座席に会議参加者が座っていることを検出する手法は、かかる手法に限定されない。例えば、各座席または各座席近辺に受信器が取り付けてあり、会議参加者に付された送信器の送信データが受信器によって受信されたことにより、その座席に会議参加者が着席したことが検出されてもよい。
【0048】
このように、本実施形態に係る映像会議システム10の構成によれば、制御装置200において、複数の表示装置100と複数の撮像装置500とから得られる情報に基づいて、複数拠点会議の状態判定を行い、その判定結果に基づいて各表示装置100に表示される会議映像の構成情報を決定する。また、決定した構成情報に基づいて表示装置100において、表示すべき会議映像を生成および表示することで、複数の拠点間の話者だけではなく、第3者も含めた話者周囲の関係性の把握を支援する映像会議システム10を提供できる。
【0049】
(1−2.制御装置の機能構成)
図5は、制御装置200の機能構成例を示したブロック図である。図5に示したように、制御装置200は、制御部210、記憶部220および通信部230を備える。
【0050】
制御部210は、制御装置200の動作全体を制御する機能を有し、専用のハードウェアによって構成されてもよいし、制御装置200に内蔵されたCPUがROMに記憶されたプログラムをRAMに展開して実行することにより実現されてもよい。かかるプログラムが提供され得る他、かかるプログラムを記憶させた記憶媒体も提供され得る。制御部210は、映像取得部211、映像解析部212、判定部213および構成決定部214を備える。
【0051】
記憶部520は、記憶部520は、制御部510を動作させるためのプログラムやデータを記憶することができる。また、記憶部520は、制御部510の動作の過程で必要となる各種データを一時的に記憶することもできる。本発明の実施形態では、記憶部520は、レイアウト情報522を記憶している。
【0052】
通信部230は、通信網400を介して表示装置100および撮像装置500との間で各種情報を送受信するための通信インタフェースである。通信部230による通信としては、図1に示したように、各拠点に配置される表示装置100および撮像装置500との各種情報の送受信を想定している。
【0053】
映像取得部211は、表示装置100および撮像装置500から受信される取得映像を取得する。このとき、各装置にはそれぞれ固有ナンバなどが割り当てられ、取得映像にも提供側の装置の固有ナンバが付されており、取得された取得映像と取得映像の提供側の装置とは一意に対応付けられるように取得される。また、撮像装置500から通知されるレイアウト情報も映像取得部211によって取得される。
【0054】
映像解析部212は、映像取得部211によって取得された取得映像を解析して、解析結果情報を出力する。本実施形態では、映像解析結果は、撮像装置500が保持するレイアウト情報に基づいて、取得映像における各設定領域に対して人物認識処理を施した結果を含んでよい。認識された人物は会議参加者として扱われ得る。人物認識処理としては公知技術が用いられてよい。また、映像解析結果は、取得映像内の会議参加者の顔向き(例えば、正面、左右向きの何れであるかの情報)を含んでよい。顔向き検出技術としても、公知の顔認識技術が用いられてよい。
【0055】
判定部213は、会議状況を複数の状態に大別して判定する。このとき、会議状況は、映像解析部212によって出力された映像解析結果と表示装置100から受信されたセンサデータとに基づいて判定される。例えば、判定される会議状況には「拠点間会話」「拠点内会話」「待機」の3種類が挙げられる。
【0056】
「拠点間会話」状況は、複数の拠点に跨って複数の会議参加者が発話状態である状況とする。ここで、会議参加者の発話状態であるか否かは、表示装置100に内蔵される検出部130によって検出されたセンサデータに基づいて判定され得る。例えば、検出部130が音声センサを含む場合、音声センサによって閾値を超える音声が所定の時間を超えて検出されたときに、会議参加者が発話状態であると判定され得る。
【0057】
「拠点内会話」状況は、「拠点間会話」状況には該当しないが、同一の拠点で複数の会議参加者が発話状態である状況とする。会議参加者が発話状態であることを判定する手法は「拠点間会話」状況と同様である。さらに、拠点内で会話がなされる場合には、話者は話し相手を見ながら会話をすると考えられるため、例えば、音声センサによって検出されたセンサデータの代わりに、または追加的に会議参加者の顔向きに基づいて、会議状況が拠点内会話であるか否かが判定されてもよい。
【0058】
「待機」状況は、何れの拠点においても発話状態の会議参加者が検出されていない状態である。詳しい会議状況の判定の処理フローについては、後述する。
【0059】
構成決定部214は、会議状況と取得映像とに基づいて、各会議参加者の表示装置100に表示される会議映像の構成を決定する。例えば、構成決定部214は、会議参加者が、「拠点間会話」の状況においては、話者なのか、第3者なのかといった情報から会議映像の構成を決定する。また、例えば、構成決定部214は、「拠点内会話」の状況においては、追加的に話者同士が同一拠点なのか、別拠点なのかといった情報から会議映像の構成を決定する。また、例えば、構成決定部214は、会議参加者が第3者である場合に、会議参加者自身の座席位置と話者との位置関係に基づいて、会議映像を決定してもよい。
【0060】
このとき、会議映像を表現する構成情報としては、例えば、会議映像に含める取得映像の番号と取得映像における表示対象となる設定領域を示す情報が想定される。構成決定部214は、各会議参加者の構成情報を、通信部230を介して表示装置100に通知する。詳しい構成情報決定の処理フローについては、後述する。
【0061】
(1−3.表示装置の機能構成)
図6は、表示装置100の機能構成例を示したブロック図である。図6に示したように、表示装置100は、制御部110、入力部120、検出部130、通信部140および表示部150を備える。
【0062】
制御部110は、表示装置100の動作全体を制御する機能を有し、専用のハードウェアによって構成されてもよいし、表示装置100に内蔵されたCPUがROMに記憶されたプログラムをRAMに展開して実行することにより実現されてもよい。かかるプログラムが提供され得る他、かかるプログラムを記憶させた記憶媒体も提供され得る。制御部110は、センサデータ取得部111、通信制御部112、映像生成部113および表示制御部114を備える。
【0063】
通信部140は、通信網400を介して制御装置200との間で各種情報を送受信するための通信インタフェースである。
【0064】
検出部130は、当該装置に内蔵されるセンサなどからなる。検出部130としては、映像センサ(カメラ)、音声センサ(マイク)、加速度センサ、地軸センサなどが想定される。
【0065】
表示部150は、表示装置100に内蔵される液晶ディスプレイおよびスピーカなどを含む。例えば、表示部150は、制御装置200によって決定された構成情報に従って会議映像および音声を生成して再生する。
【0066】
入力部120は、表示部150の液晶ディスプレイに具備されるタッチパネルなどが想定される。本実施形態においては、入力部120への会議参加者の自由なタッチ操作により表示部150によって表示される会議映像の画角等の変更操作が可能である。
【0067】
センサデータ取得部111は、表示装置100が内蔵する検出部130によって検出されたセンサデータを取得する。取得されたセンサデータは、通信制御部112によって、通信部140を介して制御装置200に通知される。特に、映像センサによって取得される取得映像は、制御装置200に送信される。
【0068】
通信制御部112は、制御装置200から通信部140を介して構成情報を取得する。そして、映像生成部113は、制御装置200によって決定された構成情報に従って、制御装置200から配信される取得映像群から必要な部分を切り抜き、または複数の切り抜き映像を合成することによって、当該表示装置100に必要な会議映像を生成する。表示制御部114は、生成された会議映像を、表示部150に出力させる。
【0069】
(2.映像会議システムの動作)
(2−1.撮像装置から制御装置への情報集約)
次に、撮像装置500から制御装置200へ情報を集約する処理を説明する。図7は、撮像装置500による処理の流れを示す流れ図である。撮像装置500の通信部530は、レイアウト情報を制御装置200に送信する(S101)。ここで、レイアウト情報は、上記したように、各撮像装置500の設置位置や画角に対応した人物認識の対象となる設定領域を表現している。
【0070】
続いて、映像取得部211は、映像の取得を試みる(S102)。Yesの場合は、S103へと進む。Noの場合は、再度映像取得の処理を行う。次に、撮像装置500の通信部530は、取得した取得映像を制御装置200に送信する(S103)。このとき、取得映像には、各撮像装置500を一意に決定できる、例えば、番号が付与されているものとし、取得映像がその番号と一緒に送信されるものとする。
【0071】
図8は、制御装置200による人物認識の処理の流れを示す図である。制御装置200の通信部230は、各撮像装置500A−1〜500A−3などからレイアウト情報および取得映像を受信する(S201、S202)。このとき、制御装置200には、図示はしないが、各撮像装置500を一意に示す番号と取得映像、先に送信済みであるレイアウト情報の一式が蓄積される。後述する処理では、各撮像装置500の番号をもとに取得映像およびレイアウト情報にアクセスできるものとする。
【0072】
次に、映像解析部212は、レイアウト情報に基づき、取得映像の設定領域に対して人物認識処理を行う(S203)。この人物認識処理としては、公知の人物認識技術を用いることが可能である。各設定領域のサイズにより検出する人物のサイズをある程度限定できることで、検出精度を上げることが可能である。映像解析部212は、人物が認識された場合には(S204でYes)、人物位置を判定して(S205)、人物位置によって参加者情報を更新する(S206)。参加者情報については後に説明する。一方、映像解析部212は、何れの設定領域においても人物が認識されなかった場合には(S204でNo)、処理フローを終了する。
【0073】
人物位置を判定する手法の例について説明する。図9は、人物位置を判定する手法の例を説明するための図である。図9に示すように、会議参加者600A−1が座席に着席している。また、撮像装置500A−1および撮像装置500A−2それぞれが設置されており、撮像装置500A−1の位置P1および撮像装置500A−2の位置P2があらかじめ登録されている。
【0074】
例えば、映像解析部212は、撮像装置500A−1の位置P1を基準とした撮像装置500A−1による会議参加者600A−1の撮像方向D1と、撮像装置500A−2の位置P2を基準とした撮像装置500A−2による会議参加者600A−1の撮像方向D2との交点座標により会議参加者600A−1の位置P0を算出することが可能である。しかし、人物位置を判定する手法は、かかる例に限定されないため、360度撮像できる魚眼カメラ装置などを利用して会議参加者600A−1の位置P0が算出されてもよい。また、他の会議参加者の位置も同様な手法により算出され得る。
【0075】
図10に、各会議参加者の位置関係の模式図を示す。図10を参照すると、拠点Aには、3名の会議参加者が着席し、拠点Bには、5名の会議参加者が着席している。図9に示したように、映像解析部212によって各参加者の人物位置が判定されることによって、各会議参加者の位置関係が把握される。図11は、参加者情報の構成例を示す図である。図10に示したように、参加者情報は、撮像装置500を一意に決定するための装置番号と、撮像装置500によって取得された取得映像における設定領域と、人物位置と、人物の顔向きとが対応付けられて構成され得る。
【0076】
(2−2.表示装置から制御装置への情報集約)
次に、表示装置100から制御装置200へ情報を集約する処理を説明する。図12は、表示装置100におけるセンサデータ送信の処理の流れを示す流れ図である。表示装置100のセンサデータ取得部111は、センサデータの取得を試みる(S301)。センサデータ取得部111は、Yesの場合には、S302に進み、Noの場合には、再度センサデータの取得を試みる。
【0077】
想定されるセンサとしては、映像センサ、音声センサ、地軸センサ、加速度センサなどが挙げられる。例えば、映像センサが用いられた場合には、センサデータは映像データとなり、音声センサが用いられた場合には、センサデータは音声データとなり、地軸センサ、加速度センサが用いられた場合には、センサデータは実測データ列となる。
【0078】
続いて、通信制御部112は、センサデータ取得部111によって取得されたセンサデータを、通信部140を介して制御装置200に送信する(S302)。このとき、センサデータには、各表示装置100を一意に決定するための、例えば、番号が付与されているものとし、センサデータは、その番号と一緒に送信されるものとする。
【0079】
図13は、制御装置200における構成情報生成の処理の流れを示す流れ図である。制御装置200の通信部230は、各表示装置100A−1〜100A−3などからセンサデータを受信し(S401)、映像取得部211は、各センサデータを取得する。続いて、判定部213は、各センサデータに基づいて話者判定を行う(S402)。このとき、話者判定がなされた表示装置100を保持する会議参加者を話者状態として判別する(センサを発話状態として判別する)。話者状態の判定には、公知の話者認識技術が用いられてよい。例えば、判定部213は、閾値を超えた音量を観測したときや、閾値を超えた音量が所定時間連続して観測されたときに、会議参加者が話者状態であると判定してよい。
【0080】
判定部213は、ある表示装置100からの音声データから会議参加者が話者状態であると判定した場合には(S403)、その話者の顔向きを判定する(S404)。顔向きの判定に関しても、公知の顔認識技術を用いることができる。例えば、目と鼻の位置関係から映像センサに対して左右のどちら側を向いているかが判定され得る。また、顔全体の大きさの推移から、会議参加者が表示装置100からどのくらい離れているかなども同時に判定され得る。一方、判定部213は、会議参加者が話者であると判定されなかった場合には、会議参加者を第3者状態として判定する。
【0081】
続いて、判定部213は、話者の顔向きを参加者情報に登録する(S405)。なお、各会議参加者の状態(「話者」であるか、「第3者」であるか)も参加者情報に登録されてよいが、顔向きが登録されているか否かにより判定され得る。話者状態と判定される会議参加者は同時に複数いる場合もあり得る。そして、判定部213は、各会議参加者の話者および第3者の状態判定結果から、「拠点間会話」「拠点内会話」「待機」の3種類の何れかの状況推定の結果を導く。例えば、判定部213は、複数の拠点にて、話者状態の会議参加者が複数判定された場合は、会議の状況が拠点間会話状況と判定する。このとき、判定部213は、前述した顔向き検知などから、例えば、表示装置100の方を向かってしゃべっているのか、または同一拠点の別の誰かに向かってしゃべっているのか等を加味し、統合的に判定してもよい。
【0082】
一方、判定部213は、拠点間会話状況には該当しないが、同一拠点内にて、話者状態の会議参加者が一人ないしは複数判定された場合には、会議の状況が拠点内会話状況と判定する。このとき、例えば、資料などを説明する一人の会議参加者が話者状態である場合も、拠点内会話状態として判定される。一方、判定部213は、どの拠点のどの会議参加者も話者状態と判定しない場合は、会議の状況が待機状況と判定する。
【0083】
続いて、制御装置200において、各表示装置100に対してS406およびS407の処理を行う。まず、構成決定部214は、前述の状況推定の結果に基づいて、表示装置100それぞれに表示すべき取得映像を選択する。このとき選択される取得映像は複数ある場合もある。続けて、選択された取得映像のうち、どの箇所を表示するかを決定する(S406)。例えば、同一人物を表示する場合においても、クローズドショット(顔を中心にしたショット)、ミドルショット(バストアップのショット)、フルショット(体全体を映したショット)など様々ある。この中から、最適なショットを選択し、構成情報として決定する。
【0084】
最後に、構成決定部214は、通信部230を介して各表示装置100に対して、取得映像を表示装置100に対して送信するとともに、取得映像における表示すべき箇所を構成情報として表示装置100に対して送信する(S407)。
【0085】
次に、表示装置100における会議映像生成の処理を説明する。図14は、表示装置100における会議映像生成の処理の流れを示す流れ図である。表示装置100の通信部140は、取得映像および構成情報を受信する(S501)。続いて、映像生成部113は、構成情報に基づいて、取得映像を加工、編集し、表示すべき会議映像を生成し(S502)、表示制御部114は、会議映像を表示部150に表示させる(S503)。
【0086】
一方、表示制御部114は、入力部120によって会議参加者からのタッチ操作を現在表示されている会議映像の画角調整、拡大縮小などの操作であると認識し、タッチ操作が検出された場合には、タッチ入力値を保持する。そして、保持されたタッチ入力値に基づいて、会議映像を再生成し(S505)、再生成した会議映像を表示させる(S506)。例えば、表示制御部114は、ダブルタップの操作を拡大操作と位置付け、表示すべき設定領域を狭く再生成してもよい。
【0087】
続いて、図9に示される各会議参加者が利用する映像会議システム10の動作を中心に、制御装置200によって推定された会議の状況および各表示装置100に対応する会議参加者が話者か否かにより場合分けして、ステップS406に示した構成情報の決定手順の例について詳細に説明する。
【0088】
(拠点間会話状況における話者の表示装置に表示される会議映像)
拠点間会話状況として、会議参加者600A−3と会議参加者600B−3とが話者である場合を考える。このとき、会議参加者600A−3の表示装置100A−3の会議映像としては、別拠点の会議参加者600B−3の正面映像が構成決定部214によって選択されていることが望ましく、その逆もまた然りである。話者にとって別拠点の話者を確認しながら会話することが重要であるためである。そのため、各々の話者に対応する表示装置100に内蔵される映像センサより取得される取得映像や、話者を正面から捉えている撮像装置500からの取得映像が選択される。
【0089】
さらに、選択された取得映像のうち表示される箇所については、話者を正面に捉えるように構成決定部214によって決定されるとよい。このとき、例えば、話者と表示装置100との距離関係に応じて、クローズドショットやミドルショットのどちらかを表現するように決定してもよい。図15に、この場合の会議映像の決定例を図示する。話者600A−3の表示装置100A−3には別拠点の話者600B−3が表示されており、一方、話者600B−3の表示装置100B−2には、別拠点の話者600A−3を中心に据えながら、横に座る第3者600−2を映す取得映像が選択された様子が示されている。
【0090】
(拠点間会話状況における第3者の表示装置に表示される会議映像)
拠点間会話状況として、会議参加者600A−2と会議参加者600B−1とが第3者である場合を考える。このとき、会議参加者600A−2の表示装置100A−2には、同一拠点の話者である会議参加者600A−3と会議参加者600A−2との位置関係から、別拠点の会議参加者600B−3の左向きショットが選択されることが望ましい。それは、会議参加者600A−2の左側に同一拠点の話者である600A−3が座っていることが前段の処理で判明しており、会議参加者600A−2から見たとき、拠点間の話者関係が把握しやすくなるからである。そのため、話者600B−3の左側から撮影している撮像装置500の取得映像が選択される。
【0091】
表示される取得映像の箇所については、会議参加者600A−2から見たとき、同一拠点の会議参加者600A−3の見た目の大きさと同程度になるように調整されてから表示装置100A−2に表示させるのがよい。そのため、構成決定部214は、表示される取得映像の箇所を会議参加者600A−3の見た目の大きさに合わせた倍率を表現する構成情報を決定するのがよい。このとき、会議参加者600A−3の見た目の大きさに合わせた倍率の決定には、例えば、事前のレイアウト情報に設定されている設定領域のサイズを距離換算して求める手法を採用することも可能である。
【0092】
一方、会議参加者600B−1の表示装置100B−1には、同一拠点の話者である600B−3との位置関係が閾値よりも離れているため、両拠点の話者をそれぞれ等分して表示することが望ましい。それは、双方の話者の様子を把握しながら会話を理解することが重要であるためである。そのため、会議参加者600A−3の右向きショットと会議参加者600B−3の左向きショットとが構成決定部214によって選択される。さらに、表示される取得映像の箇所については、選択された左向きショットと右向きショットとが対面するように表現する構成情報が構成決定部214によって決定される。
【0093】
(拠点内会話状況における話者の表示装置100に表示される会議映像)
拠点Aの会議参加者600A−2と会議参加者600A−3とが話者である場合を考える。このとき、各話者はそれぞれお互いの方向を見て会話をしていることが多く、各表示装置100には、別拠点の映像がランダムに選択されることが望ましい。それは、話者が同一拠点の第3者に目を配ることは容易であるが、別拠点の映像を選択することが難しいからである。そのため、構成決定部214によって別拠点(この場合は拠点B)の取得映像が所定間隔ごとに変更して選択されるとよい。さらに表示される取得映像の箇所については、特に制限はないが、例えば、会議参加者の権限の高低をあらかじめレイアウト情報に加味しておくことで、権限の高い会議参加者に幾分偏った映像選択をすることも可能である。
【0094】
(拠点内会話状況における同一拠点の第3者の表示装置100に表示される会議映像)
同様に、拠点Aの会議参加者600A−2と会議参加者600A−3とが話者である場合を考える。このとき、同一拠点の第3者(この場合では会議参加者600A−1)は、同一拠点の話者同士の様子を観察できるため、表示装置100A−1には、先ほどと同様に、別拠点の映像がランダムに選択されることが望ましい。
【0095】
(拠点内会話状況における別拠点の第3者の表示装置100に表示される会議映像)
同様に、拠点Aの会議参加者600A−2と会議参加者600A−3とが話者である場合を考える。このとき、別拠点の第3者(この場合では会議参加者600B−1)の表示装置100B−1には、拠点Aの会話者が選択的に表示されることが望ましい。図16に示すように、会議参加者600A−2の左向きショットと会議参加者600A−3の右向きショットとが構成決定部214によって選択される。さらに、表示される取得映像の箇所については、選択された左向きショットと右向きショットとが対面するように表現する構成情報が構成決定部214によって決定される。
【0096】
また、拠点Aの会議参加者600A−2がスライド(あるいは、ホワイトボードやスクリーン)を使って説明している場合を考える。このとき、図17に示すように、別拠点の第3者(この場合では会議参加者600B−3)の表示装置100B−3に表示される取得映像としては、拠点Aの会議参加者600A−2とスクリーンZ1000が同時に映るような取得映像が選択される。さらに、表示される取得映像の箇所については、画角が閾値より狭い場合には、会議参加者600A−2のミドルショットとスライドが選択され、画角が閾値より広い場合には、会議参加者600A−2のフルショットとスライドが選択されるといったように、取得映像の画角に応じて決定されてもよい。
【0097】
このとき、表示される取得映像の箇所に備品(スライド、ホワイトボード、スクリーンなど)を組み込むための手法は特に限定されない。例えば、会議室にあらかじめ備え付けてある備品もレイアウト情報の設定領域に組み入れることで、表示される取得映像の箇所に備品を組み込んでもよいし、会議参加者の顔向きを考慮した形で(例えば、会議参加者600A−2が右を向いているため、会議参加者600A−2よりも右側も映した形で)会議映像を生成するなどしてもよい。
【0098】
(待機状態における会話映像の場合)
待機状態は、会議の序盤などにおいて会議参加者が話し始める前や、会議が煮詰まったときなどに発生する。このとき、各表示装置100には、別拠点や同一拠点の取得映像がランダムに選択されるようにしてもよい。また、会議全体を通して、各会議参加者の発言率や発言回数などから、まだ発言の少ない会議参加者に偏った映像選択がなされてもよい。このようにすることで、会議への会議参加者全体の帰属感などが醸成できる可能性もある。
【0099】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0100】
本実施形態の変形例として、制御装置200は、表示装置100と同一の装置として構成されてもよいし、複数の異なるコンピュータに分割されて構成されてもよい。前者の場合は、複数の表示装置100のうち、少なくとも一つがその役割を担えばよい。また、映像配信や映像合成など多大な処理性能が要求される場合には、後者の場合である複数の表示装置100で制御装置200の処理を分散することなども想定される。
【0101】
さらに別の変形例として、会議映像を合成する処理を、制御装置200にて一括にやることなどが想定される。この場合には、各表示装置100で合成される取得映像すべてを配信しなくてもよいことになるため、通信量の削減などが図られる一方で、会議参加者のタッチ入力のような会議映像の変更が多く発生する場合には、逆に通信量が増える可能性もあり、双方はトレードオフの関係にある。
【0102】
また別の変形例として、会議参加者からのタッチ入力によって、取得映像の画角を調整することを可能にするために、画角制御部513を有する。現在配信されている取得映像ではとらえられない箇所を映すために画角制御を許すが、このとき配信されている取得映像が変更されてしまう。このため、画角制御値に合わせて、各表示装置100に送信される構成情報を変更することで対応する。このように、画角制御のような会議参加者の細かな要求に対応できる映像会議システム10を提供することも可能である。
【0103】
さらに別の変形例として、表示装置100に内蔵される検出部130の一つである地軸センサや加速度センサを利用して、会議卓上においてどちらの方向に表示装置100を向けているかを検知し、その表示装置100の位置姿勢方向において別の会議参加者との位置関係を考慮した会議映像を生成してもよい。例えば、同一拠点に複数の話者がいる場合、ある話者に表示装置100を向けたことを検知し、その話者に対して正対するように別の拠点からの選択されるべき取得映像を変化させてもよい。
【0104】
表示装置100に内蔵される検出部130および撮像装置500の一つである映像センサは、会議参加者の人数分あることが望ましいが、広画角で撮影できる映像センサや360度撮像できる魚眼カメラ装置などを利用して、映像センサなどの装置数を削減することも可能である。また、図4に示したような取得映像と事前に送信されるレイアウト情報から、図9に示したような位置関係情報を生成するが、人物の位置姿勢などから必ずしも毎フレーム正しく人物検知できるわけではない。そのため、所定時間検知がなされなかったときに、人物不在とするような工夫を組み入れてもよい。
【0105】
また、同様に、制御装置200における話者特定の処理においても、人物が移動しながらしゃべるといった場合もあり得る。このとき、人物検知の処理と話者を特定する音声センサを保持する表示装置100とを変更することで対応することも想定される。このとき、ホワイトボードやスクリーンなどといった会議室にあらかじめ備え付けられている備品もレイアウト情報の設定領域に組み入れることで、人物検知領域や人物の想定移動経路に沿った検知領域の動的対応などの工夫を組み入れてもよい。
【符号の説明】
【0106】
10 映像会議システム
100 表示装置
110 制御部
111 センサデータ取得部
112 通信制御部
113 映像生成部
114 表示制御部
120 入力部
130 検出部
140 通信部
150 表示部
200 制御装置
210 制御部
211 映像取得部
212 映像解析部
213 判定部
214 構成決定部
220 記憶部
230 通信部
300 無線LANアクセスポイント
400 通信網
500 撮像装置
510 制御部
511 映像取得部
512 通信制御部
513 画角制御部
520 記憶部
522 レイアウト情報
530 通信部
540 検出部
600 会議参加者


図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17