特許 6283587 確認装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6283587

(24)【登録日】2018年2月2日

(45)【発行日】2018年2月21日

(54)【発明の名称】確認装置及びプログラム

(51)【国際特許分類】

   G06Q 10/00 20120101AFI20180208BHJP

【ＦＩ】

   G06Q10/00

【請求項の数】9

【全頁数】19

(21)【出願番号】特願2014-180147(P2014-180147)

(22)【出願日】2014年9月4日

(65)【公開番号】特開2016-53891(P2016-53891A)

(43)【公開日】2016年4月14日

【審査請求日】2017年1月30日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】松野 淳

(72)【発明者】

【氏名】帆足 啓一郎

【審査官】 田川 泰宏

(56)【参考文献】

【文献】 特開２０１０−１７６５４４（ＪＰ，Ａ）

【文献】 特開２００６−２０９３３２（ＪＰ，Ａ）

【文献】 特開２００９−２６７６２１（ＪＰ，Ａ）

【文献】 特開２００５−１２４１６０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００−９９／００

Ｈ０４Ｎ ７／１５

Ｇ０６Ｔ ７／２０

Ｈ０４Ｌ １２／１８

(57)【特許請求の範囲】

【請求項1】

現場で被験者を対象として実施されるグループインタビューの映像を遠隔地に配信し、当該グループインタビューの終了後において現場及び／又は遠隔地で当該グループインタビューにおける被験者の様子の確認を補助する確認装置であって、
前記グループインタビューの映像を取得する映像取得部と、
前記取得した映像に基づき、遠隔地へ映像を配信する映像配信部と、
前記配信した映像を遠隔地における視聴映像として記憶する視聴映像記憶部と、
前記グループインタビューの進行に即したタイムスタンプが付与されたうえで、現場及び遠隔地のそれぞれから、被験者を指定してその様子を評価した評価情報を受信して記憶する評価記憶部と、
前記視聴映像に対して、前記評価情報をそのタイムスタンプの位置において紐付けることで評価付与映像を生成する評価付与映像生成部と、
前記評価付与映像を複数のシーンに分割すると共に、被験者に対する現場からの評価情報と遠隔地からの評価情報とが異なっていると判定されるシーンを、確認対象のシーンとして識別する確認対象映像生成部と、を備えることを特徴とする確認装置。

【請求項2】

前記評価情報は、指定した被験者の様子を所定の感情評価項目の中から選択することで評価する情報を含んで構成されていることを特徴とする請求項１に記載の確認装置。

【請求項3】

前記評価情報は、指定した被験者の様子をテキストで記述する情報を含んで構成されていることを特徴とする請求項１または２に記載の確認装置。

【請求項4】

前記確認対象映像生成部は、
共通の被験者につき、現場からの評価情報及び遠隔地からの評価情報の両者を受信しているが、当該両者における評価内容が異なっていると判定されるシーン、
又は、遠隔地からの評価情報のみが受信され、現場からの評価情報が受信されていないような被験者が存在するシーン、を前記確認対象のシーンの一種として、遠隔地における認識誤りシーンとして識別することを特徴とする請求項１ないし３のいずれかに記載の確認装置。

【請求項5】

前記確認対象映像生成部は、
現場からの評価情報のみが受信され、遠隔地からの評価情報が受信されていないような被験者が存在するシーン、を前記確認対象のシーンの一種として、遠隔地における見逃しシーンとして識別することを特徴とする請求項１ないし４のいずれかに記載の確認装置。

【請求項6】

前記確認対象映像生成部は、前記確認対象として識別されたシーンより確認対象映像を生成し、
現場及び／又は遠隔地より検索要求を受信し、当該検索要求に合致するシーンを前記確認対象映像より検索する映像検索部と、
前記検索要求を送信した現場及び／又は遠隔地に対して前記検索されたシーンを表示させる映像表示部と、をさらに備えることを特徴とする請求項１ないし５のいずれかに記載の確認装置。

【請求項7】

前記映像取得部は、前記グループインタビューの映像を複数のカメラからそれぞれ取得し、
前記映像配信部は、前記取得された映像において複数のカメラから時系列上の各時点で選択された１台のカメラの映像を、遠隔地へと配信し、
前記映像表示部は、前記検索されたシーンを表示するに際して、併せて前記選択された１台のカメラの映像以外の複数のカメラの映像を表示することを特徴とする請求項６に記載の確認装置。

【請求項8】

現場におけるグループインタビューの実行者の注視対象がいずれの被験者であるかを取得する注視対象取得部と、
前記取得された注視対象の被験者を最も大きい割合で含む画像を撮影したカメラを、前記映像配信部において前記選択される１台のカメラとして決定するカメラ選択部と、をさらに備えることを特徴とする請求項７に記載の確認装置。

【請求項9】

コンピュータを請求項１ないし８のいずれかに記載の確認装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔グループインタビューにおいて、インタビュー現場のモデレータと遠隔地の分析者間でインタビューを効率的に振り返ることを可能とする確認装置及びプログラムに関する。

【背景技術】

【0002】

遠隔グループインタビューは、インタビュー現場のモデレータと遠隔地にいる分析者が協力して実施される。図１は、遠隔グループインタビュー環境を模式的に示す図である。図示するように、遠隔グループインタビューにおいては、通常のグループインタビューと異なり、分析者がインタビュー現場L1ではなく遠隔地L2に存在する。モデレータについては通常のグループインタビューと同様、被験者と共に現場L1に存在する。このように、遠隔グループインタビューでは、分析者と被験者が同じ場所に共在する必要がないため、被験者をより容易に集めることが可能になるという利点が存在する。

【0003】

しかし、図１に示すように、分析者はインタビュー現場L1を視聴するに際して、当該現場L1に設置された複数のビデオカメラにより撮影されネットワークNを介して中継された映像を通じて視聴する。このとき、分析者は、ビデオカメラを切り替えることで選択したカメラの中継映像を視聴するため、被験者の言動を把握し損なう恐れがある。このことが原因で，分析者はインタビュー中のシーンを見逃したり、誤って解釈したりしてしまう可能性がある。

【0004】

このような事態を防ぐために、一般的にはインタビュー終了後に、モデレータと分析者間でインタビューを振り返る。効率的にインタビューを振り返るためには、ビデオカメラで撮影された膨大なインタビュー動画から、双方に意識の相違が生まれた場面のみを抽出することが必要である。

【0005】

このような作業を効率化することに関連した従来技術として、特許文献１がある。特許文献１では、会議参加者の視線から、会議での見逃しシーンを効率的に振り返るための方式が提案されている。この方式では、注視対象物に視線が向けられているか否かで見逃しを判定している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開2006-185187号公報

【特許文献2】特開2010-102595号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１の手法は、あくまで会議参加者の立場に立ったものであるため、遠隔グループインタビュー中で、ビデオカメラが注視対象物を捉えきれなかったことが原因で生じる見逃しシーンを振り返ることはできない。また、認識誤りシーンを見つけることもできない。

【0008】

ここで、遠隔グループインタビューにおいて、インタビューに対する意識の相違を見つけるためには、モデレータ側と分析者側でインタビュー中にコメントの投稿を可能とし、インタビュー終了後に双方のコメントを比較することが、有効な手段の一つであると考えられる。

【0009】

このようなコメントの利用に関連した従来技術として、特許文献２では，コメント投稿時に指定した映像中のポインティング位置から、ユーザ間のコメントの類似性を判定する方式が提案されている。

【0010】

しかしながら、特許文献２の方式は、ブログ等における３次元モデル等の画像を対象として、そのデザイン等についての多数ユーザ間での意見交換を補助するためのものである。このため、特許文献２の方式は、遠隔グループインタビューにおけるモデレータ側と分析者側との認識相違の解析にそのまま適用できるものではない。

【0011】

すなわち、特許文献２では対象となる３次元モデル等の画像につき予めその各部位の画像を構造、色、模様その他の属性情報と紐付けて用意しておき、ユーザに対してポインティングにより部位を指定したうえでコメントを入力させたうえで、属性情報を考慮することによってコメント同士の類似性を判定している。特許文献２の手法では、ポインティング位置が近ければコメント同士が類似していると判定される可能性が高く、コメントの内容まで考慮してコメントの類似性を判定していない。遠隔グループインタビューに特許文献２の手法を仮に適用したとすると、モデレータ側と分析者側との認識相違があるシーン（認識誤りシーン）では、ポインティング位置は近くても内容の類似性が低いコメントが投稿されることもあるが、特許文献２の手法ではそのような認識誤りシーンを見つけることはできない。

【0012】

また、遠隔グループインタビューにおいては映像を解析する必要があるが、特許文献２の手法はそもそも画像を対象としたものであり、映像を対象とした手法ではない。

【0013】

本発明は、上記従来技術の課題に鑑み、遠隔グループインタビューにおいて、現場と遠隔地とで被験者の様子に対する評価の相違の確認を補助することができる確認装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0014】

上記目的を達成するため、本発明は、現場で被験者を対象として実施されるグループインタビューの映像を遠隔地に配信し、当該グループインタビューの終了後において現場及び／又は遠隔地で当該グループインタビューにおける被験者の様子の確認を補助する確認装置であって、前記グループインタビューの映像を取得する映像取得部と、前記取得した映像に基づき、遠隔地へ映像を配信する映像配信部と、前記配信した映像を遠隔地における視聴映像として記憶する視聴映像記憶部と、前記グループインタビューの進行に即したタイムスタンプが付与されたうえで、現場及び遠隔地のそれぞれから、被験者を指定してその様子を評価した評価情報を受信して記憶する評価記憶部と、前記視聴映像に対して、前記評価情報をそのタイムスタンプの位置において紐付けることで評価付与映像を生成する評価付与映像生成部と、前記評価付与映像を複数のシーンに分割すると共に、被験者に対する現場からの評価情報と遠隔地からの評価情報とが異なっていると判定されるシーンを、確認対象のシーンとして識別する確認対象映像生成部 と、を備えることを特徴とする。

【0015】

また、本発明は、プログラムであって、コンピュータを前記確認装置として機能させることを特徴とする。

【発明の効果】

【0016】

本発明によれば、グループインタビューの進行に即して現場及び遠隔地のそれぞれから、被験者を指定してその様子を評価した評価情報を受信して記憶しておき、被験者に対する現場からの評価情報と遠隔地からの評価情報とが異なっていると判定されるシーンを、確認対象のシーンとして識別するので、遠隔グループインタビューにおいて、現場と遠隔地とで被験者の様子に対する評価の相違の確認を補助することができる。

【図面の簡単な説明】

【0017】

【図1】遠隔グループインタビュー環境を模式的に示す図である。

【図2】一実施形態に係る確認装置の機能ブロック図である。

【図3】一実施形態に係る確認装置の動作のフローチャートである。

【図4】確認対象映像生成部による確認対象映像の生成処理のフローチャートである。

【図5】確認対象映像生成部により生成される確認対象映像を模式的に示す図である。

【図6】図２とは別の一実施形態に係る確認装置の機能ブロック図である。

【図7】一実施形態に係るカメラ選択部の動作のフローチャートである。

【図8】グループインタビューの一番面の例を示す図である。

【図9】認識誤りシーンの例を示す図である。

【図10】見逃しシーンの例を示す図である。

【図11】カメラ画像を切り替えて確認する画面の例を、図９における認識誤りシーンの場合を例として説明するための図である。

【発明を実施するための形態】

【0018】

図２は、一実施形態に係る確認装置の機能ブロック図である。確認装置10は、映像取得部21、全映像記憶部22、映像配信部23、視聴映像記憶部24、現場側評価入力部31、遠隔側評価入力部32、評価記憶部33、評価付与映像生成部41、確認対象映像生成部42、確認対象映像記憶部43、映像検索部51及び映像表示部52を備える。

【0019】

図２に示すように、確認装置10はインタビュー現場L1と遠隔地L2との間で種々のデータ仲介を実施することで、遠隔グループインタビューを実現すると共に、その際の映像や後述する評価情報を保存しておくことにより、現場L1のモデレータ（及び書記者）と遠隔地L2の分析者（及び書記者）の間で、被験者の反応に対する認識が互いに違った箇所を確認対象の箇所として自動で検出する。こうして、遠隔グループインタビュー実施後にモデレータ及び／又は分析者は確認対象の箇所を検討することが可能となる。この際、モデレータ及び分析者が互いに意思疎通しながら、共同して検討することも可能であるし、モデレータ又は分析者がそれぞれ個別に検討することも可能である。

【0020】

従って、図２の確認装置10は、図１における現場L1と遠隔地L2とをつなぐネットワークN上に存在することができるが、確認装置10を構成する任意の一部部分が現場L1及び／又は遠隔地L2に存在してもよい。この場合、確認装置10の当該離れて存在する各部はネットワークNを介して互いに通信し、必要なデータ授受を行えばよい。

【0021】

図３は、一実施形態に係る確認装置の動作のフローチャートである。以下、図３の各ステップを説明しながら、図２の各部の機能を説明する。

【0022】

ステップS1では、インタビュー現場L1に居るモデレータが主導することで、当該現場L1に居る１人以上（一般には複数人）の被験者を対象として、グループインタビューが実施される。この際特に、確認装置10によって次の3つの処理、すなわち、(1)映像配信処理、(2)映像記録処理、(3)評価情報記録処理が並行して実施される。当該3つの各処理(1)〜(3)はそれぞれ以下の通りである。

【0023】

処理(1)は、当該現場L1におけるグループインタビューの映像を遠隔地L2へと配信する処理である。当該処理(1)により、遠隔地L2の分析者はリアルタイムでグループインタビューの様子を見守り、被験者の応答を観察することが可能となる。すなわち、図１で説明したような遠隔グループインタビューが実施される。

【0024】

処理(1)を実現する構成は次の通りである。まず、映像取得部21は、現場L1に配置された複数のカメラ（ビデオカメラ）の映像をそれぞれ取得して、映像配信部23に渡す。当該現場の複数のカメラは、全体として、グループインタビューに参加している被験者の様子をそれぞれ撮影可能なように配置されていることが好ましい。なお、当該配置の実例に関しては、図８を参照して後述する。

【0025】

次に、映像配信部23は、映像取得部21より得られた複数カメラの映像の中から、遠隔地L2に存在する分析者が操作するスイッチャーによって選択された一つのカメラの映像を、遠隔地L2に存在するディスプレイへと配信することで、分析者に当該映像の視聴を可能とさせる。すなわち、遠隔地L2の分析者は、スイッチャーによって所望のカメラを選択したうえで、当該選択されたカメラの映像を視聴する。グループインタビューの進行に沿って注目すべき被験者が変わった場合は、分析者は適宜、スイッチャーをマニュアル操作することにより当該新たに注目すべき被験者の様子が最も確認しやすいようなカメラに切り替えて、グループインタビューの様子を視聴することとなる。

【0026】

なお、映像には現場L1で録音された音声も付随しており、映像が配信されることで同時に音声も配信される。以下ではこのように「音声」が付随しているものとして「映像」に言及する。

【0027】

処理(2)は、処理(1)における各映像を記録する処理である。以下のように、全映像記憶部22及び視聴映像記憶部24が当該処理(2)を担う。

【0028】

まず、全映像記憶部22は、映像取得部21において取得した複数カメラの映像の全てを受け取り、それぞれ個別に記憶する。また、視聴映像記憶部24は、映像配信部23が遠隔地L2に配信した映像、すなわち、遠隔地L2の分析者がスイッチャーを用いて全カメラ映像の中から適宜切り替えながら視聴している視聴映像を受け取り、記憶する。

【0029】

処理(3)は、インタビューの進行に沿った形で、現場L1のモデレータ側及び遠隔地L2の分析者側のそれぞれから、モデレータより質問を受ける等してその時点における注目の対象となっている被験者の様子に関して評価する情報を受け付け、タイムスタンプを付与したうえで当該評価情報を記録しておく処理である。

【0030】

処理(3)を実現する構成は次の通りである。まず、評価情報の入力の受け付けに関して、現場L1に居る書記者が、インタビュー現場L1に配置された現場側端末11に対して、現場L1にてインタビューの進行上において注目対象となっている被験者に関して、評価情報をマニュアルで入力する。当該現場L1の書記者は、インタビュー風景を直接見ながら評価情報を入力することとなる。

【0031】

現場側端末11では当該入力された評価情報に入力された際のタイムスタンプを付与したうえで、現場側評価入力部31へと送信する。タイムスタンプ付与され評価情報を受け取った現場側評価入力部31は、当該情報を評価記憶部33に保存する。

【0032】

同様に、遠隔地L2に居る書記者も、映像配信部23によって配信されているインタビュー映像を視聴する分析者が、インタビューの進行上において注目対象となっている被験者に対して与えた評価情報を遠隔側端末12に入力する。

【0033】

遠隔側端末12では当該入力された評価情報に入力された際のタイムスタンプを付与したうえで、遠隔側評価入力部32へと送信する。タイムスタンプ付与され評価情報を受け取った遠隔側評価入力部32は、当該情報を評価記憶部33に保存する。

【0034】

以上のようにして、処理(3)により、評価記憶部33には現場L1及び遠隔地L2の双方より、評価情報が入力され送信されたものを受信する都度、評価情報が蓄積されていくこととなる。なお、評価記憶部33では、現場L1又は遠隔地L2のいずれの側から送信された評価情報であるかの区別を含めて、評価情報を記憶する。

【0035】

ここで、評価情報は、[1]評価の対象となった被験者が誰であるか特定する情報と、[2]当該被験者のグループインタビュー進行上における具体的な様子を評価する情報と、を含んだ情報として構成することができる。現場L1及び遠隔地L2のそれぞれの書記者は、当該構成に従う形で、評価情報を入力するものとする。当該各情報[1],[2]に関しては以下の通りである。

【0036】

[1] 評価対象となった被験者が誰であるかを特定する情報については、グループインタビューを開始する前に主催者側での準備として、参加する被験者のリストを作っておき、当該リスト内から選択する形で入力すればよい。例えば参加する被験者がA,B,Cの合計3名であれば、Aさん、Bさん及びCさんというリストを作っておけばよい。

【0037】

あるいは、遠隔地L2側であれば、配信映像上において被験者を画面上でクリックする等により指定するようにしてもよい。この場合も参加する被験者のリストは予め用意しておくと共に、周知の画像からの人物検出技術を適用することで、クリックした位置における被験者が誰であるかを特定することができる。

【0038】

[2] 被験者の様子を評価する情報は、以下のように種々の実施形態が可能である。

【0039】

一実施形態では、通常のテキストにより、対象となる被験者の様子を記述する形で、様子を評価する情報を入力させるようにすることができる。一実施形態では、所定の感情評価項目を予め用意しておき、当該項目内から選択する形で、様子を評価する情報を入力させるようにすることができる。例えば、所定の感情評価項目として、感情が「ポジティブ」又は「ネガティブ」のいずれに該当するかという2項目を予め設定しておき、当該2項目のいずれに該当するか選択することで入力させるようにすることができる。

【0040】

また、一実施形態では、上記のテキスト及び所定の感情評価項目の両方を入力させることで、被験者の様子を評価する情報を与えるようにしてもよい。この場合、テキストに関しては、選択された感情評価項目に関して、なぜ当該項目を選択したかを説明する情報として構成されるようにしてもよい。例えば上記例示した2項目のうち「ポジティブ」を選択した場合、被験者の具体的などのような振る舞いから「ポジティブ」であると判断したかをテキストとして記入するようにしてもよい。

【0041】

また、どのような場合に評価情報を入力するかの判断は、グループインタビューの目的に応じた所定の業務上の取り決め等に従う形で、現場L1及び遠隔地L2のそれぞれの書記者（又は書記者に指示する分析者）に委ねられる。

【0042】

例えば、企画段階のスマートフォンを操作してもらい、被験者から端末に関する意見を集めることを目的としたグループインタビューの場合であれば、現場L1のモデレータは順次、当該スマートフォンの新機能の紹介を行い、被験者に操作感などを訪ねるといった形でグループインタビューは進行する。この場合、新機能の使い勝手等がグループインタビューにおいて収集したい情報となるので、被験者が使い勝手をどのように感じているかが読み取れた際に、当該読み取った感情を評価情報として入力するものとして、取り決めておけばよい。

【0043】

特に、評価情報は、被験者の非言語的な反応（楽しそうな顔をしている、あるいは逆に、困ったような顔をしている、等の反応）に関して入力するものとして、取り決めておいてもよい。

【0044】

また、現場L1及び遠隔地L2のそれぞれにおいて端末11,12に以上の評価情報を入力する主体を書記者として説明した。当該書記者に入力を実施させる理由は次の通りである。すなわち、現場L1においてはモデレータはグループインタビューの司会を務めるため、インタビューの進行に沿って逐次、評価情報を入力するという作業を行うことは困難である。このため、現場L1においては当該入力する役割を書記者が担う。

【0045】

同様に、遠隔地L2においても分析者はインタビュー映像を継続して視聴し続ける必要があるので、入力作業を書記者に担わせる。この際、入力すべき評価情報については、分析者から書記者に対して口述等で伝えるようにすればよい。

【0046】

以上、処理(1)〜(3)が並行して実施される図３のステップS1が、あるグループインタビュー全体について完了すると、当該グループインタビューに関しての一連の情報（映像及び評価情報）が蓄積された状態となり、ステップS2へと進む。

【0047】

ステップS2では、以上のステップS1で蓄積された視聴映像記憶部24の視聴映像と評価記憶部33の評価情報とを参照して、評価付与映像生成部41が評価付与映像を生成してから、ステップS3へと進む。

【0048】

ステップS2にて当該生成される評価付与映像とは、評価記憶部33に記憶されているそれぞれの評価情報を、当該評価情報に付与されたタイムスタンプに一致する時刻の位置において、視聴映像記憶部24の視聴映像に対して時間軸上で紐付けた映像である。すなわち、視聴映像に対して、そのグループインタビューが進行するにつれ適宜、現場L1又は遠隔地L2で入力された評価情報が、当該入力された時刻と紐付ける形で追加されたものが評価付与映像である。

【0049】

ステップS3では、ステップS2にて生成された評価付与映像を解析することで、確認対象映像生成部42が、評価付与映像の各シーンにつき確認すべきシーンであるか否かの判定を下すことにより、確認対象映像を生成して確認対象映像記憶部43に記憶させてから、ステップS4へと進む。

【0050】

当該生成される確認対象映像は、評価付与映像に対してその各シーンに確認すべきシーンであるか否かの情報を付与した映像として構成されていてもよいし、評価付与映像の各シーンの中から確認すべきシーンと判定されたシーンのみを切り取ってつなげた映像として構成されていてもよい。確認対象映像が当該いずれの構成を取る場合においても、確認対象映像生成部42では、(a)評価付与映像をシーン分割する処理と、(b)当該分割された各シーンが確認すべきシーンであるか否かを判定する処理と、を行う。各処理(a),(b)は以下の通りである。

【0051】

(a) 評価付与映像のシーン分割に関しては、一般の映像（評価付与映像のように評価情報が紐付けられていない通常の映像）を対象とした、映像内容に応じてシーンを適切に分割する技術が多く提案されているため、そのような既存技術を利用すればよい。例えば、以下の[特許文献３]に開示された既存技術を利用してもよい。
[特許文献３] 特開2008-283229号公報 （映像区間分割システム，日本電気株式会社）

【0052】

(b) 分割された各シーンが確認すべきシーンであるか否かの判定に関しては、当該シーンに付与されているモデレータ側から付与された（すなわち、現場側評価入力部31から入力された）評価情報と、分析者側から付与された（すなわち、遠隔側評価入力部32から入力された）評価情報と、を比較して、当該両情報が互いに異なっていると判定できるか否かによって判断すればよい。

【0053】

ここで、評価付与映像には時間軸上で評価情報が付与されているため、シーン分割後においても各シーンの当該時間軸上（当初の評価付与映像と共通の時間軸上）において紐付けられている評価情報を参照することにより、上記の判断が可能である。

【0054】

評価情報同士が異なっているか否かの判定については、評価情報をどのような実施形態で構成したかに応じて所定の判定手法により判断すればよい。前述のように評価情報は[1]対象となる被験者が誰であるかの情報と、[2]当該被験者の様子を評価した内容と、で構成される。[2]に関しては種々の実施形態が可能であるが、以下では前述のように感情評価項目が「ポジティブ」又は「ネガティブ」の2項目のうちいずれであるかを特定することで様子を評価する場合を例として説明する。

【0055】

この場合、一実施形態では、確認すべきと判定されたシーンに対してさらに、確認すべき意味合いの違いから区別を設けることが可能である。すなわち、「見逃しシーン」又は「認識誤りシーン」の2種類の区別を設けることが可能である。

【0056】

ここで、見逃しシーンとは、ある被験者に対してモデレータ側からのみ評価情報が入力されているシーンとして定義する。すなわち、当該シーンに付与された評価情報における上記[1]の情報、すなわち、どの被験者を対象としているかの情報を調べて、モデレータ側からのみ評価情報が与えられているような被験者が1名でも存在すれば、当該シーンは確認すべきシーンであり、その種別が見逃しシーンであるものとして判定する。

【0057】

見逃しシーンはすなわち、現場L1の書記者のみが気付き、遠隔地L2の分析者は気付かなかった（見逃してしまった）対象者の何らかの応答を含むものであるため、このような観点から確認すべきシーンとなる。

【0058】

また、認識誤りシーンとは、上記の見逃しシーンとは逆に、[A]ある被験者に対して分析者側からのみ評価情報が入力されているシーン、又は、[B]ある被験者に対してモデレータ側と分析者側との両方から評価情報が入力されているが、評価情報における内容評価すなわち「ポジティブ」又は「ネガティブ」の結果が互いに異なるシーン、として定義する。

【0059】

上記両条件[A],[B]のうち、[A]については見逃しシーンの判定と同様にして満たしているか否かを判断可能である。[B]についてはモデレータ側の評価情報と分析者側の評価情報とで上記[1]の被験者が共通しているものを見つけたうえでさらに、一方には上記[2]の「ポジティブ」評価が与えられ、もう一方には「ネガティブ」評価が与えられている場合に、条件[B]が満たされると判断することができる。

【0060】

認識誤りシーンとはすなわち、モデレータ側が正しい判断を下しているとの前提のもとで、分析者側が当該正しい判断とは異なる判断をしてしまっているシーン（分析者側が「認識誤り」をしているシーン）であるため、確認すべきシーンとなる。

【0061】

なお、上記定義において「モデレータ側」と「分析者側」を入れ替えることで、さらに、「モデレータ側」の認識誤りシーンを定義することも可能である。

【0062】

図５は、当該ステップS3にて確認対象映像生成部42により生成される確認対象映像を模式的に示す図である。[1]は、上記処理(a)によって当初の評価付与映像の全体SC(シーン集合SC)が時間軸上で一連のシーンsc1〜sc6に分割されることで、時間軸上に予め付与されていた評価情報が対応するシーンに紐付いた状態を表している。そして[1]では、モデレータ側で付与された2つの評価情報のうち一方がシーンsc2に紐付く評価情報E1[sc2]となり、もう一方がシーンsc4に紐付く評価情報E1[sc4]となっている。また、分析者側で付与された1つの評価情報がシーンsc2に紐付く評価情報E2[sc2]となっている。

【0063】

そして、各評価情報の内容は図示するように、評価情報E1[sc2]は被験者Aを「ネガティブ」評価するものであり、評価情報E1[sc4]は被験者Cを「ポジティブ」評価するものであり、評価情報E2[sc2]は被験者Aを「ポジティブ」評価するものである。従って、図示するように処理(b)により、シーンsc2は同一の被験者Aに関してモデレータ側と分析者側とで評価が異なるものであるため、認識誤りシーンと判定される。また、シーンsc4は被験者Cに関してモデレータ側からのみ評価情報が付与されているものであるため、見逃しシーンと判定される。その他のシーンsc1,sc3,sc5,sc6については認識誤りシーンでも見逃しシーンでもなく、確認対象のシーンには該当しないものとの判定が得られる。

【0064】

図５では以上の[1]にて確認対象となったシーンsc2,sc4を切り出して新たに生成した映像SC'が[2]に示されている。前述のように、一実施形態では当該映像SC'を確認対象映像としてもよいし、一実施形態ではシーンsc2,sc4が確認対象シーンである旨の情報が付加された状態での[1]の映像SCを確認対象映像としてもよい。

【0065】

図４は、以上のステップS3における確認対象映像生成部42による確認対象映像の生成処理のフローチャートである。ステップS11では、確認対象映像生成部42が処理対象の評価付与映像を入力として受け取り、ステップS12に進む。ステップS12では、確認対象映像生成部42が評価付与映像をシーン毎に分割してシーン集合SCとし、ステップS13へ進む。ステップS13は、当該ステップS13からステップS18までの間におけるシーン判別処理のループを表すためのダミーステップであり、当該ループ処理内の最初のステップであるステップS14へ進む。

【0066】

ステップS14ではシーン集合SC内から１つの要素sc（すなわちシーンsc）を処理対象として取り出し、ステップS15へ進む。ステップS15では、シーンscから、当該シーンsc内に付与されているモデレータ側及び分析者側の評価情報E1,E2をそれぞれ取得してステップS16へ進む。なお、シーンscに評価情報E1,E2が付与されていない場合もあるが、その場合は付与されていない旨の情報を取得する。

【0067】

ステップS16では、評価情報E1,E2を比較してシーンscが確認対象となるかを判定する。前述のように当該判定は、評価情報をどのように構成しているかに応じた所定判定が可能であるが、一実施形態では枠F16内に描かれるサブステップS21〜S24により、確認対象のシーンであるか否かを判定し、さらにその種別が「見逃しシーン」又は「認識誤りシーン」の2種類のうちいずれであるかを判定することができる。サブステップS21〜S24は以下の通りである。

【0068】

ステップS21では、当該シーンscの評価情報E1,E2を調べて、モデレータ側の評価情報E1のみ存在するような被験者が存在するかを判定し、存在していればステップS22に進み、存在していなければステップS22をスキップしてステップS23へ進む。ステップS22では、シーンscを確認対象シーンの一種として見逃しシーンに分類して、ステップS23へ進む。

【0069】

ステップS23では、当該シーンscの評価情報E1,E2を調べて、「分析者側の評価情報E2のみ存在する被験者が存在する」又は「モデレータ、分析者の両者より評価情報E1,E2が与えられているが、その内容が異なる被験者が存在する」の少なくとも一方が成立するか否かを判定し、成立していればステップS24へ進み、成立していなければステップS24をスキップしてステップS17へと進む。ステップS24では、シーンscを確認対象シーンの一種として認識誤りシーンに分類して、ステップS17へ進む。

【0070】

以上、ステップS16の一実施形態としてのサブステップS21〜S24を説明した。なお、ステップS21,S23の両者において否定の判定が下された場合（ステップS22,S24の両方がスキップされた場合）は、当該シーンscは確認対象のシーンではない旨の判断を得る。

【0071】

ステップS17では、直前のステップS16において当該シーンscが確認対象と判定された場合、シーンscを、確認対象映像を構成している集合SC'に追加して、ステップS18に進む。なお、当該集合SC'には、図４のフローを開始するに際してその初期値として空集合φを設定しておけばよい。

【0072】

ステップS18では当該ステップS13〜S18のループ処理が終了したかの判定が行われる。ここで、集合SCが空集合φである場合、ループ処理は終了した旨の判定を下してステップS19へと進む。一方、集合SCが空集合φではない場合、集合SC内にまだ処理されていない要素sc（シーンsc）が残っているので、これらを対象としてループ処理を継続すべくステップS14へと戻る。

【0073】

ステップS19では、確認対象映像生成部42が集合SC'に含まれるシーンを結合して確認対象映像を生成し、当該映像を確認対象映像記憶部43に保存して、図４のフローは終了する。なお、集合SC'として確認対象映像を生成する場合は、図５の例で示した[2]の形式で確認対象映像が生成される。別の一実施形態として、図５の[1]の形式、すなわち当初のシーン集合としての映像SC内の各シーンに確認対象のシーンであるか否かの情報を付加した形式で確認対象映像を生成してもよい。

【0074】

図３に戻り、以上のステップS3を終えると次のステップS4では、生成された確認対象映像を参照して、モデレータ及び／又は分析者が確認作業（グループインタビューの振り返り）を行う。当該作業を補助すべく、確認装置10では、モデレータ及び／又は分析者からの要求に応じて、確認を行いたい箇所の映像をモデレータ及び／又は分析者に対して表示する。具体的には以下のように、映像検索部51がモデレータ及び／又は分析者からの要求を受信して表示すべき映像の検索を行い、映像表示部52が当該検索された映像をモデレータ及び／又は分析者に対して表示する。

【0075】

映像検索部51は、モデレータ側の現場側端末11及び分析者側の遠隔側端末12からそれぞれ確認すべきシーンの検索要求を受け付け、当該要求に合致するシーンを確認対象映像記憶部43から検索して取得すると共に、当該シーンに対応する全てのビデオカメラのシーンを全映像記憶部22より取得し、映像表示部52に渡す。

【0076】

映像表示部52では、当該検索された確認対象映像内のシーンを、検索要求を送信したモデレータ側の現場側端末11及び／又は分析者側の遠隔側端末12において表示させる。当該表示させる際に、当該シーンに付与され確認対象映像生成部42において当該シーンを確認対象のシーンと判定する根拠となった評価情報を併せて表示させるようにしてよい。当該評価情報の表示には、シーン画面内に周知のテロップ等の形式で重畳させて表示させるようにしてもよいし、シーン画面とは別途に表示させるようにしてもよい。

【0077】

さらに、映像表示部52では当該シーンに対応する全ビデオカメラのシーンを取得しているので、確認対象映像内のシーンを当該表示させる際に、モデレータ及び／又は分析者は各端末において任意のビデオカメラを選択することで、指定したビデオカメラのシーンを視聴することができる。

【0078】

すなわち、遠隔地L2にてグループインタビューを観察していた際は、分析者はスイッチャーによって切り替えられたいずれか1つのビデオカメラの映像を視聴するが、当該ステップS4にて確認作業を実施する際には、対象シーンを分析者が実際に視聴していたビデオカメラ以外にも任意のビデオカメラを指定して視聴し、分析者及び／又はモデレータが確認を行うことが可能となる。シーンにおける見逃しや認識誤りは適切なビデオカメラが選択されていなかったことに起因することもありうるため、当該選択により効率的に確認作業を実施することが可能となる。

【0079】

映像検索部51において現場側端末11及び遠隔側端末12からそれぞれ受け付ける検索要求は、以下のように種々の実施形態が可能である。

【0080】

一実施形態では、端末11,12側に予め確認対象映像記憶部43に保存されている確認対象映像の構成情報を送信しておき、当該構成情報内から視聴を要求するシーンを指定するという形で検索要求が構成されていてもよい。

【0081】

すなわち、端末11,12側には、図５で説明したような確認対象映像の構成情報（時系列上で分割された一連の各シーンを区別する情報並びに各シーンが確認対象か否かの情報及び「認識誤りシーン」又は「見逃しシーン」を区別する情報）を送信しておき、端末11,12側から所望の箇所を選択させるようにしてよい。

【0082】

また、上記のように個別のシーンを直接選択する他にも、一実施形態では「認識誤りシーン」に該当する全シーンを要求する、あるいは「見逃しシーン」に該当する全シーンを要求する等、条件指定により検索要求を構成することができる。この場合も、確認対象映像の構成情報は予め端末11,12側に送信しておいてもよいし、条件指定を行うための所定のメニュー項目を端末11,12に送信しておいてもよい。

【0083】

以上、図３の各ステップ及び図２の各部を説明した。図６は、図２とは別の一実施形態に係る確認装置10の機能ブロック図である。図２の構成との差異点は次の通りである。すなわち、図２の構成においては、遠隔地L2で分析者がスイッチャーを操作することにより、映像取得部21で取得される全カメラ映像のうち所望の1台のカメラの映像を選択して、映像配信部23へ入力させるようにしていた。これに対して、図６の構成ではスイッチャーが省略され、従って分析者はスイッチャーを操作する必要はなく、映像配信部23へ入力させる1台のカメラ映像の選択処理を、スイッチャーに代えて注視対象取得部25及びカメラ選択部26が担う。その他の構成及び動作は図２及び図３で説明したのと全く同様である。

【0084】

注視対象取得部25及びカメラ選択部26は図６の実施形態における確認装置10に備わる構成としてもよいし、その片方又は両方が確認装置10の外部構成であってもよい。当該各部25,26の機能は以下の通りである。

【0085】

注視対象取得部25は、周知の顔認識とアイトラッキング技術により、モデレータ側の書記者の注視対象（すなわち被験者）を取得し、当該取得結果をカメラ選択部26に渡す。アイトラッキングを実現する具体的なデバイスとしては、グラス型のウェアラブルデバイスなどを利用することができ、書記者が当該デバイスを装着することにより、注視対象取得部25が実現される。あるいは、書記者においてはその一人称映像を記録するデバイスのみを装着しておき、当該一人称映像に対して顔認識とアイトラッキング技術を別途の装置が実施することにより、注視対象取得部25を実現してもよい。

【0086】

カメラ選択部26は、映像取得部21から受理した全カメラ画像のうち、注視対象取得部25から受理した対象（すなわち被験者）が、最も大きい割合で含まれる画像を撮影したカメラを選択して、当該カメラ画像を映像配信部23に渡す。こうして、ライブ配信されるインタビューの映像の各時点においてカメラ選択部26がいずれかのカメラ画像を選択することで、図２のスイッチャーと同様の機能が実現される。

【0087】

図７は、一実施形態に係るカメラ選択部26の動作のフローチャートである。ステップS31では、カメラ選択部26が、注視対象取得部25が取得した注視対象oを入力として受け取り、ステップS32へ進む。ステップS32では、注視対象oが被験者のいずれかであるか否かを判定し、いずれかの被験者であればステップS33へ進み、いずれの被験者でもなければ当該フローは終了する。

【0088】

なお、ステップS32でいずれの被験者でもないと判定された場合は、カメラ選択部26では、当該時刻tの直前時刻t-1のフレームにおいて選択されていたカメラの画像を継続して利用するよう判断し、当該カメラ画像を映像配信部23に渡せばよい。

【0089】

ステップS33では、当該時刻tにおける全カメラ画像集合C={c1, c2, …, cn}(nはカメラ台数)を入力として受け取ってから、ステップS34へ進む。ステップS34では、以降のステップにおいて利用する変数として、対象最大占有割合pmax及び選択カメラ番号kを両者共に初期値の0に設定してから、ステップS35に進む。

【0090】

ステップS35〜S39がカメラ選択のループ処理となり、ステップS35は当該ループ開始を示すダミーステップであって、ステップS36へ進む。なお、ループ制御変数としてiを利用する。iには当該ループの何巡目の処理であるかが格納される。従って、初期値としてi=1を設定する。

【0091】

ステップS36では、カメラ画像ciに対象oが含まれる割合pを算出し、ステップS37へ進む。当該割合pは例えば、対象oすなわち被験者oの顔が画像内において占有する面積割合として算出することができる。その他、顔以外の部分を含めて算出するようにしてもよい。当該算出には周知の人物認識技術を利用することができる。

【0092】

ステップS37では割合pが対象最大占有割合pmaxより大きいか否かが判定され、大きい場合にはステップS38に進み、大きくない場合にはステップS38をスキップしてステップS39へ進む。ステップS38では対象最大占有割合pmaxに割合pの値を代入して更新すると共に、選択カメラ番号kに変数iの値を代入して更新してから、ステップS39へ進む。

【0093】

ステップS39では、カメラ選択処理ループが終了したか否かをループ回数iがカメラ台数nに到達したか否かによって判定し、i=nであり到達していればステップS40へ進み、そうではない場合（i＜nである場合）はiを1だけインクリメントしてからステップS36に戻り、ループ処理を継続する。

【0094】

ステップS40では、当該図７のフローの最終結果として、カメラ選択部26はカメラ番号が当該時点の変数kであるカメラ画像ckを映像配信部23に渡し、フローは終了する。

【0095】

以上、各実施形態における確認装置10の動作を説明した。以下では、当該動作の際の画像等の模式的な例をいくつか紹介する。

【0096】

図８はグループインタビューの一番面の例を示す図である。図示するように、インタビュー現場L1にはモデレータ、書記者及び被験者A,B,Cが存在し、インタビューの様子をビデオカメラA,B,Cで撮影している。画像IA,IB,ICはビデオカメラA,B,Cでそれぞれ撮影された画像である。当該インタビューは、被験者に企画段階のスマートフォン端末を操作してもらい、被験者から端末に関する意見を集めることを目的とするものとして説明する。なお、後述する図９〜図１１で示す例についても、当該図８と共通のインタビュー環境を想定している。

【0097】

まず、分析者側へインタビュー映像を配信する処理（図３のステップS1）の模式的な例を、図６の実施形態を前提として紹介する。

【0098】

インタビュー中に、モデレータ側の書記者が被験者Aに視線を向けていると、注視対象取得部25は被験者Aを注視対象として取得し、その情報をカメラ選択部26に送る。映像取得部21は，ビデオカメラA，B，Cの現時点でのカメラ画像IA,IB,ICを取得し，カメラ選択部26へ送る．ビデオカメラA，B，Cのカメラ画像IA,IB,ICの例は、図８に示す通りである。

【0099】

カメラ選択部26は，被験者Aが含まれる割合が最も大きい画像を撮影したビデオカメラを選択する。ここでは，図８で示される画像ICが、被験者Aが含まれる割合が最も大きいので、ビデオカメラAが選択される。最後に、映像配信部23が，ビデオカメラAの画像を分析者側に配信し、配信画像は視聴映像記憶部24に格納する。

【0100】

そして、以上のような処理がグループインタビューの進行する各時点において実施されることとなる。なお、上記の例では図６の実施形態で注視対象取得部25及びカメラ選択部26により画像が選択される場合を例としたが、図２の実施形態においてもスイッチャーにより分析者の指定した画像が選択されることで同様の処理が行われることとなる。

【0101】

次に、評価付与映像から認識誤りシーンを判別する場合の例について説明する。

【0102】

ここで、評価情報は前述のように、感情評価項目が2項目「ポジティブ」又は「ネガティブ」のいずれであるかを選択し、且つ、なぜそのような選択を行ったかをテキストで記述したものとして構成されている場合を例として、説明を行う。

【0103】

モデレータ側と分析者側の書記者が端末装置11,12からあるシーンにおける被験者Aに対して、それぞれ「スマホ画面を頻繁にスワイプしているが，何かのアイコンが見つからずに困っているようだ。」(ネガティブ感情)、「スマホ画面の操作に夢中になっており，興味津々の様子だ。」(ポジティブ感情)という感情情報付のコメントとして、評価情報を投稿する。

【0104】

現場側入力部31及び遠隔側入力部32がそれぞれ、これらの評価情報（タイムスタンプ、評価対象の被験者A、「ポジティブ」又は「ネガティブ」の2項目から選択された感情情報、コメントすなわち感情情報の選択に対するテキストによる説明、入力者情報）を受理し、評価記憶部33に格納する。また、インタビュー中に、全てのビデオカメラで撮影されたインタビュー映像は、全映像記憶部22に格納される。

【0105】

評価付与映像生成部41は、評価記憶部33と視聴映像記憶部24を参照して、評価情報に付与されたタイムスタンプに基づいて，評価付与映像を生成する。確認対象映像生成部42は、評価情報が付与された映像中のシーンごとに、被験者に対するモデレータ側と分析者側の評価情報を比較することで、確認対象としての見逃しシーン又は認識誤りシーンであるか、あるいは、確認対象のシーンには該当しないか、を判別する。

【0106】

上記コメント内容を例示したシーンについては，評価情報に付与された感情情報が異なっているため、分析者が認識を誤った可能性があると判断され、認識誤りシーンと判別することとなる。当該シーンsc2の評価情報におけるコメント付き映像の画像IM[sc2]の例を図９に示す。なお、図９における評価情報E1[sc2]及びE2[sc2]は、図５の例と対応している。

【0107】

また、以下に、見逃しシーンと判別する場合の例を紹介する。

【0108】

図１０は、モデレータ側の被験者Cに対する、「端末の手触り感を楽しんでおり、端末デザインは非常に気に入ってくれた様子だ。」(ポジティブ感情)というコメントのみが評価情報E1[sc4]として付与されたシーンsc4における画像IM[sc4]を示している。このシーンsc4は、被験者Cに対して、モデレータ側からのみのコメントが付与されているため、分析者側が見逃した可能性があると判断され、見逃しシーンと判別する。なお、図１０における評価情報E1[sc4]は、図５の例と対応している。

【0109】

最後に、確認対象映像記憶部43から検索した認識誤りシーンを、端末11及び／又は12に表示する処理の例について説明する。

【0110】

端末11,12から映像検索部51に検索対象として「認識誤りシーン」を指定する。すると、映像検索部51は確認対象映像記憶部43と全映像記憶部22から、全ての認識誤りシーンと、それらのシーンに対応する全ビデオカメラのシーンとをそれぞれ取得し、映像表示部52に送る。映像表示部52は受理したシーンを端末11,12に表示する。

【0111】

このとき、端末11,12での検索シーンの表示例を図１１に示す。当該図１１の表示例は図９の例と対応するものである。

【0112】

図１１にて、現在、端末11,12にはカメラBの映像が映像IM[sc2]として表示されており、右側にはさらに、映像IM100として示すように、カメラBとは別視点のカメラAとCの映像IM[A],IM[C]も表示されている。現在ではカメラBの映像IM[B]が選択された状態であることが強調表示EMとして示されているが、カメラAまたはCの映像IM[A]またはIM[C]を選択すると、映像IM[sc2]も対応するカメラの映像に切り替えることが可能である。

【0113】

以下、本発明における補足的事項を説明する。

【0114】

（１）図２又は図６に示した確認装置10は、当該構成されている各部を任意に分割して、それぞれサーバとして構成することで確認システムとして構成されていてもよい。例えば、図３のステップS1を担う配信・記録サーバと、ステップS2,S3を担う確認対象映像生成サーバと、ステップS4を担う検索・表示サーバとして構成されていてもよい。

【0115】

また同様に、現場L1及び遠隔地L2の任意の構成が確認装置10に含まれていてもよい。逆に、確認装置10の任意の構成が現場L1及び遠隔地L2に配置されていてもよい。

【0116】

（２）確認対象映像を生成後、検索要求を行う端末11,12は、必ずしも現場L1及び遠隔地L2に存在している必要はない。その他の任意の地点より検索要求を実施し、対応する映像を表示させることが可能である。

【0117】

（３）評価情報をテキストのみで構成し、「ポジティブ」又は「ネガティブ」等の所定の感情評価項目を含めずに構成する場合、確認対象映像生成部42では周知のテキスト解析技術により、前述の処理(b)すなわち各シーンが確認対象か否かを判定することができる。

【0118】

例えば、予め学習させたサポートベクトルマシンを適用して、テキストをカテゴリ分類し、カテゴリが共通であれば評価内容は同じであり、カテゴリが異なれば評価内容は異なるものとして判定することができる。当該評価内容の判定に従い、「ポジティブ」又は「ネガティブ」の2項目で判定した場合と全く同様に、「見逃しシーン」や「認識誤りシーン」の識別を行うようにしてもよい。

【0119】

（４）本発明は、コンピュータを確認装置10として機能させるプログラムとしても提供可能である。当該コンピュータは、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェアで構成することができ、当該プログラムを読み込んで実行するCPUが確認装置10の各部として機能することとなる。

【符号の説明】

【0120】

10…確認装置、21…映像取得部、22…全映像記憶部、23…映像配信部、24…視聴映像記憶部、25…注視対象取得部、26…カメラ選択部、31…現場側評価入力部、32…遠隔側評価入力部、33…評価記憶部、41…評価付与映像記憶部、42…確認対象映像生成部、43…確認対象映像記憶部、51…映像検索部、52…映像表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】