(58)【調査した分野】(Int.Cl.,DB名)
L画素分(Lは1以上の整数)の幅の表示単位を幅方向に配置する表示領域に含まれるS個(Sは2以上の整数)の前記表示単位に対して、M個(MはSより大きい整数)のデータを分割して割り当てる割当部と、
前記表示単位を、割り当てられたデータに含まれる特定種類のデータの個数に応じて異なる表示態様で表示する表示制御部と、を備え、
前記割当部は、表示の拡大の指示が受け付けられた場合に、S個の前記表示単位に対して、M’個(M’はMより小さい整数)のデータを分割して再度割り当て、
前記表示制御部は、前記表示単位を、再度割り当てられたデータに含まれる前記特定種類のデータの個数に応じて異なる表示態様で表示する、
表示制御装置。
前記表示制御部は、割り当てられたデータがすべて特定種類のデータである第1表示単位と、割り当てられたデータがすべて特定種類のデータでない第2表示単位と、前記第1表示単位および前記第2表示単位のいずれでもない第3表示単位と、を相互に異なる表示態様で表示する、
請求項1に記載の表示制御装置。
前記表示制御部は、割り当てられたデータがすべて特定種類のデータでない第1表示単位と、前記第1表示単位以外の第2表示単位と、を相互に異なる表示態様で表示する、
請求項1に記載の表示制御装置。
L画素分(Lは1以上の整数)の幅の表示単位を幅方向に配置する表示領域に含まれるS個(Sは2以上の整数)の前記表示単位に対して、M個(MはSより大きい整数)のデータを分割して割り当てる割当ステップと、
前記表示単位を、割り当てられたデータに含まれる特定種類のデータの個数に応じて異なる表示態様で表示する表示制御ステップと、を含み、
前記割当ステップは、表示の拡大の指示が受け付けられた場合に、S個の前記表示単位に対して、M’個(M’はMより小さい整数)のデータを分割して再度割り当て、
前記表示制御ステップは、前記表示単位を、再度割り当てられたデータに含まれる前記特定種類のデータの個数に応じて異なる表示態様で表示する、
表示制御方法。
【発明を実施するための形態】
【0008】
以下に添付図面を参照して、この発明にかかる表示制御装置の好適な実施形態を詳細に説明する。
【0009】
特定区間を他の区間と区別できるよう可視化する機能を備えたシークバーを、以下では区間表示付シークバーと呼ぶ。特定区間(以下、注目区間とも呼ぶ)は、ゴールシーンやコマーシャル等の特定種類のデータを含む区間である。特定区間を区別する方法としては、特定区間を他の区間と異なる色で着色する方法などがある。このようなシークバーは注目区間か否かの二値情報を提供している。
【0010】
また、映像をヘッドラインニュース、スポーツニュース、経済ニュース、および、コマーシャルなどの複数種類に分類し、ラベルテキストや着色などにより分類結果を区別する方法がある。このような区間表示付シークバーは各区間の種類を特定する多値情報を提供している。以降の説明において、二値情報を提供する区間表示付シークバーと多値情報を提供する区間表示付シークバーとを区別する場合、それぞれを二値区間表示付シークバーおよび多値区間表示付シークバーと呼ぶ。
【0011】
区間表示付シークバーは、例えば映像編集業務などにおいて素材となる必要区間を見つける作業を支援するのにも有効と考えられる。このような応用の場合、フレーム単位など細かい精度で区間範囲が確認できることが求められる。さらに、長さが数フレームしかないような極小区間が存在する場合や、極小区間から長大区間までなど大きなサイズ差がある区間が混在している場合もある。このような場合においても、ユーザが各区間の範囲を容易にかつ正確に把握できるような表示が求められる。
【0012】
しかし上記のように、フレーム単位など非常に細かい区間は、画面の解像度の限界を超えているため適切に表現できない。そこで、本実施形態の表示制御装置は、表示可能な解像度の限界を超えた細かい区間群が含まれる映像に対しても、各区間の範囲を直観的かつ簡便に確認することができるようにする。
【0013】
本実施形態の表示制御装置は、映像シーケンス内の特定区間を他の区間と区別できるよう可視化する機能を備えるシークバーに、以下の機能(F1)および(F2)を追加する。ただし以下の用語を用いる。
・スライス:シークバーの表示サイズを高さHドット×幅Wドットとする時、シークバーの表示領域を構成する高さHドット×幅1ドットの各サブ表示領域をスライスと呼ぶ。
・単位映像:各注目区間の開始位置および終了位置を定める最小単位の長さを持つ映像を単位映像と呼ぶ。例えば1フレームごとの映像、1ミリ秒ごとの映像などが単位映像である。
・表示映像:シークバーの表示領域に表示する映像を表示映像と呼ぶ。通常は映像シーケンス全体が表示映像となる。ズームアップ表示などが指示された場合は、映像のサブ区間が表示映像になりうる。
【0014】
なお、スライスの幅は1ドットである必要はなく、Lドット(Lは1以上の整数)であればよい。例えば1ドットでは視認しにくい場合には、スライスの幅(L)を2または3などの1より大きい値としてもよい。Lが過度に大きいと、映像コンテンツの構成や分布を適切に把握できない場合がある。従って、Lの値は、視認性などを考慮して適切な値を設定すればよい。
【0015】
スライスは、L画素分(Lは1以上の整数)の幅の表示単位に相当する。シークバーの表示領域は、S個(Sは2以上の整数)のスライスを幅方向に配置した表示領域に相当する。L=1の場合は、S=W/L=Wである。すなわち、シークバーの表示領域はW個のスライスを含む。
【0016】
(F1)スライスの塗り分け
・シークバーに含まれるスライス数を上回る数の単位映像群を持つ映像が与えられた時に、各スライスに単位映像群を動的に割り当てる。
・各スライスに割り当てられた単位映像群を元に、各スライスを以下の3種類のカテゴリに分類する。
C1:割り当てられた単位映像群がすべて注目区間に属する場合(全カバー)
C2:割り当てられた単位映像群がすべて注目区間に属さない場合(未カバー)
C3:C1およびC2以外(部分カバー)
・3種類のカテゴリを区別して閲覧できるよう各スライスを塗り分ける。
【0017】
(F2)ズームアップ表示
・F1によって表示されたシークバー、または、F1に続きF2(注:再帰的定義)を行うことで表示されたシークバーに対して、所定のユーザ操作が行われた場合に、当該ユーザ操作に基づいて、映像のサブ区間を表示映像として再度割り当てる。
・当該サブ区間の映像に対してF1と同様の処理を行う。
【0018】
なお、適用可能なデータは映像(または連続画像列)に限られるものではなく、任意のM個のデータの系列を用いることができる。例えば、DNA(DeoxyriboNucleic Acid)配列、楽譜、音声波形、センサなどから出力される信号列(センサデータ)、および、テキストなどのデータの表示する際にも適用できる。また、複数のテキスト間の差分を表示するテキスト差分表示ツールにおける差分区間表示などにも利用できる。特にDNA系列やセンサデータなど膨大なデータ要素を持つデータ系列の場合、ズームと密度による区間表示は所望の区間を探す手間を軽減するのに有効である。
【0019】
本実施形態は、表示領域の解像度の限界(最大画素数)を超えるデータ、すなわち、スライスの個数Sより大きいM個のデータを、S個のスライスに表示するときに有効である。なおF2の機能などによって表示するデータの個数MがS以下となった場合であっても、各スライスに適切にデータを割り当てて表示することができる。
【0020】
以下では、二値区間表示付シークバーに(F1)、(F2)を追加した例を主に説明する。多値区間表示付シークバーへの適用方法については後述する。
【0021】
図1は、本実施形態にかかる表示制御装置100の構成の一例を示すブロック図である。
図1に示すように、表示制御装置100は、取得部101と、抽出部102と、再生制御部103と、探索部104と、ズーム制御部105と、割当部111と、算出部112と、表示制御部113と、記憶部121と、を備えている。
【0022】
記憶部121は、表示制御装置100の各種処理で用いられる各種データを記憶する。例えば記憶部121は、表示制御部113がスライスの表示色を決定するときに参照する情報(例えば配色テーブル)を記憶する。
図2〜
図4は、配色テーブルのデータ構造の一例を示す図である。
図2、
図3、および、
図4は、それぞれ、2色、3色、および、6色で塗り分ける場合に用いる配色テーブルの例である。
図2〜
図4に示すように、配色テーブルは、密度条件と、色と、を対応づけたデータ構造となっている。密度条件に適合する密度に対応する色が、当該密度を有するスライスの色として決定される。密度、および、配色テーブルの詳細については後述する。
【0023】
なお、記憶部121は、HDD(Hard Disk Drive)、光ディスク、メモリカード、RAM(Random Access Memory)などの一般的に利用されているあらゆる記憶媒体により構成することができる。
【0024】
図1に戻り、取得部101は、映像を取得する。取得部101は、例えばインターネットなどのネットワークにより接続された外部装置から、再生する映像を取得する。取得された映像は、記憶部121に記憶されてもよい。取得部101による映像の取得方法はこれに限られず、どのような方法であってもよい。例えば取得部101は、DVD(Digital Versatile Disk)などの記録媒体に記録された映像を取得するように構成してもよい。
【0025】
抽出部102は、取得された映像から注目区間を抽出する。例えば抽出部102は、取得部101から受け取った映像から、予め定められた観点で注目すべき単位映像群を抽出し、注目区間情報として出力する。抽出アルゴリズムは応用によって異なる。ここでは例として、映像に対して顔検出を用いて注目区間情報を生成する方法を示す。
図5は、注目区間の抽出方法を説明するための図である。
【0026】
まず抽出部102は、映像全体に対して顔検出処理を適用する。抽出部102は、1以上の顔と、顔が検出された区間を示す映像の区間情報とを抽出する。
図5の矢印で示す映像の時間軸より上に示す矩形が、顔が検出された区間を示す。抽出部102は、これらの区間の和集合を取った区間、すなわち、重複部分がある複数の区間を1つに統合した区間を、注目区間として抽出する。抽出部102は、抽出した注目区間を示す情報(注目区間情報)を出力する。
【0027】
注目区間情報は、注目区間を特定できる情報であればどのような情報であってもよい。注目区間情報は、例えば、注目区間群をそれ以外と区別できるような二値の情報である。注目区間情報は、注目区間の開始時刻および終了時刻などを示す情報であってもよい。注目区間情報を用いれば、映像の中で人の顔が写っている区間だけを他と区別して表示することが可能となる。
【0028】
なお、事前に注目区間が抽出されている場合などであれば、抽出部102を備えないように構成してもよい。この場合は、事前に抽出された注目区間情報を用いて、後述の処理を実行すればよい。
【0029】
図1に戻り、再生制御部103は、取得された映像の再生などの機能を提供する。例えば再生制御部103は、表示された再生ボタン、停止ボタン、一時停止ボタン、早送りボタン、および、巻き戻しボタンなどに対する操作に応じて、映像の再生、再生の停止、再生の一時停止、早送り、および、巻き戻しなどの機能を提供する。
【0030】
探索部104は、ユーザ等により指定された再生位置を探索する。例えば探索部104は、ユーザによるシーク操作を受け取り、映像の現在再生位置を、指定された再生位置に変更する命令を表示制御部113に送る。シーク操作の例としては、シークバー上でのマウスクリックなどがある。なお表示制御部113は、この命令(シーク命令)を受け取り、シークバー上の現在位置表示を変更する。探索部104は、同様の命令を再生制御部103にも送る。なお再生制御部103は、この命令を受け取り、映像の再生位置を変更する。
【0031】
ズーム制御部105は、ユーザ等により指定された表示の拡大の指示に応じて、シークバーに表示する映像の区間を変更する処理(ズーム処理)を制御する。例えばズーム制御部105は、ユーザによるズーム操作を受け取り、シークバーのズーム尺度を変更する命令を表示制御部113に送る。なお表示制御部113は、この命令を受け取り、適切なズーム尺度でシークバーを再表示する。
【0032】
ズーム操作はどのような操作であってもよいが、例えば、シークバー上での以下のような操作がズーム操作として解釈される。ズーム操作の例と、そのズーム操作に対するズーム処理の例を以下に示す。
[ズーム操作]:[ズーム処理]
・ホイール上回転:ズームアップ操作(2倍)
・ダブルクリック:ズームアップ操作(2倍)
・ホイール下回転:ズームダウン操作(0.5倍)
・シフトキー+ダブルクリック:ズームダウン操作(0.5倍)
【0033】
上記のようなズーム操作が行われると、ズーム制御部105は、例えば以下の情報(ズーム情報)を生成する。
・ズーム変更率:2倍または0.5倍
・ズーム変更起点:シークバー上の位置(単位はフレーム等)
【0034】
ズーム制御部105は、生成したズーム情報を元に、以下の式(1)および式(2)を用いて、表示映像の新たな区間を算出する。
newStart=org−(org−oldStart)/zoomRate ・・・(1)
newEnd=org+(oldEnd−org)/zoomRate ・・・(2)
【0035】
上記式では、以下の定義を用いるとする。
oldStart:表示映像の操作前の開始位置
oldEnd:表示映像の操作前の終了位置
newStart:表示映像の操作後の開始位置
newEnd:表示映像の操作後の終了位置
org:ズーム変更起点
zoomRate:ズーム変更率
【0036】
ズーム制御部105は、以上の演算によって得られたnewStartおよびnewEndの値を表示制御部113へ送信する。
図6は、ズーム操作に基づく表示映像の変更例を示す図である。なおズームダウン操作において式(1)および式(2)を適用することにより、表示映像の開始位置が0%未満になった場合、または、終了位置が100%を超えた場合、ズーム制御部105は、区間が0%〜100%内に収まるよう適当に映像全体をスクロールさせてもよい。
【0037】
図1に戻り、割当部111は、シークバーの表示領域に含まれる各スライスに対して、当該スライスが可視化対象とする映像区間を割り当てる。割当部111は、例えば、M個のデータを分割してS個のスライスに割り当てる。M個のデータを分割してS個のスライスに割り当てるとは、例えば、M個のデータをS個のグループに分割し、グループをそれぞれスライスのいずれかに対応づけ、グループに含まれるデータを、対応づけられたスライスに割り当てることを意味する。
【0038】
ズーム操作が行われた場合、割当部111は、S個の各スライスに対して、M’個のデータをS個に分割して割り当てる。M’個のデータは、ズーム操作により変更された、映像の新たな区間に含まれる画像の個数である。ズームアップ操作の場合、M’は操作前より小さい値になる。ズームダウン操作の場合、M’は操作前より大きい値になる。
【0039】
割当部111は、例えば以下の(3)式および(4)式により、各スライスへ割り当てる映像区間を決定してもよい。
slice[x]=movie[floor(x×M/S),floor(x×M/S)+1)・・・(3)
slice[x]=movie[floor(x×M/S),floor((x+1)×M/S))・・・(4)
【0040】
ただし以下の定義を用いる。
S:シークバーのスライス数(=シークバーの幅(長さ)の画素数)
M:映像長(単位はフレーム等)
slice[x]:スライス番号xのスライス
movie[y、z):位置y以上z未満の映像区間(位置の単位はフレーム等)
floor(x):実数xを超えない最大の整数を返す関数
【0041】
シークバーのスライス数が映像長を上回るか同じ場合(S≧M)は、(3)式に基づいて各スライスに映像区間(フレーム等を単位とした単位映像の集合)が割り当てられる。そうでない場合(S<M)は、(4)式に基づいて各スライスに映像区間が割り当てられる。
【0042】
図7および
図8は、割り当てられる映像区間の具体例を示す図である。
図7はS=30、M=3の場合であり、(3)式が適用される。
図8はS=3、M=30の場合であり、(4)式が適用される。
【0043】
ズーム制御部105によってシークバーのズーム尺度が変更され、シークバー全体が映像のサブ区間を表示する状態となった場合、割当部111は、以下の(5)式および(6)式により、各スライスへ割り当てる映像区間を決定する。
slice[x]=
movie[floor(x×M'/S)+B,floor(x×M'/S)+1)+B・・・(5)
slice[x]=
movie[floor(x×M'/S)+B,floor((x+1)×M'/S))+B・・・(6)
【0044】
ただし以下の追加の定義を用いる。
M':バーが表示する映像(表示映像)の長さ
B:バーが表示する映像(表示映像)の開始位置(位置の単位はフレーム等)
【0045】
シークバーのスライス数が表示映像長を上回るか同じ場合(S≧M’)は、(5)式に基づいて各スライスに映像区間が割り当てられる。そうでない場合(S<M’)は、(6)式に基づいて各スライスに映像区間が割り当てられる。
【0046】
図9および
図10は、割り当てられる映像区間の具体例を示す図である。
図9はS=30、M'=3、B=2の場合であり、(5)式が適用される。
図10はS=3、M=30、B=20の場合であり、(6)式が適用される。
【0047】
割当部111は、各スライスへ割り当てられた映像区間を示す情報(割当情報)を出力する。上記の例では、映像区間の個数がほぼ均等になるように割り当てられる。なお、割当方法は上記に限られるものではなく、注目区間の個数などを参照して映像区間を割り当ててもよい。例えば、1つのスライスに表示する注目区間の個数が上限を超えないように映像区間の個数を調整してもよい。
【0048】
算出部112は、各スライスに割り当てられたデータのうち特定種類のデータの割合(以下、スライスの密度と呼ぶ)を算出する。例えば算出部112は、割当部111から出力された各スライスの割当情報と、抽出部102から出力された注目区間情報とを用いて、各スライスの密度を算出する。
【0049】
以下のように定義される記号を用いる。
slice[x]:x番目のスライスに割り当てられた単位映像集合
F:注目区間情報に含まれる注目区間の総数
focus[i]:注目区間情報に含まれるi番目の注目区間の単位映像集合
density[x]:x番目のスライスの密度
【0050】
x番目のスライスの密度算出処理を疑似プログラムで記述すると以下のようになる。この手順を{x|0≦x<S}についてそれぞれ行えばよい。
given x
for i =0 to F-1:
count=count+|slice[x]∩focus[i]|
end for
density[x]=count/|slice[x]|
【0051】
表示制御部113は、シークバーの表示を制御する。例えば表示制御部113は、スライスの密度(割り当てられたデータに含まれる特定種類のデータの個数)に応じて、各スライスを相互に異なる表示態様で表示する。
【0052】
以下に、配色テーブルを用いる場合のスライスの表示処理の例を説明する。表示制御部113は、各スライスの密度をキーとして、配色テーブルを検索し、密度に対応する色(表示態様の例)を決定する。表示制御部113は、決定した色でスライスを表示する。
【0053】
表示態様は、スライス内部の色に限られるものではない。例えば、スライスの密度に応じて、対応付けて表示するアイコンまたはテキストレベルを異ならせるように構成してもよい。スライスの高さ、スライスの枠線の色、スライスの枠線の太さ、または、スライスの枠線の種類を変更させてもよい。スライス内部のハッチング、色の透明度、および、点滅させて表示するときの点滅パターン(点滅間隔など)を変更させてもよい。
【0054】
表示制御部113は、さらに、現在の映像の再生位置を示す位置情報(カーソル、マーカーなど)をシークバー上に表示する機能を備えていてもよい。例えば再生制御部103によって映像の再生、早送り、および、巻き戻しが行われている場合、表示制御部113は、再生制御部103から刻々と送られてくる現在の再生位置の情報を元に、カーソルを再描画する。また探索部104から特定位置へのシーク命令が送られた場合、表示制御部113は、この特定位置を示すようカーソルを再描画する。ズーム制御部105によってバーのズーム尺度が変更された場合、表示制御部113は、ズーム処理の結果生じる画面上のずれに基づきカーソルを再描画する。
【0055】
表示制御部113は、さらに、シークバーの表示領域に割り当てられたデータの範囲を示す情報を表示する機能を備えていてもよい。例えば表示制御部113は、シークバーの左端下と右端下に、シークバー全体が示す映像(すなわち表示映像)の開始位置と終了位置を示す情報を表示する。開始位置と終了位置を示す情報は、映像全体を100%としたときのパーセンテージを示す情報などである。これにより、ユーザはズームの状態を把握できる。
【0056】
ズームアップ操作が行われていない場合は、開始位置は0%、終了位置は100%となる。ズーム制御部105によってズームアップ操作が行われると、開始位置および終了位置の値は、以下の制約条件の元で変化する。
0%≦開始位置の値<終了位置の値≦100%
【0057】
範囲の表示形式はパーセンテージ形式に限られるものではなく、映像開始からの時間などの形式で表示してもよい。
【0058】
図11は、シークバーの表示例を示す図である。
図11は、再生制御部103により表示される映像の表示画面1101と、表示制御部113により表示されるシークバー1102と、を含む例である。なお
図11では、スライスのハッチングを異ならせて表示する例を示している。カーソル1111は、スライスと区別しやすい表示態様(例えば黄色)の縦線により表示されている。
【0059】
再生制御部103は、映像の再生に従い再生位置を更新すると、現在の再生位置を示す情報を表示制御部113に送る。表示制御部113は、送られた情報を参照し、シークバー1102にカーソル1111を表示する。カーソル1111は、例えば映像の再生とともにシークバーの左から右に移動する。
【0060】
シークバー1102は、
図11に示すように横方向に長い形状に限られず、どのような形状であってもよい。例えば、シークバーを縦方向に長い形状とし、映像の再生が上から下方向(下から上方向でもよい)に進むように構成してもよい。シークバーを曲線状、円形状、および、ドーナツ形状などにしてもよい。
【0061】
なお、上記各部(取得部101、抽出部102、再生制御部103、探索部104、ズーム制御部105、割当部111、算出部112、および、表示制御部113)は、例えば、CPU(Central Processing Unit)などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、IC(Integrated Circuit)などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
【0062】
次に、このように構成された本実施形態にかかる表示制御装置100による表示制御処理について
図12を用いて説明する。
図12は、本実施形態における表示制御処理の一例を示すフローチャートである。表示制御処理は、例えば、映像全体の再生が開始される前、再生が開始されたとき、および、ズーム処理が行われ表示を更新するとき、などに実行される。
【0063】
まず、割当部111は、各スライスに対して映像区間を割り当てる(ステップS101)。ズーム操作が行われていない場合は、割当部111は、例えば上記(3)式または(4)式を用いて、スライスに割り当てる映像区間を決定する。ズーム操作が行われた場合は、割当部111は、例えば上記(5)式または(6)式を用いて、スライスに割り当てる映像区間を決定する。
【0064】
次に、算出部112は、各スライスに割り当てられた映像区間の情報(割当情報)、および、注目区間情報を用いて、各スライスの密度を算出する(ステップS102)。例えば算出部112は、上記の疑似プログラムで表された密度算出処理に従い、各スライスの密度(density[x])を算出する。密度算出処理の詳細は後述する。
【0065】
次に、表示制御部113は、算出された密度を参照し、スライスの表示態様を異ならせるように、シークバーを表示する(ステップS103)。シークバーの表示処理の詳細は後述する。
【0066】
次に、ステップS102の密度算出処理の詳細について説明する。
図13は、密度算出処理の流れの一例を示すフローチャートである。以下では、x番目のスライスを現スライスと呼ぶ場合がある。
【0067】
算出部112は、カウント変数を初期値(例えば0)に初期化する(ステップS201)。算出部112は、注目区間情報から、注目区間を順に1つ取り出す(ステップS202)。算出部112は、取り出された注目空間に含まれる単位映像集合と、現スライスに含まれる単位映像集合の積集合を算出する(ステップS203)。算出部112は、得られた積集合のサイズをカウント変数に加算する(ステップS204)。算出部112は、注目区間をすべて取り出したか否かを判断する(ステップS205)。すべて取り出していない場合(ステップS205:No)、算出部112は、ステップS202に戻り処理を繰り返す。すべて取り出した場合(ステップS205:Yes)、算出部112は、カウント変数の値を現スライスの単位映像集合のサイズで割った値を、密度として算出する(ステップS206)。
【0068】
次に、ステップS103のシークバーの表示処理の詳細について説明する。
図14は、シークバーの表示処理の流れの一例を示すフローチャートである。
【0069】
表示制御部113は、シークバーを構成するスライスを順に取り出す(ステップS301)。表示制御部113は、取り出したスライスの密度を取得する(ステップS302)。表示制御部113は、配色テーブルの密度条件列の中から、取得した密度と適合する行を検索する(ステップS303)。表示制御部113は、検索した行に書かれた色を用いて、当該スライスを着色する(ステップS304)。表示制御部113は、すべてのスライスを取り出したか否かを判断する(ステップS305)。取り出していない場合(ステップS305:No)、表示制御部113は、ステップS301に戻り処理を繰り返す。取り出した場合(ステップS305:Yes)、表示制御部113は、シークバーの表示処理を終了する。
【0070】
次に、配色テーブルの設計方法の具体例について説明する。
図2〜
図4で説明したように、配色テーブルは、密度条件と色とを対応づけて記憶している。密度条件は、各行に書かれた密度条件のOR(オア)を取った時、0〜1の間のすべての密度がカバーされるように設計される。
図2〜
図4は、この条件を満たしつつ、それぞれ2色、3色および6色に塗り分ける例となっている。
【0071】
図2は、注目区間か否かの二値を区別できるように着色する例である。
図2では、非注目区間(d=0)の色を黒とし、注目区間(0<d≦1)の色を赤とする例が示されている。この例では、各スライスに対応付けられている1つ以上の単位映像群のうち、いずれかの単位映像が注目区間に該当すれば赤が塗られる。従ってユーザは、各スライスの位置における注目区間の存在の有無を確認できる。
【0072】
赤に着色された区間に注目区間でない区間(非注目区間)が含まれていたとする。赤に着色された区間でズームアップ操作を適切な回数行うと、非注目区間は黒として表示される。これにより、ユーザは、注目区間の欠損を確認できる。ただし
図2の例では、赤の区間のうちいずれの部分をズームアップすれば、欠損を見つけられるかについての情報はユーザに与えられない。
【0073】
図3は、各スライスについて、注目区間で100%充当されているか(赤)、注目区間が一切含まれていないか(黒)、および、それ以外(注目区間と非注目区間の混在)か(中間的な色)、の3種類が区別できるように着色する例である。ユーザが注目区間を探している場合、ズーム操作をしなくても、黒で描画されている区間は「非該当」、赤で描画されている区間は「該当」と即断できる。
【0074】
中間的な色で描画される区間は、注目区間と非注目区間が混在していることを示している。従って、ユーザは、その区間での注目区間を明確化したい場合にのみズーム操作をすればよい。このように3色で塗り分ける方式では、ユーザのズーム操作負担を軽減可能となる。
【0075】
図15は、3色で塗り分ける方式の場合のズーム操作の例を示す図である。シークバー1501は、ズーム操作前のシークバーの例である。シークバー1501では、区間1502および区間1505は非注目区間であり、区間1503は注目区間であり、区間1504はいずれか不明であるものとする。ユーザがこの区間1504上にマウスカーソル(矢印)を合わせてズームアップ操作を行うと、マウスカーソル位置を中心とする一定範囲の区間が新たな表示映像として拡大表示される。
【0076】
シークバー1511は、このようなズームアップ操作後のシークバーの例を示す。実線および点線は、ズームアップ前後の区間の対応を示す。ズームアップ操作により、マウスカーソルを含む区間1513は注目区間と非注目区間が混在し、隣接する区間1512および区間1514は、注目区間で充当される区間であることが判明する。ユーザが区間1513上でさらにズームアップ操作を行うと、マウスカーソル位置を中心とする一定範囲の区間が新たな表示映像として拡大表示される。
【0077】
シークバー1521は、このズームアップ操作後のシークバーの例を示す。シークバー1521は、ズームアップ操作により、すべての区間が注目区間のみ、または、非注目区間のみとなった例を示す。このように、マウスカーソルの位置を固定してズーム操作を繰り返せば、この位置が注目区間であるか、非注目区間であるかを判別することが可能となる。
【0078】
配色テーブルの設計方法の具体例についてさらに説明する。
図4は、各スライスについて、注目区間で100%充当されているか(赤)、注目区間が一切含まれていないか(黒)の塗り分けに加えて、それ以外(注目区間と非注目区間の混在)については、密度の大きさに応じた多段階の塗り分けを行う例である。この場合は、
図3と同様にズームアップ操作の要否を即断可能となるとともに、中間的な色の度合いに応じて、注目区間が得られることがどの程度期待できるかが予測可能となる。これにより、
図3の設計と比べ、さらにユーザのズーム操作負担を軽減可能となる。
【0079】
なお
図4での着色設計の工夫として、密度0と密度1については中間的な色との色差を大きくしている。既に述べたように密度0(非注目区間)と密度1(注目区間)はズーム操作の要否を判断手がかりとしての特別な意味を持つ。このため、それらが目立つ画面表現にすることで、ユーザの利便性を向上させることが可能となる。
【0080】
以上の例では、色成分Rのみを用いたが、RGBすべての色成分を用いた色の割り当てを行ってもよい。RGB色空間の代わりにHSVなどの別の色空間を用いてもよい。また密度と正の相関を持つようにRの値を与えたが、このようにRの値を割り当てることは必須ではない。
【0081】
上記のようなズームアップ操作を可能とすると、ズームアップされた状態での映像を再生、早送り、および、巻き戻しなどに応じて、映像の再生位置を示すカーソルが表示範囲から逸脱する可能性が生じる。カーソルが表示範囲から逸脱することを回避するために、表示映像やカーソルを動的にスクロールさせる機能(自動スクロール)を備えてもよい。
【0082】
例えば表示制御部113は、映像の再生などに応じてカーソルが再描画され、シークバーの右端付近または左端付近にカーソルが配置された場合に、表示映像の区間を変更して再描画してカーソル位置を中央近くに戻す。
【0083】
図16は、自動スクロールの具体例を説明するための図である。表示領域の内部に、コア表示範囲が割り当てられる。コア表示範囲は、カーソルの表示が許される表示範囲(許容領域)を意味する。再生制御部103による再生等により再生位置が変更され、カーソルの画面上の表示位置がコア表示範囲を逸脱した場合、表示制御部113は、カーソルをコア表示範囲内に移動させる。それに合わせて表示映像全体も左に移動される。
【0084】
例えば、割当部111は、カーソルがコア表示範囲内に含まれるようにデータを再度割り当てる。表示制御部113は、再度割り当てられた後のデータの再生位置を示すカーソルをシークバーに表示する。
図16の例では、コア表示範囲を逸脱したカーソル1601が矢印1611方向に移動され、カーソル1602が表示される。表示映像の範囲は、20%〜50%から、25%〜55%に変更される。
【0085】
図17は、自動スクロール処理の一例を示すフローチャートである。
【0086】
表示制御部113は、カーソルの表示位置が、コア表示範囲を右に逸脱したか否かを判断する(ステップS401)。逸脱した場合(ステップS401:Yes)、表示制御部113は、カーソルの表示位置とコア表示範囲の右端との間のオフセットを算出する(ステップS402)。表示制御部113は、カーソルをコア表示範囲の右端に設定する(ステップS403)。
【0087】
割当部111は、表示映像の区間がステップS402で算出されたオフセットの分だけ左へ移動するように、各スライスに対して割り当てる映像区間を移動させる。表示制御部113は、移動後のスライスを再表示する(ステップS404)。表示制御部113は、シークバーの左端下および右端下に表示されている表示範囲の数字を更新する(ステップS405)。
【0088】
ステップS401で逸脱していないと判断された場合(ステップS401:No)、表示制御部113は、さらに、カーソルの画面表示位置が、コア表示範囲を左に逸脱したか否かを判断する(ステップS406)。逸脱した場合(ステップS406:Yes)、表示制御部113は、カーソルの表示位置とコア表示範囲の左端との間のオフセットを算出する(ステップS407)。表示制御部113は、カーソルをコア表示範囲の左端に設定する(ステップS408)。
【0089】
割当部111は、表示映像の区間がステップS408で算出されたオフセットの分だけ右へ移動するように、各スライスに対して割り当てる映像区間を移動させる。表示制御部113は、移動後のスライスを再表示する(ステップS409)。表示制御部113は、シークバーの左端下および右端下に表示されている表示範囲の数字を更新する(ステップS410)。
【0090】
ステップS410の後、または、ステップS406で逸脱していないと判断された場合(ステップS406:No)、自動スクロール処理を終了する。
【0091】
自動スクロールとともに、または、自動スクロールの代わりに、ユーザの操作に応じて、表示映像やカーソルをスクロールさせる機能(手動スクロール)を備えてもよい。手動スクロール機能は、ズームアップされた状態のシークバーに対して、ユーザが手動で表示映像の区間のスクロールを指示した場合に、指示に応じて区間をスクロールさせる機能である。
【0092】
ユーザがスクロールを指示する操作(スクロール操作)は任意であるが、例えば、ドラッグ&ドロップ操作などをスクロール操作とすることができる。
図18は、手動スクロール機能を説明するための図である。
【0093】
ユーザは、シークバーの任意の位置でドラッグ操作(ドラッグ開始操作)を行うことができる。マウスカーソル1801の位置でドラッグ操作が開始されたとする。ユーザは、さらに所望の移動量でマウスカーソルを移動させて、ドロップ操作(ドラッグ終了操作)を行うことができる。マウスカーソル1802の位置でドロップ操作が行われたとする。
【0094】
割当部111は、データの移動の指示が受け付けられた場合に、指示に応じて移動させたデータを再度割り当てる。例えば割当部111は、ドラッグ&ドロップ操作の移動量に合わせて、各スライスに対して割り当てる映像区間を移動させる。表示制御部113は、再割当後の映像を再表示するとともに、移動量に合わせて再生位置を示すカーソルをスクロールさせる。また、表示制御部113は、シークバーの左端下および右端下に表示されている表示範囲の数字を更新する。
【0095】
現在のカーソル位置からかなり離れた区間での注目区間の分布を確認したい場合、手動スクロール機能がないと、一旦ズームダウン操作を行った上で、確認したい区間付近でズームアップ操作するという非常に煩雑な操作が必要となる。手動スクロール機能により、ズーム尺度は維持したまま、ドラッグ&ドロップ操作だけで任意の区間を閲覧できるようになる。
【0096】
(変形例1)
次に、多値区間表示付シークバーへ適用する例について説明する。多値区間表示付シークバーは、複数の種類の注目区間を、種類ごとに区別して可視化する機能を備えている。多値区間表示付シークバーの場合は、以下のようにしてスライスを区別して表示することができる。
(1)残りの色空間で種別を示す方法
上記実施形態ではRGBのうちRを用いて密度に応じて異なる表示態様でスライスを可視化した。本変形例では、RGB色空間の残りのパラメタGおよびBの組み合わせにより、注目区間の種類に応じて異なる色を割り当てる。例えば、T1、T2およびT3の3種類の注目区間があるとする。この場合、T1の密度について
図2のような配色テーブルを適用し、T2の密度について
図2のRの代わりにGの値を変更した配色テーブルを適用し、T3の密度について
図2のRの代わりにBの値を変更した配色テーブルを適用してもよい。これらの配色テーブルを1つに統合した配色テーブルを用いてもよい。
(2)テキストラベルなどの補助情報を用いて種別を示す方法
各スライスの近辺などに、注目区間の種類を示すテキストラベルやアイコンなどを表示させる。
【0097】
(変形例2)
検索キーワードなどに基づき映像を検索し、検索結果をスコアなどに基づき並べ替えて表示する検索システムに対して上記実施形態を適用することができる。
図19は、このような検索システムに適用した場合の例を説明する図である。
【0098】
例えば検索キーワードを入力して検索を実行することにより、検索キーワードに関連する上位2件の映像が
図19に示すように表示される。再生制御部103は、2件の検索結果に対応する映像1901、1902を表示する。表示制御部113は、映像1901、1902に対応するシークバー1911、1912をそれぞれ表示する。
【0099】
表示制御部113に対しては、検索キーワードと関連する区間が注目区間として与えられる。例えば、検索キーワードが人名であれば、顔認識の結果得られる人物が、人名が示す人物と一致する区間が注目区間として与えられる。このように、注目区間のデータ(特定種類のデータ)は、例えば映像のうちキーワードに関連する画像を含む画像である。抽出部102がこのように注目区間を抽出してもよいし、事前に抽出された注目区間が入力されてもよい。
【0100】
割当部111、算出部112、および、表示制御部113は、検索結果の映像、および、注目区間の情報を基に、
図12などと同様の処理を行い、映像のうち注目区間を含む区間とその他の区間を区別できるように、シークバー(シークバー1911、1912)を表示する。この後のズーム操作は上記実施形態と同様に実現できる。
【0101】
これによりユーザは、検索結果画面の閲覧およびズーム操作だけで以下のように情報を容易に把握でき、検索作業の負荷を大きく低減可能となる。
・各検索結果アイテムが、自分が興味のある区間をどの程度含んでいるかが分かる。これにより、例えばその映像は開く価値があるかないか等を、映像を開かなくてもある程度判断できる。
・各検索結果アイテムが、自分が興味のある区間をどのような分布で含んでいるかが分かる。これにより例えば映像前半だけに登場しているか等の映像構成を、映像を開かなくても確認できる。
【0102】
以上説明したとおり、本実施形態によれば、表示の解像度を超えた粒度を持つ情報であっても、情報の各区間の分布を容易に把握可能となる。また情報の表示尺度を調整可能とすることで、各区間をさらに簡便に確認可能となる。
【0103】
次に、上記実施形態にかかる表示制御装置のハードウェア構成について
図20を用いて説明する。
図20は、実施形態にかかる表示制御装置のハードウェア構成例を示す説明図である。
【0104】
実施形態にかかる表示制御装置は、CPU(Central Processing Unit)51などの制御装置と、ROM(Read Only Memory)52やRAM(Random Access Memory)53などの記憶装置と、ネットワークに接続して通信を行う通信I/F54と、各部を接続するバス61を備えている。
【0105】
実施形態にかかる表示制御装置で実行されるプログラムは、ROM52等に予め組み込まれて提供される。
【0106】
実施形態にかかる表示制御装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD−R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
【0107】
さらに、実施形態にかかる表示制御装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態にかかる表示制御装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【0108】
実施形態にかかる表示制御装置で実行されるプログラムは、コンピュータを上述した表示制御装置の各部として機能させうる。このコンピュータは、CPU51がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
【0109】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。