IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ミラティブの特許一覧

<>
  • 特許-映像配信装置及び映像配信プログラム 図1
  • 特許-映像配信装置及び映像配信プログラム 図2
  • 特許-映像配信装置及び映像配信プログラム 図3
  • 特許-映像配信装置及び映像配信プログラム 図4
  • 特許-映像配信装置及び映像配信プログラム 図5
  • 特許-映像配信装置及び映像配信プログラム 図6
  • 特許-映像配信装置及び映像配信プログラム 図7
  • 特許-映像配信装置及び映像配信プログラム 図8
  • 特許-映像配信装置及び映像配信プログラム 図9
  • 特許-映像配信装置及び映像配信プログラム 図10
  • 特許-映像配信装置及び映像配信プログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-12
(45)【発行日】2025-02-20
(54)【発明の名称】映像配信装置及び映像配信プログラム
(51)【国際特許分類】
   H04L 67/00 20220101AFI20250213BHJP
   H04N 21/2343 20110101ALI20250213BHJP
   H04N 21/24 20110101ALI20250213BHJP
【FI】
H04L67/00
H04N21/2343
H04N21/24
【請求項の数】 8
(21)【出願番号】P 2020143454
(22)【出願日】2020-08-27
(65)【公開番号】P2022038790
(43)【公開日】2022-03-10
【審査請求日】2023-06-05
【前置審査】
(73)【特許権者】
【識別番号】518260552
【氏名又は名称】株式会社ミラティブ
(74)【代理人】
【識別番号】110001106
【氏名又は名称】弁理士法人キュリーズ
(72)【発明者】
【氏名】漢 祐介
【審査官】小林 義晴
(56)【参考文献】
【文献】米国特許出願公開第2020/0077150(US,A1)
【文献】特開2019-097888(JP,A)
【文献】特開2014-103479(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04L 67/00
H04N 21/2343
H04N 21/24
(57)【特許請求の範囲】
【請求項1】
配信ユーザ端末のディスプレイに表示される映像をリアルタイムで視聴ユーザ端末に配信する映像配信装置であって、
前記映像に関する映像情報を取得する映像情報取得部と、
前記映像情報取得部により取得された前記映像情報に基づいて前記映像を解析する映像解析部と、
前記映像解析部により前記映像が解析された解析結果に基づいて、前記映像に含まれる通知画像に関する通知情報を検知する通知情報検知部と、
前記通知情報検知部により前記通知情報が検知された場合に、前記映像において前記通知画像の判読性を低下させるように前記通知情報を加工する通知情報加工部と、を備え、
前記映像解析部は、前記通知情報検知部により前記通知情報が検知された場合に、前記通知情報の持続時間に応じて予め設定された期間にわたり前記映像を解析しない、映像配信装置。
【請求項2】
前記通知情報は、前記通知画像の画像形状に関する画像形状情報を含み、
前記通知情報検知部は、前記画像形状情報に基づいて前記通知情報を検知する、請求項に記載の映像配信装置。
【請求項3】
前記画像形状情報は、前記通知画像における予め設定された3か所の形状に関する情報である、請求項に記載の映像配信装置。
【請求項4】
前記通知情報は、前記通知画像の画像色に関する画像色情報を含み、
前記通知情報検知部は、前記画像色情報に基づいて前記通知情報を検知する、請求項1~のいずれか一項に記載の映像配信装置。
【請求項5】
前記通知情報は、前記通知画像に含まれるアイコンに関するアイコン情報を含み、
前記通知情報検知部は、前記アイコン情報に基づいて前記通知情報を検知する、請求項1~のいずれか一項に記載の映像配信装置。
【請求項6】
前記通知情報加工部により前記通知情報を加工すべき前記通知画像の内容である加工対象に関する情報を、前記配信ユーザ端末から受信する加工対象受信部と、
前記加工対象受信部により前記配信ユーザ端末から受信された前記加工対象に関する情報に基づいて前記加工対象を設定する加工対象設定部と、を備える、請求項1~のいずれか一項に記載の映像配信装置。
【請求項7】
配信ユーザ端末のディスプレイに表示される映像をリアルタイムで視聴ユーザ端末に配信する映像配信装置であって、
前記配信ユーザ端末は、当該配信ユーザ端末の前記ディスプレイにおける前記映像の表示方向を複数の方向から選択可能であり、
前記配信ユーザ端末の前記ディスプレイにおいて選択されている前記映像の前記表示方向を検知する表示方向検知部と、
前記映像に含まれる通知画像に関する通知情報を検知する通知情報検知部と、
前記通知情報検知部により前記通知情報が検知された場合に、前記映像において前記通知画像の判読性を低下させるように前記通知情報を加工する通知情報加工部と、を備え、
前記通知情報検知部は、前記表示方向検知部により検知された前記表示方向に応じた検知パターンにより前記通知情報を検知する、映像配信装置。
【請求項8】
前記映像を前記視聴ユーザ端末に配信する映像情報配信部を備える、請求項1~のいずれか一項に記載の映像配信装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、映像配信装置及び映像配信プログラムに関する。
【背景技術】
【0002】
配信者側のユーザ端末のディスプレイに表示されている映像をネットワークを介して配信し、当該映像を視聴者側のユーザ端末のディスプレイにリアルタイムで表示させる技術が知られている。例えば特許文献1には、配信者側のユーザ端末のディスプレイにおいて映像に重畳表示されている操作ボタン等の情報も併せて、ネットワークを介して配信する装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2015-41822号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したような技術では、配信者側のユーザ端末のディスプレイに表示されている映像が視聴者側のユーザ端末にそのまま配信される。このため、配信者が他人に公開することを意図していない内容であっても、その内容が映像に含まれていれば視聴者に公開されることとなる。特に、例えばPUSH通知等の通知画面は、配信者側のユーザ端末のディスプレイに配信者の予期しないタイミングで表示される場合がある。このため、このような通知画面は配信者の意に反して視聴者に視認されやすく、その結果、配信者に関する情報が視聴者に公開されてしまうおそれがある。
【0005】
そこで、本開示に係る映像配信装置及び映像配信プログラムは、配信者に関する情報が意に反して公開されることを抑制することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様に係る映像配信装置(100)は、配信ユーザ端末(200)のディスプレイ(3)に表示される映像(V1)をリアルタイムで視聴ユーザ端末(300)に配信する映像配信装置(100)であって、映像(V1)に含まれる通知画像(NP1)に関する通知情報を検知する通知情報検知部(12)と、通知情報検知部(12)により通知情報が検知された場合に、映像(V1)において通知画像(NP1)の判読性を低下させるように通知情報を加工する通知情報加工部(13)と、を備えている。
【0007】
本開示の一態様に係る映像配信プログラムは、配信ユーザ端末(200)のディスプレイ(3)に表示される映像(V1)をリアルタイムで視聴ユーザ端末(300)に配信する映像配信装置(100)のコンピュータを、映像(V1)に含まれる通知画像(NP1)に関する通知情報を検知する通知情報検知部(12)と、通知情報検知部(12)により通知情報が検知された場合に、映像(V1)において通知画像(NP1)の判読性を低下させるように通知情報を加工する通知情報加工部(13)と、として機能させる。
【0008】
この映像配信装置(100)又は映像配信プログラムによれば、配信ユーザ端末(200)のディスプレイ(3)に表示される映像(V1)に通知画像(NP1)が含まれる場合であっても、映像(V1)がリアルタイムで視聴ユーザ端末(300)に配信される際に当該通知画像(NP1)の判読性を低下させることができるため、通知画像(NP1)の内容が視聴者に知得されにくくなる。したがって、この映像配信装置(100)又は映像配信プログラムは、配信者に関する情報が意に反して公開されることを抑制することができる。
【0009】
本開示の一態様に係る映像配信装置(100)は、配信ユーザ端末(200)及び視聴ユーザ端末(300)のそれぞれと通信可能なサーバを含んで構成されていてもよい。これによれば、配信ユーザ端末(200)又は視聴ユーザ端末(300)により種々の処理の全てを実行する場合と比較して、配信ユーザ端末(200)又は視聴ユーザ端末(300)の処理負荷を低減させることができる。
【0010】
本開示の一態様に係る映像配信装置(100)は、映像(V1)に関する映像情報を取得する映像情報取得部(10)を備え、通知情報検知部(12)は、映像情報取得部(10)により取得された映像情報に基づいて通知情報を検知してもよい。これによれば、本開示に係る映像配信装置(100)の作用及び効果を好適に奏することができる。
【0011】
本開示の一態様に係る映像配信装置(100)は、映像情報取得部(10)により取得された映像情報に基づいて映像(V1)を解析する映像解析部(11)を備え、通知情報検知部(12)は、映像解析部(11)により映像(V1)が解析された解析結果に基づいて通知情報を検知してもよい。これによれば、別個の装置等により解析が行われるのではなく、本装置が映像(V1)を解析することで通知情報を検知する。このため、別個の装置等の性能に左右されずに、映像(V1)の解析及び通知情報の検知を行うことができる。
【0012】
本開示の一態様に係る映像配信装置(100)では、映像解析部(11)は、映像(V1)のうちの一部を解析してもよい。これによれば、映像(V1)の全部を解析する場合と比較して、映像配信装置(100)の処理負荷を低減させることができる。
【0013】
本開示の一態様に係る映像配信装置(100)では、映像解析部(11)は、互いに時間間隔を空けた複数のタイミングにおいて映像(V1)を解析してもよい。通知画像(NP1)は配信ユーザ端末(200)にある程度の時間にわたって表示され続けるため、互いに時間間隔を空けない連続したタイミングにおいて映像(V1)を解析しても、それらの解析結果は互いに同じである可能性が高い。したがって、互いに時間間隔を空けない連続したタイミングにおいて映像(V1)を解析した場合と比較して、互いに時間間隔を空けた複数のタイミングにおいて映像(V1)を解析しても解析精度は低下しにくい。一方で、互いに時間間隔を空けた複数のタイミングにおいて映像(V1)を解析することにより、映像(V1)の全部を解析する必要がなくなるため、映像配信装置(100)の処理負荷を低減させることができる。よって、映像配信装置(100)の処理負荷を低減させつ、解析精度の低下を抑制することができる。
【0014】
本開示の一態様に係る映像配信装置(100)では、映像解析部(11)は、通知情報検知部(12)により通知情報が検知された場合に、予め設定された期間にわたり映像(V1)を解析しなくてもよい。通知画像(NP1)は配信ユーザ端末(200)にある程度の時間にわたって表示され続けるため、通知情報が検知された直後も引き続き通知情報が検知され続けている可能性が高い。したがって、通知情報が検知された直後は映像(V1)の解析を停止することにより、映像配信装置(100)の処理負荷を低減させることができる。
【0015】
本開示の一態様に係る映像配信装置(100)では、通知情報は、通知画像(NP1)の画像形状に関する画像形状情報を含み、通知情報検知部(12)は、画像形状情報に基づいて通知情報を検知してもよい。すなわち、この装置は、映像(V1)において通知画像(NP1)に特徴的な画像形状が検出された場合に通知情報を検知する。これによれば、本開示に係る映像配信装置(100)の作用及び効果を好適に奏することができる。
【0016】
本開示の一態様に係る映像配信装置(100)では、画像形状情報は、通知画像(NP1)における予め設定された3か所の形状に関する情報であってもよい。これによれば、画像形状情報に基づいて通知情報を検知する場合に、精度良く通知情報を検知可能であり、且つ、映像配信装置(100)の処理負荷を低減させることができる。
【0017】
本開示の一態様に係る映像配信装置(100)では、通知情報は、通知画像(NP1)の画像色に関する画像色情報を含み、通知情報検知部(12)は、画像色情報に基づいて通知情報を検知してもよい。すなわち、通知画像(NP1)をディスプレイ(3)に表示させるアプリケーションごとに画像色が決められている場合があり、この装置は、映像(V1)において通知画像(NP1)に当該画像色が検出された場合に通知情報を検知する。これによれば、本開示に係る映像配信装置(100)の作用及び効果を好適に奏することができる。
【0018】
本開示の一態様に係る映像配信装置(100)では、通知情報は、通知画像(NP1)に含まれるアイコン(F4)に関するアイコン情報を含み、通知情報検知部(12)は、アイコン情報に基づいて通知情報を検知してもよい。すなわち、通知画像(NP1)をディスプレイ(3)に表示させるアプリケーションごとにアイコン(F4)が決められている場合があり、この装置は、映像(V1)において通知画像(NP1)に当該アイコン(F4)が検出された場合に通知情報を検知する。これによれば、本開示に係る映像配信装置(100)の作用及び効果を好適に奏することができる。
【0019】
本開示の一態様に係る映像配信装置(100)では、通知情報加工部(13)により通知情報を加工すべき通知画像(NP1)の内容である加工対象に関する情報を、配信ユーザ端末(200)から受信する加工対象受信部(15)と、加工対象受信部(15)により配信ユーザ端末(200)から受信された加工対象に関する情報に基づいて加工対象を設定する加工対象設定部(16)と、を備えていてもよい。これによれば、配信者の希望に応じて、視聴者に公開しない通知画像(NP1)の内容及び公開する通知画像(NP1)の内容をそれぞれ指定することが可能となる。
【0020】
本開示の一態様に係る映像配信装置(100)では、配信ユーザ端末(200)は、当該配信ユーザ端末(200)のディスプレイ(3)における映像(V1)の表示方向を複数の方向から選択可能であり、配信ユーザ端末(200)のディスプレイ(3)において選択されている映像(V1)の表示方向を検知する表示方向検知部(17)を備え、通知情報検知部(12)は、表示方向検知部(17)により検出された表示方向に応じた検知パターンにより通知情報を検知してもよい。一般に、ディスプレイ(3)において選択されている映像(V1)の表示方向によって、映像(V1)に表示される通知画像(NP1)の位置・大きさ・形状といった態様が異なる場合がある。したがって、映像(V1)の表示方向に応じて最適化された検知パターンにより通知情報を検知することが効率的である。したがって、これによれば、通知情報を効率良く検知することができる。
【0021】
本開示の一態様に係る映像配信装置(100)は、映像(V2)を視聴ユーザ端末(300)に配信する映像情報配信部(14)を備えていてもよい。これによれば、通知画像(NP1)の判読性を低下させた映像(V1)を視聴ユーザ端末(300)に配信することができるため、本開示に係る映像配信装置(100)の作用及び効果を好適に奏することができる。
【0022】
なお、上記の括弧内の符号は、後述する実施形態における構成要素の符号を本開示の一例として示したものであって、本開示を実施形態の態様に限定するものではない。
【発明の効果】
【0023】
このように、本開示に係る映像配信装置及び映像配信プログラムは、配信者に関する情報が意に反して公開されることを抑制することができる。
【図面の簡単な説明】
【0024】
図1図1は、本実施形態に係る映像配信装置を示すブロック図である。
図2図2は、縦持ちされたスマートフォンにおいて、コンテンツ画像のみが表示された映像が配信されている状態を示す図である。
図3図3は、縦持ちされたスマートフォンにおいて、コンテンツ画像及び通知画像が表示された映像が配信されている状態を示す図である。
図4図4は、縦持ちされたスマートフォンにおいて、コンテンツ画像及び判読性を低下させた通知画像が表示された映像が配信されている状態を示す図である。
図5図5は、横持ちされたスマートフォンにおいて、コンテンツ画像のみが表示された映像が配信されている状態を示す図である。
図6図6は、横持ちされたスマートフォンにおいて、コンテンツ画像及び通知画像が表示された映像が配信されている状態を示す図である。
図7図7は、横持ちされたスマートフォンにおいて、コンテンツ画像及び判読性を低下させた通知画像が表示された映像が配信されている状態を示す図である。
図8図8は、加工対象設定処理の流れを示すシーケンス図である。
図9図9は、通知画像が表示されていない映像の配信処理の流れを示すシーケンス図である。
図10図10は、通知画像が表示されている映像の配信処理の流れを示すシーケンス図である。
図11図11は、検知パターン設定処理の流れを示すシーケンス図である。
【発明を実施するための形態】
【0025】
以下、図面を参照して例示的な実施形態について説明する。なお、各図における同一又は相当部分には同一符号を付し、重複する説明を省略する。
【0026】
[映像配信装置]
図1は、本実施形態に係る映像配信装置100を示すブロック図である。図2は、縦持ちされたスマートフォンにおいて、コンテンツ画像のみが表示された映像が配信されている状態を示す図である。図3は、縦持ちされたスマートフォンにおいて、コンテンツ画像及び通知画像が表示された映像が配信されている状態を示す図である。図4は、縦持ちされたスマートフォンにおいて、コンテンツ画像及び判読性を低下させた通知画像が表示された映像が配信されている状態を示す図である。図1図4に示されるように、映像配信装置100は、配信ユーザ端末200のディスプレイ3に表示される映像V1を、当該映像V1に対して映像V1に含まれる通知画像NP1の判読性を低下させる処理を施した上で、映像V2として視聴ユーザ端末300にリアルタイムで配信する装置である。配信ユーザ端末200を用いて映像V1を配信するユーザを配信者と呼び、配信された映像V2を視聴ユーザ端末300を用いて視聴するユーザを視聴者と呼ぶ。
【0027】
ここで、「配信ユーザ端末」とは、配信者側のユーザ端末である。配信ユーザ端末は、少なくともディスプレイ3を備え、別の機器との間で通信(例えば無線通信)可能な機器であればよく、例えばスマートフォン、タブレット、ノートパソコン、デスクトップパソコン等であってもよい。ここでは、配信ユーザ端末200としてスマートフォンが例示されている。同様に、「視聴ユーザ端末」とは、視聴者側のユーザ端末である。視聴ユーザ端末は、少なくともディスプレイ7を備え、別の機器との間で通信(例えば無線通信)可能な機器であればよく、例えばスマートフォン、タブレット、ノートパソコン、デスクトップパソコン等であってもよい。ここでは、視聴ユーザ端末300としてスマートフォンが例示されている。
【0028】
また、「映像」とは、配信ユーザ端末200のディスプレイ3又は視聴ユーザ端末300のディスプレイ7に表示される動画又は静止画である。配信ユーザ端末200のディスプレイ3に表示される映像を映像V1と呼び、視聴ユーザ端末300のディスプレイ7に表示される映像を映像V2と呼ぶ。ここでは、映像V1及び映像V2として動画が例示されている。
【0029】
映像は、少なくともコンテンツ画像を含んでいる。「コンテンツ画像」とは、配信ユーザ端末200において実行されているアプリケーションの表示画面であり、ここでは野球ゲームのアプリケーションの表示画面が例示されている。また、映像は、通知画像を含む場合がある。「通知画像」とは、配信ユーザ端末200に対して外部から送信された通知を配信ユーザ端末200のディスプレイ3に表示させた画像であり、例えば配信ユーザ端末200が受信したPUSH通知の画像であってもよい。通知画像は、配信者が意図しないタイミングで配信ユーザ端末200のディスプレイ3に表示されるものであってもよい。通知画像は、配信ユーザ端末200のディスプレイ3において予め設定された1又は複数の位置に表示されてもよい。
【0030】
以下の説明では、配信ユーザ端末200のディスプレイ3に表示される映像である映像V1に含まれているコンテンツ画像をコンテンツ画像CP1と呼び、映像V1に含まれている通知画像を通知画像NP1と呼ぶ。同様に、視聴ユーザ端末300のディスプレイ7に表示される映像である映像V2に含まれているコンテンツ画像をコンテンツ画像CP2と呼び、映像V2に含まれている通知画像を通知画像NP2と呼ぶ。映像V2は映像V1が視聴ユーザ端末300に配信されたものであるため、コンテンツ画像CP2はコンテンツ画像CP1と基本的には同一の内容である。また、通知画像NP2は通知画像NP2と基本的には同一の内容であるが、後述するように通知画像NP2は通知画像NP1の判読性を低下させたものである場合がある。
【0031】
映像V1、コンテンツ画像CP1、及び通知画像NP1、並びに、映像V2、コンテンツ画像CP2、及び通知画像NP2のそれぞれは、配信ユーザ端末200のディスプレイ3又は視聴ユーザ端末300のディスプレイ7に表示される画面表示である。これら映像V1、コンテンツ画像CP1、及び通知画像NP1、並びに、映像V2、コンテンツ画像CP2、及び通知画像NP2のそれぞれを表すデータ(情報)は、映像V1に関する映像情報、コンテンツ画像CP1に関するコンテンツ情報、及び通知画像NP1に関する通知情報、並びに、映像V2に関する映像情報、コンテンツ画像CP2に関するコンテンツ情報、及び通知画像NP2に関する通知情報とそれぞれ呼ばれ、例えばデジタル信号によってそれぞれ構成されている。
【0032】
動画としての映像V1は、映像V1を構成する個々の画像(フレーム)が連続的に切り替わることで動的な表現が実現されている。映像V1を構成する個々の画像(フレーム)は、映像V1に通知画像NP1が含まれていない場合には一連のコンテンツ画像CP1であり、映像V1に通知画像NP1が含まれている場合には一連のコンテンツ画像CP1及び各コンテンツ画像CP1に重畳して表示された一連の通知画像NP1である。同様に、動画としての映像V2は、映像V2を構成する個々の画像(フレーム)が連続的に切り替わることで動的な表現が実現されている。映像V2を構成する個々の画像(フレーム)は、映像V2に通知画像NP2が含まれていない場合には一連のコンテンツ画像CP2であり、映像V2に通知画像NP2が含まれている場合には一連のコンテンツ画像CP2及び各コンテンツ画像CP2に重畳して表示された一連の通知画像NP2である。
【0033】
映像V1に関する映像情報は、少なくとも映像V1に関する画像データを含んでおり、映像V1に付随する音声データも含んでいてもよい。コンテンツ画像CP1に関するコンテンツ情報は、少なくともコンテンツ画像CP1に関する画像データを含んでおり、コンテンツ画像CP1に付随する音声データも含んでいてもよい。通知画像NP1に関する通知情報は、少なくとも通知画像NP1に関する画像データを含んでおり、通知画像NP1に付随する音声データも含んでいてもよい。同様に、映像V2に関する映像情報は、少なくとも映像V2に関する画像データを含んでおり、映像V2に付随する音声データも含んでいてもよい。コンテンツ画像CP2に関するコンテンツ情報は、少なくともコンテンツ画像CP2に関する画像データを含んでおり、コンテンツ画像CP2に付随する音声データも含んでいてもよい。通知画像NP2に関する通知情報は、少なくとも通知画像NP2に関する画像データを含んでおり、通知画像NP2に付随する音声データも含んでいてもよい。
【0034】
「画像の判読性」とは、画像を見たユーザが当該画像の内容を認識しやすい程度のことを意味している。つまり、「画像の判読性を低下させる」とは、画像がユーザの視界に含まれた場合であっても当該画像の内容を当該ユーザが認識しにくい状態とすることを意味している。画像の判読性を低下させるための具体的な態様については後述する。なお、ユーザが画像を視認すること(すなわち、ユーザが画像を見てその内容を認識すること)の容易性を低下させることを「画像を不可視化する」と呼んでもよく、この場合、「画像を不可視化する」とは「画像の判読性を低下させる」ことと同義である。
【0035】
また、「映像をリアルタイムで配信する」とは、取得した映像を逐次配信することを意味しており、一般にタイムラグが小さい状態で映像が配信される。ここで、「映像を逐次配信する」とは、例えば取得した映像を蓄積した後に視聴ユーザからのリクエストがあったタイミングで配信するのではなく、映像を構成する個々の画像(フレーム)を取得した際に、必要な処理を施した上で順次配信していくことを意味してもよい。また、「逐次配信」は、ライブ配信、生放送を意味してもよい。なお、配信される個々の画像(フレーム)は、予め設定された基準によりグループ化された単位毎に配信されてもよい。
【0036】
映像配信装置100は、配信ユーザ端末200及び視聴ユーザ端末300のそれぞれと通信可能なサーバ(コンピュータ)として構成されている。映像配信装置100は、物理的な構成として制御演算装置、記憶装置、入出力装置を備えている。制御演算装置は、例えばCPU(Central Processing Unit)等のコントローラ1により構成されており、演算処理を実行するとともに記憶装置及び入出力装置の制御を行う。記憶装置は、例えば主記憶装置及び補助記憶装置を有している。主記憶装置は、例えばRAM(Random Access Memory)により構成されている。また、補助記憶装置は、例えばROM(Read Only Memory)により構成されている。入出力装置は、例えば外部からデータを入力されて記憶装置に送信する入力装置、及び、例えば制御演算部により演算されて記憶装置に記憶された演算結果を外部に出力する出力装置を有している。
【0037】
映像配信装置100は、例えば、ROMに記憶されているプログラムをRAMに読み込み、RAMに読み込まれたプログラムをCPUにより実行することにより、所定の処理を実行する。なお、映像配信装置100は、コンピュータとして構成されていればよく、上述した構成とは異なる構成を備えていてもよい。
【0038】
映像配信装置100のコントローラ1は、機能的には、映像情報取得部10、映像解析部11、通知情報検知部12、通知情報加工部13、映像情報配信部14、加工対象受信部15、加工対象設定部16、表示方向検知部17、及び検知パターン設定部18を備えている。
【0039】
映像情報取得部10は、映像V1に関する映像情報を取得する。具体的には、映像情報取得部10は、後述するように配信ユーザ端末200から送信された映像V1に関する映像情報を受信し、取得する。
【0040】
映像解析部11は、映像情報取得部10により取得された映像情報(映像V1に関する映像情報)に基づいて映像V1を解析する。具体的には、映像解析部11は、映像V1に関する映像情報に基づいて映像V1を解析することにより、映像V1に関する映像情報に通知情報(通知画像NP1に関する通知情報)が含まれているか否かを解析する。映像解析部11は、例えば映像V1に関する映像情報に含まれる輝度情報(輝度の勾配情報等)に基づいて、映像V1を解析してもよい(エッジ検出)。映像解析部11が映像V1に関する映像情報に通知画像NP1に関する通知情報が含まれているとの解析結果を出力することは、映像V1に通知画像NP1(及びコンテンツ画像CP1)が含まれていることを意味している。一方、映像解析部11が映像V1に関する映像情報に通知画像NP1に関する通知情報が含まれていないとの解析結果を出力することは、映像V1に通知画像NP1が含まれていない(映像V1にコンテンツ画像CP1のみ含まれている)ことを意味している。
【0041】
映像解析部11は、映像V1のうちの一部を解析する。具体的には、映像解析部11は、互いに時間間隔を空けた複数のタイミングにおいて映像V1を解析する。より具体的には、映像解析部11は、動画としての映像V1を構成する一連のフレームであるコンテンツ画像CP1(及び、各コンテンツ画像CP1に重畳して表示されている場合には一連の通知画像NP1)のうち、一部のフレームが間引かれた残部のフレーム(例えば2~3フレームのうちの1フレーム)についてのみ、映像V1を解析する。映像解析部11は、時系列において一定又は不定の間隔で、一部のフレームを間引いてもよい。
【0042】
また、映像解析部11は、後述する通知情報検知部12により通知情報(通知画像NP1に関する通知情報)が検知された場合に、予め設定された期間(例えば6秒間)にわたり映像V1を解析しない。換言すると、映像解析部11は、通知画像NP1に関する通知情報が検知されてから、予め設定された数のフレーム(例えば180フレーム)にわたり映像V1を解析しない。ここで、「映像V1を解析しない」とは、「映像V1の解析を停止する」ことを意味している。映像解析部11は、映像V1の解析を停止した後に予め設定された期間(換言すると、予め設定された数のフレーム数)が経過すると、映像V1の解析を再開する。
【0043】
通知情報検知部12は、映像V1に含まれる通知画像NP1に関する通知情報を検知する。通知情報検知部12は、映像情報取得部10により取得された映像V1に関する映像情報に基づいて通知画像NP1に関する通知情報を検知する。具体的には、通知情報検知部12は、映像情報取得部10により取得された映像V1に関する映像情報に基づいて映像解析部11が映像V1を解析した後に、映像解析部11により映像V1が解析された解析結果に基づいて通知画像NP1に関する通知情報を検知する。すなわち、映像解析部11により映像V1に関する映像情報に通知画像NP1に関する通知情報が含まれているとの解析結果が出力された場合、通知情報検知部12は映像V1に含まれる通知画像NP1に関する通知情報を検知することとなる。一方、映像解析部11により映像V1に関する映像情報に通知画像NP1に関する通知情報が含まれていないとの解析結果が出力された場合、通知情報検知部12は映像V1に含まれる通知画像NP1に関する通知情報を検知しないこととなる。
【0044】
通知情報加工部13は、通知情報検知部12により通知画像NP1に関する通知情報が検知された場合に、映像V1において通知画像NP1の判読性を低下させるように通知画像NP1に関する通知情報を加工する。すなわち、通知情報加工部13は、映像V1において通知画像NP1がユーザ(例えば視聴ユーザ)の視界に含まれた場合であっても当該通知画像NP1の内容を当該ユーザが認識しにくい状態となるように、通知画像NP1に関する通知情報を加工する。
【0045】
画像の判読性を低下させるための具体的な態様として、ここでは、通知情報加工部13は、映像V1のうちの通知画像NP1の領域をぼかす処理を実行する。「画像をぼかす」とは、例えば画像の解像度を低下させることを意味してもよく、モザイク処理を実行することを意味してもよい。なお、画像の判読性を低下させるための具体的な態様として、通知情報加工部13は、映像V1のうちの通知画像NP1の領域よりも広い領域をぼかす処理を実行してもよく、映像V1の全体をぼかす処理を実行してもよい。あるいは、通知情報加工部13は、映像V1のうちの通知画像NP1の領域を塗りつぶす処理を実行してもよく、映像V1のうちの通知画像NP1の領域よりも広い領域を塗りつぶす処理を実行してもよく、映像V1の全体を塗りつぶす処理を実行してもよい。
【0046】
映像情報配信部14は、映像V2に関する映像情報を外部に送信する。具体的には、映像情報配信部14は、映像V2に関する映像情報を視聴ユーザ端末300に送信することにより、映像V2を視聴ユーザ端末300に配信する。映像情報配信部14は、通知情報検知部12により通知画像NP1に関する通知情報が検知された映像V1については、通知情報加工部13により通知画像NP1に関する通知情報の加工が完了した映像V2を視聴ユーザ端末300に逐次送信する。一方、映像情報配信部14は、通知情報検知部12により通知画像NP1に関する通知情報が検知されなかった映像V1については、通知情報加工部13により通知画像NP1に関する通知情報の加工を行わずに、当該映像V1をそのまま映像V2として視聴ユーザ端末300に逐次送信する。
【0047】
加工対象受信部15は、加工対象に関する情報を配信ユーザ端末200から受信する。「加工対象」とは、通知情報加工部13により通知情報を加工すべき通知画像NP1の内容である。加工対象は、例えば通知画像NP1に係る通知を配信ユーザ端末200に表示させるアプリケーションの種類によって規定されてもよい。つまり、特定のアプリケーションに関して送信された(配信ユーザ端末200が受信した)通知のみを加工対象としてもよい。加工対象は、後述するように配信ユーザ端末200においてユーザ(例えば配信者)によって決定されて、配信ユーザ端末200から映像配信装置100に送信される。
【0048】
加工対象設定部16は、加工対象受信部15により配信ユーザ端末200から受信された加工対象に関する情報に基づいて加工対象を設定する。これにより、映像配信装置100は以下のような処理を実行する。加工対象設定部16により加工対象が設定されると、映像解析部11は映像V1に関する映像情報に加工対象として設定された通知画像NP1に関する通知情報が含まれているか否かを解析する。映像解析部11により映像V1に関する映像情報に加工対象として設定された通知画像NP1に関する通知情報が含まれているとの解析結果が出力された場合、通知情報検知部12は映像V1に含まれる当該通知画像NP1に関する通知情報を検知する。そして、通知情報検知部12により加工対象として設定された通知画像NP1に関する通知情報が検知された場合に、通知情報加工部13は映像V1において当該通知画像NP1の判読性を低下させるように当該通知画像NP1に関する通知情報を加工する。
【0049】
なお、加工対象は、予め設定された言葉又は図柄等が通知画像NP1に含まれるか否かによって規定されてもよい。例えば、加工対象設定部16は、配信者の名前・住所・属性といったプライバシーに関する言葉又は図柄等(プライバシー情報)を含む通知画像NP1を加工対象として設定してもよい。あるいは、加工対象設定部16は、「パスワード」「PW」といった言葉又は図柄等を含む通知画像NP1を加工対象として設定してもよい。「パスワード」「PW」といった言葉又は図柄等は、当該言葉又は図柄等が含まれる通知画像NP1にパスワード等の秘匿情報が含まれることを示しており、ここでは秘匿フラグ情報と呼ぶ。
【0050】
通知画像NP1のうち加工対象であると設定されたものは、映像配信装置100の処理において映像V1の解析の対象等とされてもよい。一方、通知画像NP1のうち加工対象ではないと設定されたものは、映像配信装置100の処理において映像V1の解析の対象等とされなくてもよい(すなわち、通知画像NP1ではないものとして取り扱われてもよい)。
【0051】
表示方向検知部17は、配信ユーザ端末200のディスプレイ3において選択されている映像V1の表示方向を検知する。ここで、「表示方向」とは、配信ユーザ端末200において配信ユーザ端末200自体の傾き(角度)に基づいて自動で選択された映像V1の表示方向である。
【0052】
具体的には、配信ユーザ端末200が縦持ちされている場合(配信ユーザ端末200の長手方向が天地方向に沿うように把持されている場合)には、配信ユーザ端末200の長手方向がディスプレイ3の上下方向となるように(いわゆるポートレート表示)表示方向が選択される(図2図4参照)。一方、配信ユーザ端末200が横持ちされている場合(配信ユーザ端末200の短手方向が天地方向に沿うように把持されている場合)には、配信ユーザ端末200の短手方向がディスプレイ3の上下方向となるように(いわゆるランドスケープ表示)表示方向が選択される(図5図7参照)。映像配信装置100においては、配信ユーザ端末200において選択された映像V1の表示方向と同一の方向で、視聴ユーザ端末300のディスプレイ7において映像V2が表示されてもよい。
【0053】
検知パターン設定部18は、通知情報検知部12において通知画像NP1に関する通知情報を検知する検知パターンを設定する。「検知パターン」とは、映像V1に含まれる通知画像NP1に関する通知情報を検知する態様である。検知パターンは、映像V1のうち映像解析部11により特に優先的に解析されるべき領域が指定されたパターンである。具体的には、検知パターン設定部18は、表示方向検知部17により検知された配信ユーザ端末200のディスプレイ3における表示方向に応じて検知パターンを設定する。この場合、通知情報検知部12は、表示方向検知部17により検知された表示方向に応じた検知パターンにより通知画像NP1に関する通知情報を検知する。
【0054】
検知パターン設定部18は、配信ユーザ端末200の長手方向がディスプレイ3の上下方向となるように表示方向が選択されている場合には、配信ユーザ端末200のディスプレイ3の長手方向における上端側の領域である第1通知探索領域R1において優先的に通知画像NP1を検知する検知パターンを設定する(図2参照)。一方、検知パターン設定部18は、配信ユーザ端末200の短手方向がディスプレイ3の上下方向となるように表示方向が選択されている場合には、配信ユーザ端末200のディスプレイ3の短手方向における上端側の領域である第2通知探索領域R2において優先的に通知画像NP1を検知する検知パターンを設定する(図5参照)。
【0055】
[配信ユーザ端末]
配信ユーザ端末200は、ここでは上述したようにスマートフォンとして構成されており、映像配信装置100と通信可能である。配信ユーザ端末200は、物理的な構成として制御演算装置、記憶装置、入出力装置を備えている。制御演算装置は、例えばCPU等のコントローラ2により構成されており、演算処理を実行するとともに記憶装置及び入出力装置の制御を行う。記憶装置は、例えば主記憶装置及び補助記憶装置を有している。主記憶装置は、例えばRAMにより構成されている。また、補助記憶装置は、例えばROMにより構成されている。入出力装置は、例えば外部からデータを入力されて記憶装置に送信する入力装置5、及び、例えば制御演算部により演算されて記憶装置に記憶された演算結果を外部に出力するディスプレイ3等の出力装置を有している。また、配信ユーザ端末200は、配信ユーザ端末200自体の傾き(角度)を検出する角度センサ4を有している。角度センサ4としてはジャイロセンサ等の公知のセンサを用いることができる。映像配信装置100は、例えば、ROMに記憶されているプログラムをRAMに読み込み、RAMに読み込まれたプログラムをCPUにより実行することにより、所定の処理を実行する。
【0056】
配信ユーザ端末200のコントローラ2は、機能的には、映像表示部20、通知受信部21、映像情報送信部22、加工対象受付部23、表示方向選択部24、及び表示方向送信部25を備えている。
【0057】
映像表示部20は、配信ユーザ端末200のディスプレイ3に映像V1を表示させる。映像V1にはコンテンツ画像CP1が少なくとも含まれており、配信ユーザ端末200がPUSH通知等の通知を受信した場合には通知画像NP1も含まれる。通知受信部21は、PUSH通知等の通知を外部(通知を送信するアプリケーションのサーバ等)から受信する。映像情報送信部22は、映像V1に関する映像情報を映像配信装置100に逐次送信する。
【0058】
加工対象受付部23は、例えば配信者により操作される入力装置5から、配信者によって選択された加工対象に関する情報(加工対象情報)を受け付ける。そして、加工対象受付部23は、受け付けた加工対象情報を映像配信装置100に送信する。加工対象受付部23によって受け付けられる加工対象は、例えば通知画像NP1に係る通知を配信ユーザ端末200に表示させるアプリケーションの種類、又は、通知画像NP1に記載されている言葉又は図柄等である。
【0059】
表示方向選択部24は、角度センサ4により検出された配信ユーザ端末200の傾き(角度)に応じて、配信ユーザ端末200のディスプレイ3における好適な表示方向を選択する。すなわち、配信ユーザ端末200は当該配信ユーザ端末200のディスプレイ3における映像V1の表示方向を複数の方向から選択可能であり、表示方向選択部24は、例えば配信ユーザ端末200のディスプレイ3の天地方向に応じて表示方向を設定する。配信ユーザ端末200が縦持ちされている場合には、表示方向選択部24は、配信ユーザ端末200の長手方向がディスプレイ3の上下方向となるように表示方向を選択する。この場合、図2図4に示されるように、配信ユーザ端末200のディスプレイ3の長手方向における上端側の領域である第1通知探索領域R1に通知画像NP1が表示される。
【0060】
一方、図5は、横持ちされたスマートフォンにおいて、コンテンツ画像のみが表示された映像が配信されている状態を示す図である。図6は、横持ちされたスマートフォンにおいて、コンテンツ画像及び通知画像が表示された映像が配信されている状態を示す図である。図7は、横持ちされたスマートフォンにおいて、コンテンツ画像及び判読性を低下させた通知画像が表示された映像が配信されている状態を示す図である。図5図7に示されるように、配信ユーザ端末200が横持ちされている場合には、表示方向選択部24は、配信ユーザ端末200の短手方向がディスプレイ3の上下方向となるように表示方向を選択する。この場合、配信ユーザ端末200のディスプレイ3の短手方向における上端側の領域である第2通知探索領域R2に通知画像NP1が表示される。
【0061】
図1図4に戻り、表示方向送信部25は、表示方向選択部24により選択された表示方向に関する情報を映像配信装置100に送信する。例えば、表示方向送信部25は、映像配信装置100から表示方向を通知するよう要求する表示方向リクエストを受信したことを契機として、表示方向選択部24により選択された表示方向に関する情報を送信する。なお、表示方向送信部25は、映像配信装置100から表示方向リクエストを受信しなくても、予め設定されたタイミングで、表示方向選択部24により選択された表示方向に関する情報を送信してもよい。
【0062】
[視聴ユーザ端末]
視聴ユーザ端末300は、ここでは上述したようにスマートフォンとして構成されており、映像配信装置100と通信可能である。視聴ユーザ端末300は、物理的な構成として制御演算装置、記憶装置、入出力装置を備えている。制御演算装置は、例えばCPU等のコントローラ6により構成されており、演算処理を実行するとともに記憶装置及び入出力装置の制御を行う。記憶装置は、例えば主記憶装置及び補助記憶装置を有している。主記憶装置は、例えばRAMにより構成されている。また、補助記憶装置は、例えばROMにより構成されている。入出力装置は、例えば外部からデータを入力されて記憶装置に送信する入力装置、及び、例えば制御演算部により演算されて記憶装置に記憶された演算結果を外部に出力するディスプレイ7等の出力装置を有している。視聴ユーザ端末300は、例えば、ROMに記憶されているプログラムをRAMに読み込み、RAMに読み込まれたプログラムをCPUにより実行することにより、所定の処理を実行する。
【0063】
視聴ユーザ端末300のコントローラ6は、機能的には、映像情報受信部60及び配信映像表示部61を備えている。
【0064】
映像情報受信部60は、映像配信装置100の映像情報配信部14により送信された映像V2に関する映像情報を受信する。具体的には、映像情報受信部60は、映像配信装置100の映像情報配信部14から逐次送信されてくる映像V2に関する映像情報を逐次受信する。
【0065】
配信映像表示部61は、映像情報受信部60により受信された映像V2に関する映像情報をディスプレイ7に表示させる。映像配信装置100の通知情報検知部12により通知画像NP1に関する通知情報が検知された場合には、配信映像表示部61によりディスプレイ7に表示される映像V2は、コンテンツ画像CP1と同一のコンテンツ画像CP2、及び、通知画像NP1の判読性を低下させるように通知画像NP1に関する通知情報が加工された通知画像NP2を含む映像である。一方、映像配信装置100の通知情報検知部12により通知画像NP1に関する通知情報が検知されなかった場合には、配信映像表示部61によりディスプレイ7に表示される映像V2は、コンテンツ画像CP1と同一のコンテンツ画像CP2のみを含む映像である。
【0066】
[検知方法]
通知情報検知部12による通知画像NP1に関する通知情報の検知方法について説明する。図2図7に示されるように、通知情報検知部12は、通知画像NP1の態様に応じた検知方法により、通知画像NP1に関する通知情報を検知する。
【0067】
通知画像NP1に関する通知情報が、通知画像NP1の画像形状に関する画像形状情報を含んでいる場合、通知情報検知部12は、画像形状情報に基づいて通知画像NP1に関する通知情報を検知してもよい。画像形状情報とは、通知画像NP1において特徴づけられた所定部分の形状である。ここでは、通知画像NP1は、縦持ちされた配信ユーザ端末200のディスプレイ3の第1通知探索領域R1に、四隅が曲線で構成された(すなわち、面取りされた)矩形状のウィンドウとして表示される。このとき、通知情報検知部12は、通知画像NP1のウィンドウの形状に関する画像形状情報に基づいて、通知画像NP1に関する通知情報を検知する。
【0068】
具体的には、画像形状情報とは、通知画像NP1における予め設定された3か所(第1形状検出部位F1、第2形状検出部位F2、及び第3形状検出部位F3)の形状に関する情報であってもよい。より具体的には、通知情報検知部12は、通知画像NP1のウィンドウの四隅のうちの3か所の形状(曲線で構成された角)と形状及び相対位置が一致する画像を、通知画像NP1に関する通知情報として検知する。ここでは第1形状検出部位F1、第2形状検出部位F2、及び第3形状検出部位F3は通知画像NP1のウィンドウの四隅のうちの3か所のそれぞれであるが、第1形状検出部位F1、第2形状検出部位F2、及び第3形状検出部位F3はこれらとは別の部位(例えばウィンドウの内部の部位)であってもよい。なお、通知画像NP1のウィンドウの四隅のうちの3か所の形状(曲線で構成された角)と形状及び相対位置が一致する画像がディスプレイ3の画面表示内に存在するか否かは、映像解析部11が解析し、その解析結果に基づいて通知情報検知部12が通知画像NP1に関する通知情報を検知してもよい。このとき、映像解析部11は、配信ユーザ端末200のディスプレイ3の第1通知探索領域R1を優先的に解析してもよい。
【0069】
通知画像NP1に関する通知情報が、通知画像NP1の画像色に関する画像色情報を含んでいる場合、通知情報検知部12は、画像色情報に基づいて通知画像NP1に関する通知情報を検知してもよい。画像色情報とは、通知画像NP1において特徴づけられた所定部分の色である。ここでは、通知画像NP1は、縦持ちされた配信ユーザ端末200のディスプレイ3の第1通知探索領域R1に、通知画像NP1に係る通知を行うアプリケーションの代表色(当該アプリケーションを特徴づける色であり、当該アプリケーションの画面等に多用される色)を含んで構成されたウィンドウとして表示される。このとき、通知情報検知部12は、通知画像NP1のウィンドウの色に関する画像色情報に基づいて、通知画像NP1に関する通知情報を検知する。
【0070】
具体的には、通知情報検知部12は、通知画像NP1のウィンドウの色が予め記憶されたアプリケーションの代表色と一致する画像を、通知画像NP1に関する通知情報として検知する。なお、通知画像NP1のウィンドウの色が予め記憶されたアプリケーションの代表色と一致する画像がディスプレイ3の画面表示内に存在するか否かは、映像解析部11が解析し、その解析結果に基づいて通知情報検知部12が通知画像NP1に関する通知情報を検知してもよい。このとき、映像解析部11は、配信ユーザ端末200のディスプレイ3の第1通知探索領域R1を優先的に解析してもよい。
【0071】
通知画像NP1に関する通知情報が、通知画像NP1に含まれるアイコンF4に関するアイコン情報を含んでいる場合、通知情報検知部12は、アイコン情報に基づいて通知画像NP1に関する通知情報を検知してもよい。アイコン情報とは、通知画像NP1において特徴づけられたアイコンの形状又は色等の情報である。ここでは、通知画像NP1は、縦持ちされた配信ユーザ端末200のディスプレイ3の第1通知探索領域R1に、通知画像NP1に係る通知を行うアプリケーションのアイコンF4(当該アプリケーションのアイコン)を含んで構成されたウィンドウとして表示される。このとき、通知情報検知部12は、通知画像NP1のアイコンF4に関する画像色情報に基づいて、通知画像NP1に関する通知情報を検知する。
【0072】
具体的には、通知情報検知部12は、通知画像NP1に含まれるアイコンF4が予め記憶されたアプリケーションのアイコンと一致する画像を、通知画像NP1に関する通知情報として検知する。なお、通知画像NP1に含まれるアイコンF4が予め記憶されたアプリケーションのアイコンと一致する画像がディスプレイ3の画面表示内に存在するか否かは、映像解析部11が解析し、その解析結果に基づいて通知情報検知部12が通知画像NP1に関する通知情報を検知してもよい。このとき、映像解析部11は、配信ユーザ端末200のディスプレイ3の第1通知探索領域R1を優先的に解析してもよい。
【0073】
なお、映像配信装置100は、配信ユーザ端末200のOS(Operating System)に応じた検知方法を実行してもよい。あるいは、映像配信装置100は、配信ユーザ端末200として特定のOSを備えるものから受信した映像V1についてのみ加工してもよい。
【0074】
[加工対象設定処理]
映像配信装置100において実行される加工対象設定処理について説明する。図8は、加工対象設定処理の流れを示すシーケンス図である。図8のステップS10において、配信ユーザ端末200は、加工対象受付部23により、例えば配信者により操作される入力装置5から、配信者によって選択された加工対象に関する情報(加工対象情報)を受け付ける。加工対象受付部23によって受け付けられる加工対象は、例えば通知画像NP1に係る通知を配信ユーザ端末200に表示させるアプリケーションの種類、又は、通知画像NP1に記載されている言葉又は図柄等である。その後、加工対象設定処理はステップS12に移行する。
【0075】
ステップS12において、配信ユーザ端末200は、加工対象受付部23により、受け付けた加工対象情報を映像配信装置100に送信する。その後、加工対象設定処理はステップS14に移行する。
【0076】
ステップS14において、映像配信装置100は、加工対象受信部15により、加工対象に関する情報を配信ユーザ端末200から受信する。その後、映像配信装置100は、加工対象設定部16により、加工対象受信部15により配信ユーザ端末200から受信された加工対象に関する情報に基づいて加工対象を設定する。以上により、映像配信装置100による加工対象設定処理が完了する。
【0077】
[配信処理(通知画像なし配信処理)]
映像配信装置100において実行される配信処理のうち、映像V1に通知画像NP1が含まれていない場合の配信処理(通知画像なし配信処理)について説明する。図9は、通知画像が表示されていない映像の配信処理の流れを示すシーケンス図である。図9のステップS20において、配信ユーザ端末200は、映像表示部20により、ディスプレイ3に映像V1を表示させる。ここでは、映像V1にはコンテンツ画像CP1のみが含まれており、通知画像NP1は含まれていない。続くステップS22において、配信ユーザ端末200は、映像情報送信部22により、映像V1に関する映像情報を映像配信装置100に逐次送信する。その後、通知画像なし配信処理はステップS24に移行する。
【0078】
ステップS24において、映像配信装置100は、映像情報取得部10により、映像配信装置100から送信された映像V1に関する映像情報を取得する。その後、映像配信装置100は、映像解析部11により、映像情報取得部10により取得された映像V1に関する映像情報に基づいて映像V1を解析する。具体的には、映像解析部11は、映像V1に関する映像情報に基づいて映像V1を解析することにより、映像V1に関する映像情報に通知画像NP1に関する通知情報が含まれているか否かを解析する。続くステップS26において、映像配信装置100は、通知情報検知部12により、映像V1に含まれる通知画像NP1に関する通知情報を検知しない。その後、通知画像なし配信処理はステップS28に移行する。
【0079】
ステップS28において、映像配信装置100は、映像情報配信部14により、映像V2に関する映像情報を視聴ユーザ端末300に送信する。具体的には、通知情報加工部13により通知画像NP1に関する通知情報の加工を行わずに、当該映像V1をそのまま映像V2として視聴ユーザ端末300に逐次送信する。その後、通知画像なし配信処理はステップS30に移行する。
【0080】
ステップS30において、視聴ユーザ端末300は、映像情報受信部60により、映像配信装置100の映像情報配信部14により送信された映像V2に関する映像情報を受信する。具体的には、映像情報受信部60は、映像配信装置100の映像情報配信部14から逐次送信されてくる映像V2に関する映像情報を逐次受信する。その後、視聴ユーザ端末300は、配信映像表示部61により、映像情報受信部60により受信された映像V2に関する映像情報をディスプレイ7に表示させる。このとき、配信映像表示部61によりディスプレイ7に表示される映像V2は、コンテンツ画像CP1と同一のコンテンツ画像CP2のみを含む映像である。以上により、映像配信装置100による通知画像なし配信処理が完了する。
【0081】
[配信処理(通知画像あり配信処理)]
映像配信装置100において実行される配信処理のうち、映像V1に通知画像NP1が含まれている場合の配信処理(通知画像あり配信処理)について説明する。図10は、通知画像が表示されている映像の配信処理の流れを示すシーケンス図である。図10のステップS40において、配信ユーザ端末200は、映像表示部20により、ディスプレイ3に映像V1を表示させる。ステップS40の時点では、映像V1にはコンテンツ画像CP1のみが含まれており、通知画像NP1は含まれていない。その後、通知画像あり配信処理はステップS42に移行する。
【0082】
ステップS42において、配信ユーザ端末200は、通知受信部21により、PUSH通知等の通知を外部から受信する。続くステップS44において、配信ユーザ端末200は、映像表示部20により、ディスプレイ3に映像V1を表示させる。ステップS42の時点では、映像V1にはコンテンツ画像CP1及び通知画像NP1の両方が含まれている。続くステップS46において、配信ユーザ端末200は、映像情報送信部22により、映像V1に関する映像情報を映像配信装置100に逐次送信する。その後、通知画像あり配信処理はステップS48に移行する。
【0083】
ステップS48において、映像配信装置100は、映像情報取得部10により、映像配信装置100から送信された映像V1に関する映像情報を取得する。その後、映像配信装置100は、映像解析部11により、映像情報取得部10により取得された映像V1に関する映像情報に基づいて映像V1を解析する。具体的には、映像解析部11は、映像V1に関する映像情報に基づいて映像V1を解析することにより、映像V1に関する映像情報に通知画像NP1に関する通知情報が含まれているか否かを解析する。続くステップS50において、映像配信装置100は、通知情報検知部12により、映像V1に含まれる通知画像NP1に関する通知情報を検知する。その後、通知画像あり配信処理はステップS52に移行する。
【0084】
ステップS52において、映像配信装置100は、映像解析部11により、予め設定された期間にわたり(すなわち、予め設定された数のフレームにわたって)、映像V1の解析を停止する。その後、通知画像あり配信処理はステップS54に移行する。
【0085】
ステップS54において、配信ユーザ端末200は、通知情報加工部13により、映像V1において通知画像NP1の判読性を低下させるように通知画像NP1に関する通知情報を加工する。画像の判読性を低下させるための具体的な態様として、ここでは、通知情報加工部13は、映像V1のうちの通知画像NP1の領域をぼかす処理を実行する。その後、通知画像あり配信処理はステップS56に移行する。
【0086】
ステップS56において、映像配信装置100は、映像情報配信部14により、映像V1において通知画像NP1の判読性を低下させるように加工された映像V2を視聴ユーザ端末300に送信する。その後、通知画像あり配信処理はステップS58に移行する。
【0087】
ステップS58において、視聴ユーザ端末300は、映像情報受信部60により、映像配信装置100の映像情報配信部14により送信された映像V2に関する映像情報を受信する。具体的には、映像情報受信部60は、映像配信装置100の映像情報配信部14から逐次送信されてくる映像V2に関する映像情報を逐次受信する。その後、視聴ユーザ端末300は、配信映像表示部61により、映像情報受信部60により受信された映像V2に関する映像情報をディスプレイ7に表示させる。このとき、配信映像表示部61によりディスプレイ7に表示される映像V2は、コンテンツ画像CP1と同一のコンテンツ画像CP2、及び、通知画像NP1の判読性を低下させるように通知画像NP1に関する通知情報が加工された通知画像NP2を含む映像である。以上により、映像配信装置100による通知画像あり配信処理が完了する。
【0088】
[検知パターン設定処理]
映像配信装置100において実行される検知パターン設定処理について説明する。図11は、検知パターン設定処理の流れを示すシーケンス図である。図11のステップS60において、配信ユーザ端末200は、角度センサ4により、配信ユーザ端末200自体の傾き(角度)を検出して取得する。続くステップS62において、配信ユーザ端末200は、表示方向選択部24により、角度センサ4により検出された配信ユーザ端末200の傾き(角度)に応じて、配信ユーザ端末200のディスプレイ3における好適な表示方向を選択する。その後、検知パターン設定処理はステップS64に移行する。
【0089】
ステップS64において、映像配信装置100は、配信ユーザ端末200に対して現在の表示方向を通知するよう要求する表示方向リクエストを送信する。続くステップS66において、配信ユーザ端末200は、表示方向送信部25により、表示方向選択部24により選択されている表示方向に関する情報を映像配信装置100に送信する。その後、検知パターン設定処理はステップS68に移行する。
【0090】
ステップS68において、映像配信装置100は、表示方向選択部24により選択されている表示方向に関する情報を配信ユーザ端末200から受信する。これにより、映像配信装置100は、表示方向検知部17により、配信ユーザ端末200のディスプレイ3において選択されている映像V1の表示方向を検知する。その後、検知パターン設定処理はステップS70に移行する。
【0091】
ステップS70において、映像配信装置100は、検知パターン設定部18により、通知情報検知部12において通知画像NP1に関する通知情報を検知する検知パターンを設定する。検知パターンは、映像解析部11により映像V1のうち特に優先的に解析がされるべき領域が指定されたパターンである。具体的には、検知パターン設定部18は、表示方向検知部17により検知された配信ユーザ端末200のディスプレイ3における表示方向に応じて検知パターンを設定する。以上により、映像配信装置100による検知パターン設定処理が完了する。
【0092】
[映像配信プログラム]
コンピュータを映像配信装置100として機能させるための映像配信プログラムについて説明する。映像配信プログラムは、メインモジュール、通知情報検知モジュール、及び通知情報加工モジュールを備えている。メインモジュールは、コンピュータを統括的に制御する部分である。通知情報検知モジュール及び通知情報加工モジュールのそれぞれを実行させることにより実現される機能は、上述した映像配信装置100の通知情報検知部12及び通知情報加工部13とそれぞれ同様である。これにより、映像配信プログラムは、配信ユーザ端末200のディスプレイ3に表示される映像V1をリアルタイムで視聴ユーザ端末300に配信する映像配信装置100のコンピュータを、映像V1に含まれる通知画像NP1に関する通知情報を検知する通知情報検知部12と、通知情報検知部12により通知画像NP1に関する通知情報が検知された場合に、映像V1において通知画像NP1の判読性を低下させるように通知画像NP1に関する通知情報を加工する通知情報加工部13と、として機能させることができる。
【0093】
なお、映像配信プログラムは、映像情報取得モジュール、映像解析モジュール、映像情報送信モジュール、加工対象受信モジュール、加工対象設定モジュール、表示方向検知モジュール、及び検知パターン設定モジュールを備えていてもよい。この場合、映像情報取得モジュール、映像解析モジュール、映像情報送信モジュール、加工対象受信モジュール、加工対象設定モジュール、表示方向検知モジュール、及び検知パターン設定モジュールのそれぞれを実行させることにより実現される機能は、上述した映像配信装置100の映像情報取得部10、映像解析部11、映像情報配信部14、加工対象受信部15、加工対象設定部16、表示方向検知部17、及び検知パターン設定部18とそれぞれ同様である。
【0094】
[作用及び効果]
以上説明したように、映像配信装置100は、配信ユーザ端末200のディスプレイ3に表示される映像V1をリアルタイムで視聴ユーザ端末300に配信する映像配信装置100であって、映像V1に含まれる通知画像NP1に関する通知情報を検知する通知情報検知部12と、通知情報検知部12により通知情報が検知された場合に、映像V1において通知画像NP1の判読性を低下させるように通知情報を加工する通知情報加工部13と、を備えている。
【0095】
また、映像配信プログラムは、配信ユーザ端末200のディスプレイ3に表示される映像V1をリアルタイムで視聴ユーザ端末300に配信する映像配信装置100のコンピュータを、映像V1に含まれる通知画像NP1に関する通知情報を検知する通知情報検知部12と、通知情報検知部12により通知情報が検知された場合に、映像V1において通知画像NP1の判読性を低下させるように通知情報を加工する通知情報加工部13として機能させる。
【0096】
映像配信装置100又は映像配信プログラムにより、配信ユーザ端末200のディスプレイ3に表示される映像V1に通知画像NP1が含まれる場合であっても、映像V1がリアルタイムで視聴ユーザ端末300に配信される際に当該通知画像NP1の判読性を低下させることができるため、通知画像NP1の内容が視聴者に知得されにくくなる。したがって、この映像配信装置100又は映像配信プログラムは、配信者に関する情報が意に反して公開されることを抑制することができる。
【0097】
映像配信装置100は、配信ユーザ端末200及び視聴ユーザ端末300のそれぞれと通信可能なサーバとして構成されている。これにより、配信ユーザ端末200又は視聴ユーザ端末300により種々の処理を実行する場合と比較して、配信ユーザ端末200又は視聴ユーザ端末300の処理負荷を低減させることができる。
【0098】
映像配信装置100は、映像V1に関する映像情報を取得する映像情報取得部10を備え、通知情報検知部12は、映像情報取得部10により取得された映像情報に基づいて通知情報を検知する。これにより、映像配信装置100の作用及び効果を好適に奏することができる。
【0099】
映像配信装置100は、映像情報取得部10により取得された映像情報に基づいて映像V1を解析する映像解析部11を備え、通知情報検知部12は、映像解析部11により映像V1が解析された解析結果に基づいて通知情報を検知する。これにより、別個の装置等により解析が行われるのではなく、本装置が映像V1を解析することで通知情報を検知する。このため、別個の装置等の性能に左右されずに、映像V1の解析及び通知情報の検知を行うことができる。
【0100】
映像配信装置100では、映像解析部11は、映像V1のうちの一部を解析する。これにより、映像V1の全部を解析する場合と比較して、映像配信装置100の処理負荷を低減させることができる。
【0101】
映像配信装置100では、映像解析部11は、互いに時間間隔を空けた複数のタイミングにおいて映像V1を解析する。通知画像NP1は配信ユーザ端末200にある程度の時間にわたって表示され続けるため、互いに時間間隔を空けない連続したタイミングにおいて映像V1を解析しても、それらの解析結果は互いに同じである可能性が高い。したがって、互いに時間間隔を空けない連続したタイミングにおいて映像V1を解析した場合と比較して、互いに時間間隔を空けた複数のタイミングにおいて映像V1を解析しても解析精度は低下しにくい。一方で、互いに時間間隔を空けた複数のタイミングにおいて映像V1を解析することにより、映像V1の全部を解析する必要がなくなるため、映像配信装置100の処理負荷を低減させることができる。よって、映像配信装置100の処理負荷を低減させつ、解析精度の低下を抑制することができる。
【0102】
映像配信装置100では、映像解析部11は、通知情報検知部12により通知情報が検知された場合に、予め設定された期間にわたり映像V1を解析しない。通知画像NP1は配信ユーザ端末200にある程度の時間にわたって表示され続けるため、通知情報が検知された直後も引き続き通知情報が検知され続けている可能性が高い。したがって、通知情報が検知された直後は映像V1の解析を停止することにより、映像配信装置100の処理負荷を低減させることができる。
【0103】
映像配信装置100では、通知情報は、通知画像NP1の画像形状に関する画像形状情報を含み、通知情報検知部12は、画像形状情報に基づいて通知情報を検知する。すなわち、この装置は、映像V1において通知画像NP1に特徴的な画像形状が検出された場合に通知情報を検知する。これにより、映像配信装置100の作用及び効果を好適に奏することができる。
【0104】
映像配信装置100では、画像形状情報は、通知画像NP1における予め設定された3か所の形状に関する情報である。これにより、画像形状情報に基づいて通知情報を検知する場合に、精度良く通知情報を検知可能であり、且つ、映像配信装置100の処理負荷を低減させることができる。
【0105】
映像配信装置100では、通知情報は、通知画像NP1の画像色に関する画像色情報を含み、通知情報検知部12は、画像色情報に基づいて通知情報を検知する。すなわち、通知画像NP1をディスプレイ3に表示させるアプリケーションごとに画像色が決められている場合があり、この装置は、映像V1において通知画像NP1に当該画像色が検出された場合に通知情報を検知する。これにより、映像配信装置100の作用及び効果を好適に奏することができる。
【0106】
映像配信装置100では、通知情報は、通知画像NP1に含まれるアイコンF4に関するアイコン情報を含み、通知情報検知部12は、アイコン情報に基づいて通知情報を検知する。すなわち、通知画像NP1をディスプレイ3に表示させるアプリケーションごとにアイコンF4が決められている場合があり、この装置は、映像V1において通知画像NP1に当該アイコンF4が検出された場合に通知情報を検知する。これにより、映像配信装置100の作用及び効果を好適に奏することができる。
【0107】
映像配信装置100では、通知情報加工部13により通知情報を加工すべき通知画像NP1の内容である加工対象に関する情報を、配信ユーザ端末200から受信する加工対象受信部15と、加工対象受信部15により配信ユーザ端末200から受信された加工対象に関する情報に基づいて加工対象を設定する加工対象設定部16と、を備えている。これにより、配信者の希望に応じて、視聴者に公開しない通知画像NP1の内容及び公開する通知画像NP1の内容をそれぞれ指定することが可能となる。
【0108】
映像配信装置100では、配信ユーザ端末200は、当該配信ユーザ端末200のディスプレイ3における映像V1の表示方向を複数の方向から選択可能であり、配信ユーザ端末200のディスプレイ3において選択されている映像V1の表示方向を検知する表示方向検知部17を備え、通知情報検知部12は、表示方向検知部17により検出された表示方向に応じた検知パターンにより通知情報を検知する。一般に、ディスプレイ3において選択されている映像V1の表示方向によって、映像V1に表示される通知画像NP1の位置・大きさ・形状といった態様が異なる場合がある。したがって、映像V1の表示方向に応じて最適化された検知パターンにより通知情報を検知することが効率的である。したがって、これにより、通知情報を効率良く検知することができる。
【0109】
映像配信装置100は、映像V1を視聴ユーザ端末300等の外部に配信する映像情報配信部14を備えている。これにより、通知画像NP1の判読性を低下させた映像V1を視聴ユーザ端末300に配信することができるため、映像配信装置100の作用及び効果を好適に奏することができる。
【0110】
[変形例]
上述した実施形態は、当業者の知識に基づいて変更又は改良が施された様々な形態により実施可能である。
【0111】
例えば、上述した実施形態において映像配信装置100は単一のサーバとして構成されているが、映像配信装置100は、複数のサーバに機能が分散されて構成されていてもよい。あるいは、映像配信装置100は、1又は複数のサーバに加えて、別個の装置を含んで構成されていてもよい。換言すると、映像配信装置100は、配信ユーザ端末200及び視聴ユーザ端末300のそれぞれと通信可能なサーバを含んで構成されていてもよい。映像配信装置100において、機能の一部が配信ユーザ端末200又は視聴ユーザ端末300において実現されていてもよい。あるいは、映像配信装置100において、機能の全部が配信ユーザ端末200又は視聴ユーザ端末300において実現されていてもよい。これらの場合であっても、映像配信装置100は映像配信システムとして、上述した映像配信装置100と同様の作用及び効果を奏する。
【0112】
また、映像配信装置100は、映像情報取得部10により取得された映像V1を録画する機能を備えていてもよい。つまり、映像配信装置100は、取得した映像V1を不揮発性の記憶装置に記憶させてもよい。
【符号の説明】
【0113】
3 ディスプレイ
10 映像情報取得部
11 映像解析部
12 通知情報検知部
13 通知情報加工部
14 映像情報配信部
15 加工対象受信部
16 加工対象設定部
17 表示方向検知部
100 映像配信装置
200 配信ユーザ端末
300 視聴ユーザ端末
CP1 コンテンツ画像
F4 アイコン
NP1 通知画像
V1 映像
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11