(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】6793383
(24)【登録日】2020年11月12日
(45)【発行日】2020年12月2日
(54)【発明の名称】行動体特定システム
(51)【国際特許分類】
G06T 7/20 20170101AFI20201119BHJP
G08B 21/02 20060101ALI20201119BHJP
【FI】
G06T7/20 300A
G08B21/02
【請求項の数】24
【全頁数】17
(21)【出願番号】特願2020-120309(P2020-120309)
(22)【出願日】2020年7月14日
【審査請求日】2020年7月14日
(31)【優先権主張番号】特願2020-90208(P2020-90208)
(32)【優先日】2020年5月25日
(33)【優先権主張国】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】518126409
【氏名又は名称】株式会社アジラ
(74)【代理人】
【識別番号】100176256
【弁理士】
【氏名又は名称】相田 隆敬
(72)【発明者】
【氏名】木村 大介
【審査官】
山田 辰美
(56)【参考文献】
【文献】
特許第6692086(JP,B1)
【文献】
特許第6647489(JP,B1)
【文献】
特開2011−107765(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00−7/90
G08B 21/02
(57)【特許請求の範囲】
【請求項1】
多数の行動体の標準的な動作に関する標準動作モデルが記憶される記憶部と、
複数の第1の時系列画像に映った第1の行動体の動作を取得する第1の動作取得部と、
前記取得された第1の行動体の動作が前記標準動作モデルに含まれない場合、前記取得された動作を非標準動作として前記第1の行動体と紐づけて登録する登録部と、
複数の第2の時系列画像に映った第2の行動体の動作を取得する第2の動作取得部と、
前記取得された第2の行動体の動作が前記非標準動作と所定以上の一致度を有する場合に、前記第2の行動体を前記第1の行動体として特定する特定部と、
を備えたことを特徴とする行動体特定システム。
【請求項2】
前記登録部は、前記第1の行動体の動作について、複数の前記非標準動作を登録し、
前記第2の動作取得部は、前記複数の第2の時系列画像に映った第2の行動体の複数の動作を取得し、
前記特定部は、前記取得された第2の行動体の複数の動作のうち、前記複数の非標準動作と前記所定以上の一致度を有するものが所定割合以上あった場合に、前記第2の行動体を前記第1の行動体として特定することを特徴とする請求項1に記載の行動体特定システム。
【請求項3】
報知を行うことを決定する報知決定部と、
所定の場所を撮影した前記複数の第2の時系列画像において、他の行動体により前記第2の行動体に対して支援が行われたことを示す支援情報を取得する支援情報取得部と、
を更に備え、
前記支援が行われた第2の行動体が前記第1の行動体として前記特定部により特定され、前記支援情報が前記支援情報取得部により取得されると、前記登録部は、前記登録された第1の行動体を支援対象として登録し、
前記第2の動作取得部によって新たに取得された第2の行動体が前記支援対象として登録された第1の行動体として前記特定部により特定されると、前記報知決定部は報知を行うことを決定することを特徴とする請求項1又は2に記載の行動体特定システム。
【請求項4】
報知を行うことを決定する報知決定部と、
複数の第3の時系列画像に映った第3の行動体の複数の動作を取得する第3の動作取得部と、
を更に備え、
前記記憶部には、支援を必要とする複数の非標準動作が更に記憶されており、
前記取得された第3の行動体の複数の動作のうち、前記記憶部に記憶された前記複数の非標準動作と所定以上の一致度を有するものが所定割合以上あった場合に、前記報知決定部は報知を行うことを決定することを特徴とする請求項1又は2に記載の行動体特定システム。
【請求項5】
多数の行動体の標準的な動作に関する標準動作モデルが記憶されたコンピュータにインストールされるプログラムであって、
複数の第1の時系列画像に映った第1の行動体の動作を取得するステップと、
前記取得された第1の行動体の動作が前記標準動作モデルに含まれない場合、前記取得された動作を非標準動作として前記第1の行動体と紐づけて登録するステップと、
複数の第2の時系列画像に映った第2の行動体の動作を取得するステップと、
前記取得された第2の行動体の動作が前記非標準動作と所定以上の一致度を有する場合に、前記第2の行動体を前記第1の行動体として特定するステップと、
を備えたことを特徴とする行動体特定プログラム。
【請求項6】
前記登録するステップでは、前記第1の行動体の動作について、複数の前記非標準動作を登録し、
前記第2の行動体の動作を取得するステップでは、前記複数の第2の時系列画像に映った第2の行動体の複数の動作を取得し、
前記特定するステップでは、前記取得された第2の行動体の複数の動作のうち、前記複数の非標準動作と前記所定以上の一致度を有するものが所定割合以上あった場合に、前記第2の行動体を前記第1の行動体として特定することを特徴とする請求項5に記載の行動体特定プログラム。
【請求項7】
報知を行うことを決定するステップと、
所定の場所を撮影した前記複数の第2の時系列画像において、他の行動体により前記第2の行動体に対して支援が行われたことを示す支援情報を取得するステップと、
を更に備え、
前記登録するステップでは、前記支援が行われた第2の行動体が前記第1の行動体として前記特定するステップで特定され、前記支援情報が前記支援情報を取得するステップで取得されると、前記登録された第1の行動体を支援対象として登録し、
前記第2の行動体の動作を取得するステップで新たに取得された第2の行動体が、前記支援対象として登録された第1の行動体として前記特定するステップで特定されると、前記報知を行うことを決定するステップでは、報知を行うことを決定すること特徴とする請求項5又は6に記載の行動体特定プログラム。
【請求項8】
報知を行うことを決定するステップと、
複数の第3の時系列画像に映った第3の行動体の複数の動作を取得するステップと、
を更に備え、
前記コンピュータには、支援を必要とする複数の非標準動作が更に記憶されており、
前記取得された第3の行動体の複数の動作のうち、前記コンピュータに記憶された前記複数の非標準動作と所定以上の一致度を有するものが所定割合以上あった場合に、前記報知を行うことを決定するステップでは、報知を行うことを決定することを特徴とする請求項5又は6に記載の行動体特定プログラム。
【請求項9】
多数の行動体の標準的な動作に関する標準動作モデルが記憶される記憶部と、
複数の第1の時系列画像に映った第1の行動体の動作を取得する第1の動作取得部と、
前記取得された第1の行動体の動作が前記標準動作モデルに含まれない場合、前記取得された動作を非標準動作として前記第1の行動体と紐づけて登録する登録部と、
を備え、
複数の第2の時系列画像に映った第2の行動体の動作を取得する第2の動作取得部と、前記取得された第2の行動体の動作が前記非標準動作と所定以上の一致度を有する場合に、前記第2の行動体を前記第1の行動体として特定する特定部と、を有する行動体特定装置との間で通信可能であることを特徴とする非標準動作登録装置。
【請求項10】
前記登録部は、前記第1の行動体の動作について、複数の前記非標準動作を登録し、
前記第2の動作取得部は、前記複数の第2の時系列画像に映った第2の行動体の複数の動作を取得し、
前記特定部は、前記第2の動作取得部により取得された第2の行動体の複数の動作のうち、前記複数の非標準動作と前記所定以上の一致度を有するものが所定割合以上あった場合に、前記第2の行動体を前記第1の行動体として特定することを特徴とする請求項9記載の非標準動作登録装置。
【請求項11】
報知を行うことを決定する報知決定部と、
所定の場所を撮影した前記複数の第2の時系列画像において、他の行動体により前記第2の行動体に対して支援が行われたことを示す支援情報を取得する支援情報取得部と、
を更に備え、
前記第2の動作取得部は、所定の場所を撮影した前記複数の第2の時系列画像において、他の行動体により前記第2の行動体に対して支援が行われたことを示す支援情報を更に取得し、
前記支援が行われた第2の行動体が前記第1の行動体として前記特定部により特定され、前記支援情報取得部が前記支援情報により取得されると、前記登録部は、前記登録された第1の行動体を支援対象として登録し、
前記第2の動作取得部によって新たに取得された第2の行動体が前記支援対象として登録された第1の行動体として前記特定部により特定されると、前記報知決定部は報知を行うことを決定することを特徴とする請求項9又は10に記載の非標準動作登録装置。
【請求項12】
報知を行うことを決定する報知決定部と、
複数の第3の時系列画像に映った第3の行動体の複数の動作を取得する第3の動作取得部と、
を更に備え、
前記記憶部又は前記行動体特定装置には、支援を必要とする複数の非標準動作が更に記憶されており、
前記取得された第3の行動体の複数の動作のうち、前記記憶された前記複数の非標準動作と所定以上の一致度を有するものが所定割合以上あった場合に、前記報知決定部は報知を行うことを決定することを特徴とする請求項9又は10に記載の非標準動作登録装置。
【請求項13】
多数の行動体の標準的な動作に関する標準動作モデルが記憶されたコンピュータにインストールされるプログラムであって、
複数の第1の時系列画像に映った第1の行動体の動作を取得するステップと、
前記取得された第1の行動体の動作が前記標準動作モデルに含まれない場合、前記取得された動作を非標準動作として前記第1の行動体と紐づけて登録するステップと、
を備え、
前記コンピュータは、複数の第2の時系列画像に映った第2の行動体の動作を取得する第2の動作取得部と、前記取得された第2の行動体の動作が前記非標準動作と所定以上の一致度を有する場合に、前記第2の行動体を前記第1の行動体として特定する特定部と、を有する行動体特定装置との間で通信可能であることを特徴とする非標準動作登録プログラム。
【請求項14】
前記登録するステップでは、前記第1の行動体の動作について、複数の前記非標準動作を登録し、
前記第2の動作取得部は、前記複数の第2の時系列画像に映った第2の行動体の複数の動作を取得し、
前記特定部は、前記第2の動作取得部により取得された第2の行動体の複数の動作のうち、前記複数の非標準動作と前記所定以上の一致度を有するものが所定割合以上あった場合に、前記第2の行動体を前記第1の行動体として特定することを特徴とする請求項13に記載の非標準動作登録プログラム。
【請求項15】
報知を行うことを決定するステップと、
所定の場所を撮影した前記複数の第2の時系列画像において、他の行動体により前記第2の行動体に対して支援が行われたことを示す支援情報を取得するステップと、
を更に備え、
前記第2の動作取得部は、所定の場所を撮影した前記複数の第2の時系列画像において、他の行動体により前記第2の行動体に対して支援が行われたことを示す支援情報を更に取得し、
前記支援が行われた第2の行動体が前記第1の行動体として前記特定部により特定され、前記支援情報が前記支援情報を取得するステップで取得されると、前記登録するステップでは、前記登録された第1の行動体を支援対象として登録し、
前記第2の動作取得部によって新たに取得された第2の行動体が前記支援対象として登録された第1の行動体として前記特定部により特定されると、前記報知を行うことを決定するステップでは、報知を行うことを決定することを特徴とする請求項13又は14に記載の非標準動作登録プログラム。
【請求項16】
報知を行うことを決定するステップと、
複数の第3の時系列画像に映った第3の行動体の複数の動作を取得するステップと、
を更に備え、
前記コンピュータ又は前記行動体特定装置には、支援を必要とする複数の非標準動作が更に記憶されており、
前記取得された第3の行動体の複数の動作のうち、前記記憶された前記複数の非標準動作と所定以上の一致度を有するものが所定割合以上あった場合に、前記報知を行うことを決定するステップでは、報知を行うことを決定することを特徴とする請求項13又は14に記載の非標準動作登録プログラム。
【請求項17】
多数の行動体の標準的な動作に関する標準動作モデルが記憶される記憶部と、複数の第1の時系列画像に映った第1の行動体の動作を取得する第1の動作取得部と、前記取得された第1の行動体の動作が前記標準動作モデルに含まれない場合、前記取得された動作を非標準動作として前記第1の行動体と紐づけて登録する登録部と、を有する非標準動作登録装置との間で通信可能な行動体特定装置であって、
複数の第2の時系列画像に映った第2の行動体の動作を取得する第2の動作取得部と、
前記取得された第2の行動体の動作が前記非標準動作と所定以上の一致度を有する場合に、前記第2の行動体を前記第1の行動体として特定する特定部と、
を備えたことを特徴とする行動体特定装置。
【請求項18】
前記登録部は、前記第1の行動体の動作について、複数の前記非標準動作を登録し、
前記第2の動作取得部は、前記複数の第2の時系列画像に映った第2の行動体の複数の動作を取得し、
前記特定部は、前記第2の動作取得部により取得された第2の行動体の複数の動作のうち、前記複数の非標準動作と前記所定以上の一致度を有するものが所定割合以上あった場合に、前記第2の行動体を前記第1の行動体として特定することを特徴とする請求項17に記載の行動体特定装置。
【請求項19】
報知を行うことを決定する報知決定部と、
所定の場所を撮影した前記複数の第2の時系列画像において、他の行動体により前記第2の行動体に対して支援が行われたことを示す支援情報を取得する支援情報取得部と、
を更に備え、
前記支援が行われた第2の行動体が前記第1の行動体として前記特定部により特定され、前記支援情報が前記支援情報取得部により取得されると、前記登録部は、前記登録された第1の行動体を支援対象として登録し、
前記第2の動作取得部によって新たに取得された第2の行動体が前記支援対象として登録された第1の行動体として前記特定部により特定されると、前記報知決定部は報知を行うことを決定することを特徴とする請求項17又は18に記載の行動体特定装置。
【請求項20】
報知を行うことを決定する報知決定部と、
複数の第3の時系列画像に映った第3の行動体の複数の動作を取得する第3の動作取得部と、
を更に備え、
前記記憶部又は別途設けられた記憶部には、支援を必要とする複数の非標準動作が更に記憶されており、
前記取得された第3の行動体の複数の動作のうち、前記記憶された前記複数の非標準動作と所定以上の一致度を有するものが所定割合以上あった場合に、前記報知決定部は報知を行うことを決定することを特徴とする請求項17又は18に記載の行動体特定装置。
【請求項21】
多数の行動体の標準的な動作に関する標準動作モデルが記憶される記憶部と、複数の第1の時系列画像に映った第1の行動体の動作を取得する第1の動作取得部と、前記取得された第1の行動体の動作が前記標準動作モデルに含まれない場合、前記取得された動作を非標準動作として前記第1の行動体と紐づけて登録する登録部と、を有する非標準動作登録装置との間で通信可能なコンピュータにインストールされるプログラムであって、
複数の第2の時系列画像に映った第2の行動体の動作を取得するステップと、
前記取得された第2の行動体の動作が前記非標準動作と所定以上の一致度を有する場合に、前記第2の行動体を前記第1の行動体として特定するステップと、
を備えたことを特徴とする行動体特定プログラム。
【請求項22】
前記登録部は、前記第1の行動体の動作について、複数の前記非標準動作を登録し、
前記第2の行動体の動作を取得するステップでは、前記複数の第2の時系列画像に映った第2の行動体の複数の動作を取得し、
前記特定するステップでは、前記取得された第2の行動体の複数の動作のうち、前記複数の非標準動作と前記所定以上の一致度を有するものが所定割合以上あった場合に、前記第2の行動体を前記第1の行動体として特定することを特徴とする請求項21に記載の行動体特定プログラム。
【請求項23】
報知を行うことを決定するステップと、
所定の場所を撮影した前記複数の第2の時系列画像において、他の行動体により前記第2の行動体に対して支援が行われたことを示す支援情報を取得するステップと、
を更に備え、
前記支援が行われた第2の行動体が前記第1の行動体として前記特定するステップで特定され、前記支援情報が前記支援情報を取得するステップで取得されると、前記登録部は、前記登録された第1の行動体を支援対象として登録し、
前記第2の行動体の動作を取得するステップで新たに取得された第2の行動体が、前記支援対象として登録された第1の行動体として前記特定するステップで特定されると、前記報知を行うことを決定するステップでは、報知を行うことを決定すること特徴とする請求項21又は22に記載の行動体特定プログラム。
【請求項24】
報知を行うことを決定するステップと、
複数の第3の時系列画像に映った第3の行動体の複数の動作を取得するステップと、
を更に備え、
前記記憶部又は前記コンピュータには、支援を必要とする複数の非標準動作が更に記憶されており、
前記取得された第3の行動体の複数の動作のうち、前記記憶された前記複数の非標準動作と所定以上の一致度を有するものが所定割合以上あった場合に、前記報知を行うことを決定するステップでは、報知を行うことを決定することを特徴とする請求項21又は22に記載の行動体特定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、行動体の特徴的な動作に基づき、時系列画像に映った行動体を高精度に特定することの可能な行動体特定システムに関する。
【背景技術】
【0002】
従来より、リハビリテーション対象者の動作の特徴を表す対象者動作特徴情報を記憶しておき、当該対象者動作特徴情報に基づき、画像に映った対象者がリハビリテーション対象者であるが否かを判定する動作情報処理装置が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第6675462号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記技術では、例えば「足を引きずっている」という対象者動作特徴情報の場合、「動作が行われている間の足根のy座標の最大変化量が1cm未満」のように、対象者動作特徴情報ごとに判定基準を設ける必要があるため、判定基準が設けられていない動作では、リハビリテーション対象者を特定することができない。
【0005】
また、判定基準が設けられている対象者動作特徴であっても、判定基準を満たす複数の人物が画像に映っている場合には、他の要素も考慮しなければ、リハビリテーション対象者を特定することができない。
【0006】
そこで、本発明は、行動体の特徴的な動作に基づき、時系列画像に映った行動体を高精度に特定することの可能な行動体特定システムを提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明は、多数の行動体の標準的な動作に関する標準動作モデルが記憶される記憶部と、複数の第1の時系列画像に映った第1の行動体の動作を取得する第1の動作取得部と、前記取得された第1の行動体の動作が前記標準動作モデルに含まれない場合、前記取得された動作を非標準動作として前記第1の行動体と紐づけて登録する登録部と、複数の第2の時系列画像に映った第2の行動体の動作を取得する第2の動作取得部と、前記取得された第2の行動体の動作が前記非標準動作と所定以上の一致度を有する場合に、前記第2の行動体を前記第1の行動体として特定する特定部と、を備えたことを特徴とする行動体特定システムを提供している。
【0008】
このような構成によれば、“標準動作モデル”に含まれない特徴的な動作(“非標準動作”)に基づき、行動体を特定するので、顔が判然としない場合(行動体が遠くに映っている場合、ヘルメットやマスクをしている場合、整形を行っている場合等)、指紋を消している場合等であっても、時系列画像に映った行動体を高精度に特定することが可能となる。また、“登録段階”において、所定の“非標準動作”を検出するのではなく、“標準動作モデル”に含まれない動作を“非標準動作”であると判断する構成であるため、所定の“非標準動作”を定めたり、所定の“非標準動作”であると判断するための判断基準を設ける必要がない。更に、“特定段階”において、検出された動作が所定の“非標準動作”に対して設けられた判定基準を満たしているか否かで行動体を特定するのではなく、登録部に登録された“非標準動作”と、第2の検出部により検出された動作と、を直接比較するので、精度よく行動体の特定を行うことが可能となる。
【0009】
また、前記登録部は、前記第1の行動体の動作について、複数の前記非標準動作を登録し、前記第2の動作取得部は、前記複数の第2の時系列画像に映った第2の行動体の複数の動作を取得し、前記特定部は、前記取得された第2の行動体の複数の動作のうち、前記複数の非標準動作と前記所定以上の一致度を有するものが所定割合以上あった場合に、前記第2の行動体を前記第1の行動体として特定することが好ましい。
【0010】
このような構成によれば、複数の“非標準動作”を検出した場合に第2の行動体を第1の行動体として特定するので、より精度よく行動体の特定を行うことが可能となる。
【0011】
また、報知を行うことを決定する報知決定部と、所定の場所を撮影した前記複数の第2の時系列画像において、他の行動体により前記第2の行動体に対して支援が行われたことを示す支援情報を取得する支援情報取得部と、を更に備え、前記支援が行われた第2の行動体が前記第1の行動体として前記特定部により特定され、前記支援情報が前記支援情報取得部により取得されると、前記登録部は、前記登録された第1の行動体を支援対象として登録し、前記第2の動作取得部によって新たに取得された第2の行動体が前記支援対象として登録された第1の行動体として前記特定部により特定されると、前記報知決定部は報知を行うことを決定することが好ましい。
【0012】
このような構成によれば、支援を必要とする行動体が自動的に登録されることになるので、支援を必要とする行動体に対して適切かつ迅速に対応を行うことが可能となる。
【0013】
また、報知を行うことを決定する報知決定部と、複数の第3の時系列画像に映った第3の行動体の複数の動作を取得する第3の動作取得部を更に備え、前記記憶部には、支援を必要とする複数の非標準動作が更に記憶されており、前記取得された第3の行動体の複数の動作のうち、前記記憶部に記憶された前記複数の非標準動作と所定以上の一致度を有するものが所定割合以上あった場合に、前記報知決定部は報知を行うことを決定することが好ましい。
【0014】
このような構成によれば、支援を必要とする可能性の高い行動体に対して幅広く対応を行うことが可能となる。
【0015】
また、本発明の別の観点によれば、多数の行動体の標準的な動作に関する標準動作モデルが記憶されたコンピュータにインストールされるプログラムであって、複数の第1の時系列画像に映った第1の行動体の動作を取得するステップと、前記取得された第1の行動体の動作が前記標準動作モデルに含まれない場合、前記取得された動作を非標準動作として前記第1の行動体と紐づけて登録するステップと、複数の第2の時系列画像に映った第2の行動体の動作を取得するステップと、前記取得された第2の行動体の動作が前記非標準動作と所定以上の一致度を有する場合に、前記第2の行動体を前記第1の行動体として特定するステップと、を備えたことを特徴とする行動体特定プログラムを提供している。
【0016】
また、本発明の別の観点によれば、多数の行動体の標準的な動作に関する標準動作モデルが記憶される記憶部と、複数の第1の時系列画像に映った第1の行動体の動作を取得する第1の動作取得部と、前記取得された第1の行動体の動作が前記標準動作モデルに含まれない場合、前記取得された動作を非標準動作として前記第1の行動体と紐づけて登録する登録部と、を備え、複数の第2の時系列画像に映った第2の行動体の動作を取得する第2の動作取得部と、前記取得された第2の行動体の動作が前記非標準動作と所定以上の一致度を有する場合に、前記第2の行動体を前記第1の行動体として特定する特定部と、を有する行動体特定装置との間で通信可能であることを特徴とする非標準動作登録装置を提供している。
【0017】
また、本発明の別の観点によれば、多数の行動体の標準的な動作に関する標準動作モデルが記憶されたコンピュータにインストールされるプログラムであって、複数の第1の時系列画像に映った第1の行動体の動作を取得するステップと、前記取得された第1の行動体の動作が前記標準動作モデルに含まれない場合、前記取得された動作を非標準動作として前記第1の行動体と紐づけて登録するステップと、を備え、前記コンピュータは、複数の第2の時系列画像に映った第2の行動体の動作を取得する第2の動作取得部と、前記取得された第2の行動体の動作が前記非標準動作と所定以上の一致度を有する場合に、前記第2の行動体を前記第1の行動体として特定する特定部と、を有する行動体特定装置との間で通信可能であることを特徴とする非標準動作登録プログラムを提供している。
【0018】
また、本発明の別の観点によれば、多数の行動体の標準的な動作に関する標準動作モデルが記憶される記憶部と、複数の第1の時系列画像に映った第1の行動体の動作を取得する第1の動作取得部と、前記取得された第1の行動体の動作が前記標準動作モデルに含まれない場合、前記取得された動作を非標準動作として前記第1の行動体と紐づけて登録する登録部と、を有する非標準動作登録装置との間で通信可能な行動体特定装置であって、複数の第2の時系列画像に映った第2の行動体の動作を取得する第2の動作取得部と、前記取得された第2の行動体の動作が前記非標準動作と所定以上の一致度を有する場合に、前記第2の行動体を前記第1の行動体として特定する特定部と、を備えたことを特徴とする行動体特定装置を提供している。
【0019】
また、本発明の別の観点によれば、多数の行動体の標準的な動作に関する標準動作モデルが記憶される記憶部と、複数の第1の時系列画像に映った第1の行動体の動作を取得する第1の動作取得部と、前記取得された第1の行動体の動作が前記標準動作モデルに含まれない場合、前記取得された動作を非標準動作として前記第1の行動体と紐づけて登録する登録部と、を有する非標準動作登録装置との間で通信可能なコンピュータにインストールされるプログラムであって、複数の第2の時系列画像に映った第2の行動体の動作を取得するステップと、前記取得された第2の行動体の動作が前記非標準動作と所定以上の一致度を有する場合に、前記第2の行動体を前記第1の行動体として特定するステップと、を備えたことを特徴とする行動体特定プログラムを提供している。
【発明の効果】
【0020】
本発明の行動体特定システム異常行動によれば、行動体の特徴的な動作に基づき、時系列画像に映った行動体を高精度に特定することの可能となる。
【図面の簡単な説明】
【0021】
【
図1】本発明の実施の形態による時系列画像の説明図
【
図2】本発明の実施の形態による行動体特定システムのブロック図
【
図3】本発明の実施の形態による行動体特定のフローチャート
【
図4】本発明の変形例による行動体特定システムのブロック図
【発明を実施するための形態】
【0022】
以下、本発明の実施の形態による行動体特定システム1について、
図1−
図3を参照して説明する。
【0023】
行動体特定システム1は、
図1に示すように、撮影手段によって撮影された複数の時系列画像X(動画を構成する各フレーム等)に映った行動体Yを特定するためのものである。
【0024】
本実施の形態では、ある場所で撮影された複数の時系列画像X1(
図1(a))を取得し、複数の時系列画像X1に映った第1の行動体Y1の特徴的な動作を登録しておき、その後、任意の場所で撮影された複数の時系列画像X2(
図2(a))を取得し、複数の時系列画像X2に映った第2の行動体Y2の特徴的な動作を、登録された第1の行動体Y1の特徴的な動作と比較することで、第2の行動体Y2が第1の行動体Y1であるか否かを判定する。本実施の形態では、行動体Yとして人間を採用し、理解容易のため、行動体Yを骨格だけで簡易的に表示する。
【0025】
行動体特定システム1は、
図2に示すように、記憶部2と、第1の検出部3と、第1の動作取得部4と、登録部5と、第2の検出部6と、第2の動作取得部7と、特定部8と、を備えている。本実施の形態では、
図2に示すように、記憶部2と、第1の動作取得部4と、登録部5と、第2の動作取得部7と、特定部8と、がサーバに設けられており、外部に設けられた第1の検出部3及び第2の検出部6と通信可能なものとする。
【0026】
記憶部2には、多数の行動体の標準的な動作に関する“標準動作モデル”が記憶されている。本実施の形態では、“標準動作モデル”は、人間の一般的な動作の標準的なモデルを示したものとする。
【0027】
一般的な動作の種類としては、「歩く」、「走る」、「座る」等が考えられ、記憶部2には、一般的な動作の種類ごとに“標準動作モデル”が記憶されている。
【0028】
一方で、「頭をかく」、「鼻を触る」、「腰に手を当てる」等のイレギュラーな動作や癖などに関しては、“標準動作モデル”が記憶されていない。
【0029】
但し、一般的な動作は、上記したものに限定されず、行動体特定システム1の使用目的に応じて、必要な動作の“標準動作モデル”を記憶すれば良い。従って、例えば、「頭をかく」という動作が必要な場合には、「頭をかく」という動作の“標準動作モデル”が記憶されることとなる。
【0030】
また、“多数の行動体の標準的な動作”は、“人類全体の標準的な動作”に限定されず、例えば、“日本人全体の標準的な動作”、“大人(子供)全体の標準的な動作”、“行動体特定システム1が使用される施設等への入退場者全体の標準的な動作”等、目的に応じたものを記憶すれば良い。
【0031】
なお、“標準動作モデル”は、予め記憶部2内に記憶されていても良いが、本実施の形態では、行動体特定システム1内で、多数の行動体から検出された多数の動作(複数の関節の動き)に基づき決定するものとする。
【0032】
この場合、多数の行動体の時系列画像から一般的な動作として設定された動作を検出し、各動作に関し、検出された全動作の中で所定(閾値)以上の割合を有する動作を“標準動作モデル”として決定する等が考えられる。
【0033】
また、記憶部2には、“関節識別基準”と、“行動体特定基準”と、も記憶されている。
【0034】
“関節識別基準”は、行動体(人間)の複数の関節(首、右肘、左肘、腰、右膝、左膝等)を識別するためのものであり、関節ごとに、それぞれを識別するための形状、方向、サイズ等を示したものである。
【0035】
“行動体特定基準”は、行動体(人間)の様々なバリエーション(“歩行”、“直立”等)の “基本姿勢 “、”各関節の可動域“、一の行動体における”各関節間の距離“等を示したものである。
【0036】
第1の検出部3は、複数の第1の時系列画像X1に映った第1の行動体Y1の動作を検出する。本実施の形態では、複数の第1の時系列画像X1に映った第1の行動体Y1を特定した上で、特定された第1の行動体Y1の動作を検出する。
【0037】
行動体の特定としては、公知の方法を用いることもできるが、本実施の形態では、記憶部2に記憶された“関節識別基準”に該当する複数の関節を検出した上で、“行動体特定基準”を参照して、行動体Yに含まれる複数の関節を特定する。
【0038】
動作の検出としては、所定の動作を行った場合の各関節の動きを記憶部2に記憶しておき、特定された行動体Yを公知のトラッキング方法等でトラッキングして各関節の該当する動きを検出した場合に当該所定の動作を行ったと検出してもよいし、関節全体の動き、腰の関節の動き、重心の動き(XYZ方向への移動速度)等を単に検出するだけでもよい。
【0039】
第1の動作取得部4は、第1の検出部3により検出された第1の行動体Y1の動作を取得する。
【0040】
登録部5は、取得された第1の行動体Y1の動作が“標準動作モデル”に含まれない場合、取得された動作を“非標準動作”として第1の行動体Y1と紐づけて登録する。
【0041】
“非標準動作”としては、例えば、「歩く(走る)際に片方の肩が上がっている」、「歩く(走る)際に足を引きずり気味である」、「首や腰が曲がった状態で歩いて(走って)いる」、「座る動作が遅い」等の動作が登録される可能性が考えられる。
【0042】
第2の検出部6は、複数の第2の時系列画像X2に映った第2の行動体Y2の動作を検出する。この第2の行動体Y2の特定、及び、行動の検出は、第1の検出部3における第1の行動体Y1の特定、及び、行動の検出と同様の方法で行うことができる。
【0043】
第2の動作取得部7は、第2の検出部6により検出された第2の行動体Y2の動作を取得する。
【0044】
特定部8は、取得された第2の行動体Y2の動作が“非標準動作”と所定以上の一致度を有する場合に、第2の行動体Y2を第1の行動体Y1として特定する。
【0045】
続いて、
図3のフローチャートを用いて、行動体特定システム1による行動体の特定について説明する。
【0046】
行動体の特定は、“登録段階”と“特定段階”の2段階で行われる。
【0048】
“登録段階”では、まず、複数の第1の時系列画像X1に映った第1の行動体Y1の動作を取得する(S1)。このS1は、異なる複数の第1の時系列画像X1に対して行われ、多数の動作を取得することが好ましい。
【0049】
続いて、S1で取得された第1の行動体Y1の動作が“標準動作モデル”に含まれない場合(S2:YES)、取得された動作を“非標準動作”として第1の行動体Y1と紐づけて登録する(S3)。
【0051】
続いて、“特定段階”では、まず、複数の第2の時系列画像X2に映った第2の行動体Y2の動作を取得する(S4)。
【0052】
続いて、S4で取得された第2の行動体Y2の動作がS3で登録された“非標準動作”と所定以上の一致度を有する場合に(S5:YES)、第2の行動体Y2を第1の行動体Y1として特定する(S6)。
【0053】
なお、一の“非標準動作”との一致度を比較するだけでは、正確に特定することができない可能性もあるので、S3において、第1の行動体Y1について複数の“非標準動作”を登録しておき、S4において、第2の行動体Y2の動作を複数取得し、S5において、第2の行動体Y2の複数の動作が登録された複数の“非標準動作”と所定以上の一致度を有する場合に、第2の行動体Y2を第1の行動体Y1として特定することが好ましい。本実施の形態では、検出された第2の行動体Y2の複数の動作と、登録された複数の“非標準動作”と、の全てが一致していなくても、検出された第2の行動体Y2の複数の動作のうち、登録された複数の“非標準動作”と所定以上の一致度を有するものが所定割合以上あった場合に、第2の行動体Y2を第1の行動体Y1として特定するものとする。
【0054】
このような構成を有する行動体特定システム1は、様々な用途で用いることができる。
【0055】
例えば、入館管理、勤怠管理、個人認証(決済システムや駅改札、バス乗車)等を目的として行動体特定システム1を用いる場合には、対象とする行動体の動作を“登録段階”で予め登録しておき、空港、会社の入り口、改札等で“特定段階”を行うことで、入退管理を行うことが可能となる。また、認知症等により徘徊の可能性のある行動体の動作を予め登録しておくことで、街頭カメラに映った映像等から当該行動体を発見することも可能となる。
【0056】
また、犯罪捜査を目的として行動体特定システム1を用いる場合にも、対象とする行動体の動作を“登録段階”で予め登録しておき、対象とする行動体の出没予測地点で“特定段階”を行うことで、対象とする行動体を発見することが可能となる。
【0057】
一方、対象とする行動体が未定の状態で行動体特定システム1を用いることも可能である。
【0058】
例えば、バス、無人店舗、ATM、店舗や公共施設へのリピーター(高齢者や体の不自由な顧客等)には、支援が必要な場合がある。
【0059】
そこで、バス等に行動体特定システム1を設置しておくことで、バス等の利用者の“非標準動作”が、当該利用者と紐づけて自動的に登録される。そして、次回のバス等の利用の際には、当該利用者を特定することができるので、乗車時等にスタッフが支援に駆け付けることが可能となる。
【0060】
以上説明したように、本実施の形態による行動体特定システム1では、“登録段階”において、第1の行動体Y1の動作が“標準動作モデル”に含まれない場合、当該動作を“非標準動作”として第1の行動体Y1と紐づけて登録しておき、“特定段階”において、第2の行動体Y2の動作が“非標準動作”と所定以上の一致度を有する場合に、第2の行動体Y2を第1の行動体Y1として特定する。
【0061】
このような構成によれば、“標準動作モデル”に含まれない特徴的な動作(“非標準動作”)に基づき、行動体を特定するので、顔が判然としない場合(行動体が遠くに映っている場合、ヘルメットやマスクをしている場合、整形を行っている場合等)、指紋を消している場合等であっても、時系列画像に映った行動体を高精度に特定することが可能となる。また、“登録段階”において、所定の“非標準動作”を検出するのではなく、“標準動作モデル”に含まれない動作を“非標準動作”であると判断する構成であるため、所定の“非標準動作”を定めたり、所定の“非標準動作”であると判断するための判断基準を設ける必要がない。更に、“特定段階”において、検出された動作が所定の“非標準動作”に対して設けられた判定基準を満たしているか否かで行動体を特定するのではなく、登録部5に登録された“非標準動作”と、第2の検出部6により検出された動作と、を直接比較するので、精度よく行動体の特定を行うことが可能となる。
【0062】
また、本実施の形態による行動体特定システム1では、“特定段階”において、第2の行動体Y2の複数の動作のうち、複数の“非標準動作”と所定以上の一致度を有するものが所定割合以上あった場合に、第2の行動体Y2を第1の行動体Y1として特定する。
【0063】
このような構成によれば、複数の“非標準動作”を検出した場合に第2の行動体Y2を第1の行動体Y1として特定するので、より精度よく行動体の特定を行うことが可能となる。
【0064】
尚、本発明の行動体特定システムは、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。
【0065】
例えば、上記実施の形態では、バス等での支援について説明を行ったが、特定された全ての行動体が支援を必要としているとは限らない。そこで、
図4に示すように、報知を行うことを決定する報知決定部9と、所定の場所を撮影した複数の第2の時系列画像X2において、他の行動体により第2の行動体Y2に対して支援が行われたことを検出する第3の検出部10と、他の行動体により第2の行動体Y2に対して支援が行われたことを示す支援情報を第3の検出部10から取得する支援情報取得部11と、を更に備える構成が考えられる。
【0066】
この場合、例えば、記憶部2に支援の動作を行った場合の各関節の動きを記憶しておき、支援の動作を行った他の行動体と第2の行動体Y2との距離が所定距離以内であった場合に、第3の検出部10は、他の行動体により第2の行動体Y2に対して支援が行われたことを検出する。
【0067】
そして、支援が行われた第2の行動体Y2が第1の行動体Y1として特定部8により特定され、支援情報が支援情報取得部11により取得されると、登録部5は、登録された第1の行動体Y1を支援対象として登録する。その後、第2の検出部6によって新たに検出された第2の行動体Y2が“支援対象として登録された第1の行動体Y1”として特定部8により特定されると、報知決定部9は報知を行うことを決定する。報知を行うことが決定されると、第2の検出部6が設置されているバス等に音声等でアラートを行えば良い。
【0068】
このような構成によれば、支援を必要とする行動体が自動的に登録されることになるので、支援を必要とする行動体に対して適切かつ迅速に対応を行うことが可能となる。
【0069】
なお、第2の検出部6が第3の検出部10を兼ねる構成であっても良い。同様に、第1の動作取得部4又は第2の動作取得部7が支援情報取得部11を兼ねる構成であっても良い。
【0070】
更に、上記変形例は、登録部5に登録されていない第3の行動体Y3に対しても応用可能である。
【0071】
この場合、
図4に示すように、複数の第3の時系列画像X3に映った第3の行動体Y3の複数の動作を取得する第3の動作取得部12を更に備え、取得された第3の行動体Y3の複数の動作のうち、前記支援対象として登録された第1の行動体Y1の複数の非標準動作と所定以上の一致度を有するものが所定割合以上あった場合に、報知決定部9は報知を行うことを決定する。
【0072】
このような構成によれば、支援対象として登録された第1の行動体Y1と同じような非標準動作を行う行動体(第3の行動体Y3)は、第1の行動体Y1と同様の支援が必要なことが多いので、支援を必要とする可能性の高い行動体に対して幅広く対応を行うことが可能となる。
【0073】
なお、この場合の“所定以上の一致度”、“所定割合”は、第1の実施の形態と同じであっても良いし、異なっていても良い。また、“前記支援対象として登録された第1の行動体Y1の複数の非標準動作”の代わりに、“支援を必要とする複数の非標準動作”を記憶部2に記憶しておき、当該“支援を必要とする複数の非標準動作”と所定以上の一致度を有するものが所定割合以上あった場合に、報知決定部9は報知を行うことを決定してもよい。“支援を必要とする複数の非標準動作”としては、例えば、「足をひきずっている」、「手を膝に当てる」、「手すりを掴む」、「歩く(座る)動作が遅い」等が考えられるが、これらに限らず、状況や目的に応じて設定すれば良い。
【0074】
また、第3の動作取得部12は、第3の行動体Y3の複数の動作を、第1の検出部3、第2の検出部6、第3の検出部10のいずれかから取得してもよいし、他の検出部から取得してもよい。更に、第1の動作取得部4又は第2の動作取得部7が第3の動作取得部12を兼ねる構成であってもよい。
【0075】
また、上記実施の形態では、第1の検出部3と第2の検出部6が行動体システム1に含まれていたが、行動体の動作を取得できれば、行動体特定システム1に含まれていなくても良い。また、非標準動作登録装置(記憶部2、第1の動作取得部4、登録部5)と行動体特定装置(第2の動作取得部7、特定部8)のように別体とし、互いに通信可能な構成にすることも考えられる。
【0076】
また、上記実施の形態では、行動体Yとして人間を例に説明したが、動物やロボットについて使用することも可能である。例えば、動物の場合には、田畑を荒らす個体を特定することが可能となる。
【0077】
また、上記実施の形態では複数の関節の動きに基づいて行動体の動作を検出したが、行動体の動作の検出は、関節の動き以外に基づいて行っても良い。
【0078】
また、上記実施の形態では、第1の時系列画像X1に第1の行動体Y1のみが、第2の時系列画像X2に第2の行動体Y2のみが映っている場合で説明を行ったが、複数の行動体Yが映っている場合であっても同様にして、行動体Yごとに登録及び特定が行われる。この場合、記憶部2に記憶された“関節識別基準”に該当する複数の関節を検出した上で、“行動体特定基準”を参照して、行動体Yに含まれる複数の関節を特定することで、各行動体Yを特定することが可能である。
【0079】
また、本発明は、行動体特定システム1、非標準動作登録装置、行動体特定装置が行う処理に相当するプログラムや、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体としては、CD−ROM等が考えられるが、それに限定されるものではない。なお、上記“支援を必要とする複数の非標準動作”は、記憶部2に限らず、コンピュータや行動体特定装置に記憶されていても良い。
【符号の説明】
【0080】
1 行動体特定システム
2 記憶部
3 第1の検出部
4 第1の動作取得部
5 登録部
6 第2の検出部
7 第2の動作取得部
8 特定部
9 報知決定部
10 第3の検出部
11 支援情報取得部
12 第3の動作取得部
【要約】
【課題】 行動体の特徴的な動作に基づき、時系列画像に映った行動体を高精度に特定することの可能な行動体特定システムを提供する。
【解決手段】 行動体特定システム1は、多数の行動体の標準的な動作に関する標準動作モデルが記憶される記憶部2と、複数の第1の時系列画像X1に映った第1の行動体Y1の動作を取得する第1の動作取得部4と、取得された第1の行動体Y1の動作が標準動作モデルに含まれない場合、取得された動作を非標準動作として第1の行動体Y1と紐づけて登録する登録部5と、複数の第2の時系列画像X2に映った第2の行動体Y2の動作を取得する第2の動作取得部7と、取得された第2の行動体Y2の動作が非標準動作と所定以上の一致度を有する場合に、第2の行動体Y2を第1の行動体Y1として特定する特定部8と、を備えている。
【選択図】
図3