• 検索結果がありません。

テレビ番組制作支援用AI顔認識システムの開発

N/A
N/A
Info
ダウンロード
Protected

Academic year: 2021

シェア "テレビ番組制作支援用AI顔認識システムの開発"

Copied!
5
0
0

読み込み中.... (全文を見る)

今ダウンロードする ( 5 ページ )

全文

（99） 423映像情報メディア学会誌 Vol. 75, No. 3, pp. 423～427（2021）. １．ま え が き. 番組制作現場の課題（ニーズ）. テレビ番組の制作現場では，「映像に誰が映っているか？」. という情報は非常に価値の高いメタデータであり，従来の. ワークフローでは担当スタッフが映像素材を目視で確認. し，映像素材管理システムに人手で情報を入力することで，. 下見，編集，送出など各部門で情報共有され，番組制作に. 活用されている．. 特に今回主に事例として紹介する「2019参議院選挙特番」. などの報道番組では下記のようなニーズがある．. （1）被写体の取り違え（誤報）をゼロにしたい. ・誤報は対象の人生を変えてしまう可能性があるなど，. 社会的な影響が大きい．. ・どんなに厳重に確認してもまれにミスが発生してし. まうことがある．. （2）被写体確認作業を効率化し迅速に報道したい. ・人によるダブル，トリプル，それ以上のチェックを. 行っており，非常に手間がかかる．. ・紙資料やWEBで人の顔を確認するので1人あたり数. 十秒以上かかってしまう．（仮に誰だか見当もつかな. い場合，数十分以上かかることもある．）. ・確認が間に合わずVTRがOAできないこともある．. 「AI顔認識」技術（シーズ）. 一方で，昨今の「AI顔認識」技術の進化は目覚ましい．. 「AI顔認識」とは認識させたい人物の顔画像を事前に辞書. データベースに登録しておくことで，入力された映像に. 映っている被写体が誰であるかを自動で認識させることが. できる技術であり，PC・スマートフォンのログイン，空港. での入国審査，小売店での万引き防止，イベントでの入場. ゲートにおける本人確認など，多種多様な用途で利用され. るようになってきている．. そこで今回，上記のニーズとシーズを組み合わせ，テレ. ビ番組の制作支援と作業効率化を目指した「AI顔認識シス. テム」を開発するに至った．また，当該システムを「2019参. 議院選挙特番」，「即位礼特番」，「ラグビーW杯」などの実. 際の番組制作現場で活用している．. ２．AI顔認識システム表示画面の特徴. AI顔認識システムが認識した結果を，迅速かつ正確に. ユーザが確認できる表示アプリケーションを開発した．図1. にAI顔認識システムの代表的な表示画面を示す．. 【表示アプリの特徴1】本人確率の閾値設定. 事前に登録した顔画像と実際の映像に登場する被写体と. の類似度を元に「本人確率」を計算し，システムの認識結果. として表示するか（採用するかどうか）の閾値とし，任意に. 設定可能な仕様とした．これにより，より高精度な認識結. 果表示が求められる場合には「本人確率」の閾値を高く設定. し，精度を多少犠牲にしてでも多くの顔を認識させたい場. 合は閾値を低く設定するなど，利用シーンによって設定を. 変更できるよう設計した．. 【表示アプリの特徴2】枠の色分け表示. 認識結果を表示する枠の色を前述の「本人確率」によって. 3色に変化させ，ユーザが瞬時に情報の信頼性を判断でき. るようにした．. ※緑：99%以上，黄：90%以上，赤：90%未満. 【表示アプリの特徴3】認識結果の履歴表示. 最大100件の認識結果の履歴を画面右側に表示できる設. あらまし 「AI顔認識」技術（映像に映っている人間の顔が誰であるか自動認識する技術）を用いて，被写体確認作. 業を高精度化かつ高速化することによりテレビ番組の制作支援を行い，2019年の「参議院選挙特番」では，①誤報防. 止（99%超の認識精度），②迅速な報道（被写体確認時間の短縮によりVTRのOA率が前回の約2倍に向上），③作業省. 力化（確認役スタッフを一部削減）の成果を実現した．. キーワード：AI，顔認識，画像認識，テレビ番組，報道，スポーツ. 招待フィールド論文. 2020年7月22日受付，2021年1月21日再受付，2021年3月18日採録. †1 日本テレビ放送網株式会社 （〒105-7444 港区東新橋1-6-1，TEL 03-6215-3718）. †2 株式会社東芝 研究開発センター （〒212-8582 川崎市幸区小向東芝町1，TEL 044-549-2151）. †3 東芝ディジタルソリューションズ株式会社 （〒212-8585 川崎市幸区堀河町72-34，TEL 044-331-1142）. テレビ番組制作支援用AI顔認識システムの開発. Development of AI Face Recognition System for TV Program Production. 正会員 加 藤 大 樹†1，柴 田 智 行†2，疋 田 裕 二†3. Hiroki Kato†1, Tomoyuki Shibata†2 and Yuji Hikida†3. 論文特集■選奨（技術振興賞/映像情報メディア未来賞）受賞者論文. 計とし，今まで映像に登場した人物を容易に確認できるよ. うにした．表示方法の工夫によりユーザが一瞬の認識結果. を見逃してしまった場合などでも情報を確認しやすい仕組. みとした．. ３．AI顔認識エンジンの特徴. 既存の顔認識エンジンはさまざまなものが存在するが，. 制作現場で活用するために下記のような特徴を実現する必. 要があったため，本システム向けのAI顔認識エンジンを. 開発した．. 【エンジンの特徴1】99%超の高精度. 誤報を防ぐという観点から，高精度であることは必須条. 件となる．別のデータセットでの実験においてではあるが，. 一般的に人間による認識精度は97%程度1）と言われており，. 今回はシステムの根幹となるAI顔認識モデルの学習に数. 百万件の大量の顔画像データを用いたこと，さらには悪条. 件の画像（顔が小さい，横を向いている，暗い，等）にも強. いアルゴリズムを実装することで，結果的には99.74%の認. 識精度を達成した．. 参考：認識精度の評価手法. ・評価指標は顔認識システムが出力した候補者認識結果. の「正解率」とし，下記のように定義した（「閾値」は前. 述の「本人確率」の閾値設定を指す）．. ・閾値を変えたときの「正解率」を閾値設定ごとに算出し. たものを表1に示す．. ・今回は評価対象映像（約10時間）から1分1枚の画像を. サンプリングし，評価に使用した．. ・今回の運用では本人確率の閾値を90%以上に指定し，. 認識対象人数はのべ1,164人となり，正解率は99.74%. を記録した．. 【エンジンの特徴2】リアルタイム処理可能. 報道番組などでは，素材入手からOAまでの時間が短い. ことが多く，緊急性の高い素材では瞬時の作業が必要であ. るため，映像が入力されてからほぼリアルタイム（1秒以内）. で認識結果表示される仕様とした．. その際，認識対象人数が増えてしまうと処理が遅延する. 可能性があったため，画面構図の最も中心にいる人物と比. べてサイズが著しく小さい人物（被写体背景の人混み等）は. 認識対象から除外するマスク処理を加えることで，認識対. 象人数を限定し，処理負荷を抑えることを可能にした．な. お，今回のシステムでは同時認識人数を最大20人に抑えた．. 図2に上記マスク処理のイメージ図を示す（黄色矢印の人. 物の顔サイズを基準として青色矢印の人物の顔サイズを比. 較する．相対的に任意の設定値以下の大きさの場合，認識. 対象から除外する）．. 【エンジンの特徴3】顔画像登録は1人1枚でも可. 認識対象1人あたり数十枚などの大量な学習データを準. 備することは非常に手間がかかるため，番組制作のワーク. フロー的に難しいことが多い．また，学習データが多くな. ればなるほど間違いデータが紛れ込むリスクが高くなり認. 識精度の低下や誤認識を招く原因にもなる．. 映像情報メディア学会誌 Vol. 75, No. 3（2021）424 （100）. 図1 AI顔認識システムの代表的な表示画面. 表1 正解率（認識精度）の評価表. そのため，今回開発したシステムでは1人1枚の顔画像. からでも認識が可能となる仕組みにした．これにより，. ユーザはその1人1枚の画像のみ準備および確認すればよ. く，準備作業の負荷を軽減することができた．. 顔画像から個人を識別するための特徴量を抽出する特徴. 抽出器の学習に，多様な人物の顔向き・表情・照明など多. 数の条件で撮影した顔画像を大量に用いることで，撮影条. 件の変動が生じたとしても同一人物同士類似し，他人とは. 類似しない特徴量が得られる．そのため，映像からの多様. な変動に影響されない特徴抽出が可能であり，システム運. 用時には1人1枚の顔画像を登録することで，高い本人照. 合精度を実現することができる．. 【エンジンの特徴4】人物トラッキング（追従機能）. カメラとの角度や顔向きにより顔の多くの部分が見えな. い状態や，人物同士の重なりにより顔の多くの部分が隠れ. ることにより，登録画像との類似度が低下し認識できない. 問題があった．. そのため顔認識とは別に，人物領域を追跡する「トラッ. キング機能」を加え併用することで，顔向きや隠れにより. 一時的に類似度が低下した場合でも，認識し続けることが. 可能になった．図3に複数人が重なる場合のシステム画面. 表示例を示す．. ４．参院選特番でのAI顔認識システムの構成と 運用. 図4に今回「2019参院選特番」（日本テレビ，2019/7/21）. で運用した際の，AI顔認識システムの構成を示す．. また，下記の手順でシステム運用を行った．. （1）認識させたい被写体の顔画像を「顔認識PC」に登録す. る．今回の運用では，2019年参院選の候補者全員（約. 370枚）に，過去の候補者画像（約2000枚）を加えた合. 計約2370枚の顔画像を登録し，候補者に限らず，幅. 広く被写体を認識できるようにした．. （2）認識させたい映像を「顔認識PC」にHD-SDIで入力し，. 事前に登録した顔画像と照合して顔認識処理を行う．. その結果をJSONファイルの形式（人物，登録画像と. の類似度等の各種情報を含んだ形式）で出力し「結果. 表示PC」に入力する．. （3）「結果表示PC」上で，入力されたJSONファイル情報. を元に，ユーザ用の画面表示を生成する．. 参院選特番での具体的なシステム活用. 選挙特番は放送局の番組の中でも，最も高度な情報の正. 確性と迅速性が求められる番組の1つであり，厳しい環境. で運用を行うことで，本システムの有効性の検証を行うこ. とができた．具体的には下記のような活用を行った．. （101） 425招待フィールド論文□テレビ番組制作支援用AI顔認識システムの開発. 図3 複数人が重なる場合のシステム画面表示例. 図2 マスク処理イメージ図. 【活用実績①】収録素材の被写体確認＆メタデータ入力. 日本テレビ本社へ日本各地から30系統以上の回線で伝送. される大量の素材の被写体確認用に，通常は専属スタッフ. が配置される．そのスタッフによる確認が完了しないと編. 集やOAに使用できないが，今回はその確認作業のサポー. トにAI顔認識システムを利用した．図5に素材収録エリア. におけるAI顔認識システム利用の様子を示す．. システム活用の成果①. ・高精度な認識（99.74%）により誤報防止に貢献した．. ・AI顔認識システムの精度が高いことがわかったため，. 確認専門のスタッフ1名を削減した．当該スタッフは. 人間にしかできない別の業務に担当を変更した．. ・被写体確認待ち時間が大幅に短縮され，作業の効率化. が実現できた．. ※被写体の確認にかかる時間の目安. 人間：1人あたり数十秒（紙資料やWEBによる確認）. AI顔認識：1画像20人まで同時に1秒以内. 【活用実績②】編集済み素材OA前の被写体確認. OA映像における被写体の間違いは絶対に避けなければ. ならず，通常はベテランの報道記者と技術スタッフが最終. 確認作業を目視で行っているが，今回はその作業のサポー. トにAI顔認識システムを利用した．図6にOA素材確認エ. リアにおけるAI顔認識システム利用の様子を示す．. システム活用の成果②. ・高精度な認識（99.74%）により誤報防止に貢献した．. ・ AI顔認識システムが人間の負荷を軽減することがで. き，人間にしかできない番組演出作業などに注力する. ことができた．. ・被写体確認時間が大幅に短縮されたことで，VTRの. OA率が前回選挙特番と比較して約2倍となった．確認. に時間がかかるとOAタイミングを逃し「お蔵入り」に. なることがあるが，迅速な確認作業によりこの「お蔵. 入り」が減ったためだと思われる．. ５．む す び. AI顔認識システムの導入により，人間を上回る高精度か. 映像情報メディア学会誌 Vol. 75, No. 3（2021）426 （102）. 図6 OA素材確認エリアにおけるシステム利用の様子. 図5 素材収録エリアにおけるシステム利用の様子. 図4 AI顔認識システムの構成. （103） 427招待フィールド論文□テレビ番組制作支援用AI顔認識システムの開発. つ短時間での被写体確認作業を実現することができた．そ. れにより，現場のニーズであった「誤報の防止」，と「迅速. な報道」に貢献することができた．. 参院選特番での成果を受け，他番組への利用展開も開始. しており，2019年10月の即位礼特番では映像に登場した. 海外要人が誰であるかの確認に使用した（図7）．. また，2019年9～11月のラグビーW杯では特に海外チー. ムの選手が誰であるかの確認作業に利用するとともに，AI. 顔認識システムの認識結果をCGシステムとも連携させ，. 自動で選手名の入ったCGをスタンバイさせるという運用. も行った（図8）．. 今後，他番組への利用展開や，実際の番組制作設備への. 導入はもちろん，番組素材二次利用時の著作権管理への応. 用など更なる検証も進めていく予定である．. 〔文 献〕. 1）N. Kumar, A.C. Berg, P.N. Belhumeur and S.K. Nayar: "Attribute and. Simile Classifiers for Face Verification. International Conference on. Computer Vision (ICCV)" (2009). 図7 即位礼特番時のAI顔認識システム利用例. 疋田 ひ き だ. 裕二 ゆ う じ. 2015年，東芝ディジタルソリューショ ンズ（株）入社．メディア・サービスソリューション技術 部にて，放送局向けのシステムの開発などに従事．. 柴田 し ば た. 智行 ともゆき. 2005年，（株）東芝入社．研究開発セン ター知能化システム研究所メディアAIラボラトリーにて 画像認識・機械学習の研究・開発に従事．. 加藤 か と う. 大樹 ひ ろ き. 2003年，日本テレビ放送網（株）入社． 技術統括局技術戦略統括部にてAIをコンテンツ制作に応 用する研究・開発などに従事．正会員．. 図8 ラグビーW杯時のAI顔認識システム利用例

参照

今ダウンロードする ( PDF - 5 ページ - 5.49 MB )

関連したドキュメント

介護記録システムにおける機能語の共起性に関する分析及びコミュニケーション支援の提案

Co-occurrence of Functional Word and Proposal of Communication Support in Nursing Care System Yutaka Yoshida†1 Shinji Manzawa†2 Hiroki Ogasawara†1 Saki Noda†1 Makoto

JAIST Repository: 在宅認知症者の遠隔支援技術への取り組み

[Yasuda in press] Yasuda, K., Kuwabara, K., Kuwahara, N., Abe, S, and Tetsutani, N.: Effectiveness of Personalized Reminiscence Photo Video for Individuals

2019年 地域まるごと元気アッププログラム体力測 定会実施報告

U EDA Tomoyuki 1） 　　K OZAKAI Rumi 2） 　　I DE Kojiro 1） 　　H ANAI Atsuko 1）.. T AKADA Shingo 1） 　　O DA Shiro 2） 　　H OMMA Miyuki 2） 　　S ASAKI

スクリーニング支援システムの開発・実装に関する研究

[3] Yoshihiko Morikawa, Shogo Kato, Kaduki Kono, Naohisa Yahagi, Evaluation of clinical support system using information communication technology and new form of

介護記録システムにおける機能語の共起性に関する分析及びコミュニケーション支援の提案

Co-occurrence of Functional Word and Proposal of Communication Support in Nursing Care System Yutaka Yoshida†1 Shinji Manzawa†2 Hiroki Ogasawara†1 Saki Noda†1 Makoto

介護記録システムにおける機能語の共起性に関する分析及びコミュニケーション支援の提案

Co-occurrence of Functional Word and Proposal of Communication Support in Nursing Care System Yutaka Yoshida†1 Shinji Manzawa†2 Hiroki Ogasawara†1 Saki Noda†1 Makoto

技術評価支援システムの試作　－識別関数の構成とオーバーフィッティング問題の解消

31 論　説 技術評価支援システムの試作 ― 識別関数の構成とオーバーフィッティング問題の解消

I-Tree：センシングデータの統合検索を支援する空間時系列索引機構

I-Tree: A Spatial Time-series Indexing Mechanism for Supporting Integrated Retrieval of Sensing Data Shin’ichi Konomi,†1,†6 Hiroki Ishizuka,†2,†6 Masayuki Iwai,†3