株式会社NTTドコモ (以下、ドコモ)は、ドコモが提供する映像配信サービス「Lemino」で2024年9月3日（火）に独占無料生配信された「NTTドコモ Presents Lemino BOXING ダブル世界タイトルマッチ」 井上尚弥選手vs.TJ ドヘニー選手の試合映像において、日本電気株式会社（以下、NEC）が提供する映像認識AIと大規模言語モデル(以下 LLM)を活用した「ハイライトシーンのリアルタイム自動抽出と要約文章の自動生成および投稿」の実証実験を行いました。
2024年9月3日（火）、ドコモが「Lemino」で生配信した「NTTドコモ Presents Lemino BOXING ダブル世界タイトルマッチ」のストリーミング映像において、NECの映像認識AIとLLMを組み合わせ、ハイライトシーンの抽出及び要約文章の生成を自動で行い、本実証用に準備されたSNSに抽出されたハイライト映像・画像と生成された要約文章を配信しました。また、ラウンド毎に特徴的なシーンの抽出と、ダイジェスト文および各選手の動きに焦点を置いた説明文の作成を行い、ラウンド間のインターバル中に配信を行いました。
ハイライト抽出及び要約文章生成にはデータ活用基盤ソリューション「NEC Multimedia OLAP」※1を活用し、ストリーミング映像に対して、複数の認識AIを用いたマルチモーダル分析手法(※2)により、リアルタイムにハイライトシーンを多角的に抽出しました。それらのシーンを基に、LLMを活用することで、臨場感ある表現や特定の選手に焦点を当てた描写など、多様な視点でストーリーが感じられる要約文章の生成を行いました。
これにより、SNSでリアルタイムに試合状況を把握することが可能になるため、ユーザーが場所やシーンを選ばず、より手軽に臨場感あふれる情報を入手し、楽しむことができます。
さらに本技術では、利用者からの指示を元に該当するシーンを要約した映像や文章を生成できるため、今後は運営側での配信負担軽減のみならず、ユーザーが求める臨場感のあるハイライトシーン投稿を自動生成するサービス開発などへの活用を目指します。
【システム概要】
■名称：データ活用基盤ソリューション「NEC Multimedia OLAP」
■実証概要：井上尚弥選手やその対戦相手であるTJ ドヘニー選手の試合の優劣を判定する有効な攻撃やダウンといったハイライトシーンの映像・画像と共にその特定シーンを説明する文章を自動で生成し、試合中リアルタイムにSNSへ配信。
【配信概要】※3
■タイトル：NTTドコモ Presents Lemino BOXING ダブル世界タイトルマッチ
井上尚弥 vs TJ ドヘニー ＆ 武居由樹 vs 比嘉大吾
■アーカイブ配信中！
■特設サイト：https://bit.ly/3T8p4pV
■製作著作 ：©Lemino/SECOND CARRER
※1 映像や音声データなどの大量の非構造化データを収集・分析・可視化して様々なデータ駆動型の活用を実現するデータ活用基盤ソリューション。
※2 テキストや数値データの他、画像、動画、音声などの複数のデータをまとめて分析する技術です。
※3 内容は発表日現在のものです。コンテンツの提供形態、キャンペーン、番組内容などは予告なしに変更されることがありますので、あらかじめご了承ください。
【「Lemino」概要】
ドコモの新しい映像配信サービス。
感情でつながるLeminoならではの機能で、人気の映画やドラマはもちろん、独占配信のオリジナル、韓流作品や、スポーツ、音楽ライブまで豊富なコンテンツに出会える映像配信サービスです。
無料コンテンツ（広告付き）のほか、月額990円（税込）※4の「Leminoプレミアム」ではさらに充実のラインアップをお楽しみいただけます。
「Leminoプレミアム」を初めてご契約いただくお客さまは、初回初月無料※5でご利用いただけます。
■「Lemino」サービスサイト ： https://lemino.docomo.ne.jp/
※4 「Leminoプレミアム（App Storeでの購入）」「Leminoプレミアム（Google Playでの購入）」の月額使用料は1,100円（税込）です。
※5 ＜初回初月無料キャンペーン＞
・Leminoプレミアムに初回お申込みの場合に限り、月額使用料が31日間無料となります。
・過去にdTVで初回初月無料の適用を受けたお客さまで、本キャンペーンの適用を受けていないお客さまは適用対象となります。
・ 「Leminoプレミアム（App Storeでの購入）」「Leminoプレミアム（Google Playでの購入）」「Leminoプレミアムプリペイドカード」「Leminoプレミアム視聴用シリアルコード」をご利用のお客さまは、適用対象外です。
・他の無料キャンペーンと重複すると本キャンペーンが適用されない場合があります。
・本キャンペーンを終了する際は、「ドコモのホームページ」にてお知らせいたします。
・本キャンペーンは予告無く内容を変更させていただく場合がございます。