東映アニメーション株式会社（以下、東映アニメ）と株式会社Preferred Networks（プリファードネットワークス、以下、PFN）は、AI技術を活用してアニメ制作を効率化すべく、PFNの深層学習による画像変換技術、セグメンテーション技術などを映像制作に活用する実験的な取り組みを共同で行いました。その中で、東映アニメの新規IP研究開発チーム「PEROs」（※）が本年2月に公開した、佐世保市を舞台にした実験映像『URVAN』（ウルヴァン）の背景美術制作に、PFNが開発するアニメの背景美術制作支援ツールScenify™（シーニファイ）が活用されました。

背景美術制作ツールScenifyのAdobe® Photoshop®用ユーザーインターフェース（UI）

東映アニメは、1956年の創立以来60年以上にわたり、日本のアニメーションの「開拓者」として、演出、作画、美術などの技法で独自の「伝統」を積み重ねてきました。一方で、CG・xR・AI等の最新のデジタル技術による「革新」にも取り組み、新たな映像表現に挑戦しています。

PFNは機械学習・深層学習などの最先端技術の実用化を目指しており、イラスト・アニメ・ゲームなどのクリエイティブ産業向けにも、キャラクター生成、イラスト自動着色、高精度3Dスキャンなど、制作手法の革新、新しい表現を可能にするための技術開発を行っています。

今回、東映アニメで、長年にわたり背景美術制作の技法を培ってきた製作部 美術課、AIの活用に取り組んできたデジタル映像部 テクノロジー開発推進室、そしてPEROsが連携し、約5分間の実験映像『URVAN』を制作するにあたり、PFNの画像変換およびセグメンテーション技術を応用して開発されたScenifyを活用しました。
同作品では、実在する佐世保の風景をアニメ調・サイバーパンク調の2つの画風で表現しており、現地で実際に撮影された風景写真からScenifyでアニメ調の背景素材に自動変換することで、美術クリエイターが画像の前処理工程に要する時間を従来の約1/6に大幅短縮することができました。Scenifyは、同作品で制作した背景美術の約2/3に使用されています。この技術の活用により、美術クリエイターは作業負担・工数を削減することができ、クリエイティブの自由度・振れ幅が大きいサイバーパンク調の背景制作により多くの時間を充てることが可能になりました。

また、Scenifyの開発では、背景美術の制作に必須となる、背景画像からキャラクターに接する部分・手前にくる部分（BOOK）を自動的に切り出す「BOOK分け」機能、画像の一部を除去した後の空白を自然に塗りつぶす「スマート塗りつぶし」機能、さらに、Scenifyをクリエイターの制作ワークフローに組み込みやすくするためのプロトタイプUIの開発も行いました。

実験映像作品『URVAN』におけるScenifyを利用した背景美術制作の例

素材写真

Scenifyによる変換結果（アニメ調）

東映アニメ美術スタッフによる最終レタッチ結果（サイバーパンク調）

©東映アニメーション

今後の展開について
今後は、東映アニメにおけるアニメ作品（TVアニメーション・アニメ映画）制作にScenifyを適用することを目指して、さらに機能開発を進めていきます。
両社はこれからも、東映アニメの「伝統」とPFNの「最新技術」の融合によるアニメ制作の「革新」、そして、新たな映像表現に挑戦していきます。

※ PEROs（ペロズ）
東映アニメ大泉スタジオにおける試作開発と実験的研究（Prototyping and Experimental Research in Oizumi Studio）を目的とした取り組みです。
1956年の創立以来60年以上にわたり、日本のアニメーションの「開拓者」として挑戦し続けてきた東映アニメーション独自の演出･作画技法等の「伝統」に CG・xR・AI等の最新のデジタル技術による「革新」を加え、常識にとらわれない「想像力」と、それを具現化する「創造力」を組み合わせ、新たな映像表現への挑戦とオリジナルIPの開発を行います。また、ベテランスタッフが培ってきた東映アニメーション独自のノウハウを若手スタッフに継承して、人材育成も行っていきます。
地方創生と産学協同をテーマにした「PEROs」第1回目の作品である実験映像『URVAN』のように、今後も様々なテーマに挑戦し、ショートムービー、CM、テレビ、劇場、電子広告などの場所で挑戦していきます。

『URVAN』 について
『URVAN』（ウルヴァン）は、東映アニメのPEROsが、長崎国際大学人間社会学部 国際観光学科 尾場均研究室の協力のもとで製作した、佐世保市を舞台にした約5分間の実験映像＝パイロットフィルムです。リモートでのロケハンや最新のコミュニケーションツールを活用することで、舞台となった佐世保に一度も行くことなく、地域の新たな魅力を創造する、コロナ禍におけるアニメ製作に挑戦した作品です。

■配信・放送情報
配信：東映アニメーション公式YouTubeチャンネル内　https://youtu.be/V4xzPH3NZuo
放送：テレビ佐世保　不定期放送
NIB長崎国際テレビ　3月末まで毎週金曜日10:15頃より「スッキリ」内の天気予報の背景映像（フィラー映像）にて放送

■講演情報
実験映像『URVAN』の取り組みは、「東京アニメアワードフェスティバル2021（TAAF2021）」のプログラムの一つとして開催される「アニメーション・クリエイティブ・テクノロジー・フォーラム（ACTF）2021 in TAAF」で講演予定です。
テーマ「コロナ禍における地方創生映像に挑んだ『URVAN』」
日時：2021年3月13日（土）14：20～15：10（YouTubeLiveでのオンライン配信のみ）
詳細は日本アニメーター・演出協会公式ホームページをご覧下さい
http://www.janica.jp/course/digital/actf2021.html

■プレスリリース：
2020年12月22日　プロジェクト発表　https://prtimes.jp/main/html/rd/p/000000036.000059287.html
2021年2月12日　映像公開　https://prtimes.jp/main/html/rd/p/000000049.000059287.html
2021年3月1日　スタッフコメント　https://prtimes.jp/main/html/rd/p/000000059.000059287.html

Scenify について
PFNが開発したScenify（シーニファイ）は、画像変換およびセグメンテーション技術を応用したアニメの背景美術制作支援ツールです。風景や建造物などの実写写真を素材に、簡単に様々な画風の背景素材を生成することができます。Scenifyは、東映アニメのPEROsによる実験的な取り組みの一つとして、PFNの最新技術でアニメの背景美術制作を支援することを目的に開発され、長崎国際大学協力による実験映像『URVAN』の制作プロセスに初めて活用されました。

東映アニメーション株式会社について　https://corp.toei-anim.co.jp/ja/index.html
日本最大のコンテンツ数を保有し、版権事業等の多面的な展開も手掛けるアニメ製作プロダクション。1956年の創立から、数々の作品を製作し、製作本数は、劇場作品246本、テレビ作品224本、総話数にして約12,800話※という日本最大、世界有数のコンテンツ数を誇ります（※2020年６月末現在）。さらに、作品製作のみならず、版権事業等の多面的な展開も手掛けています。近年では、海外市場開拓や新たな映像表現にも注力しています。

2021年4月からは、東映アニメの優位性を活かした2D（作画）と3D（CG）の発展的融合による新たな製作フロー・映像表現の確立、組織力の強化を目的として、「製作部」と「デジタル映像部」を統合し、新たな「製作部」が誕生します。

本件の取り組みで象徴されるように、引き続き、東映アニメの「伝統」と最新技術による「革新」を融合し、常識にとらわれない「想像力」と、それを具現化する「創造力」を組み合わせ、新たな映像表現への挑戦を進めてまいります。

株式会社Preferred Networksについて　https://www.preferred.jp/ja/
深層学習技術やロボティクスなどの先端技術を実用化することを目的に、2014年3月に創業。交通システム、製造業、バイオ・ヘルスケアの3つの重点事業領域をはじめ、パーソナルロボット、プラント最適化、材料探索、スポーツ解析、エンターテインメントなどの分野にも深層学習の応用領域を拡大しています。2015年にオープンソースの深層学習フレームワークChainer™を開発。2020年6月に自社開発の深層学習専用プロセッサMN-Core™を搭載したスーパーコンピューターMN-3がGreen500リストで世界1位を獲得。

Chainer™、MN-Core™は、株式会社Preferred Networksの日本国およびその他の国における商標または登録商標です。

Adobe and the Adobe logo are either registered trademarks or trademarks of Adobe in the United States and/or other countries.