ストップモーション アニメ制作を協働ロボットとコラボレーション

ストップモーション アニメ ロボティクス
プログラミングを行った Maya の画面

ロボットや AI に代替される可能性の高い職業と、そうでない職業のリストを、一度はご覧になったことがあるだろう。クリエイターやミュージシャンなど「創造性や協調性」が必要とされる業務は、将来的にも人間が担う可能性が高いとされている。ではロボットとのコラボレーションにより、新しい創造を行うことはできるのだろうか?

CG の研究開発やロボットアプリ開発などを幅広く手掛けるフリーランスのテクノロジスト、谷口直嗣氏は一昨年から KUKA の産業用ロボットを使ったプロジェクトに取り組んでいる。「2015 国際ロボット展」ではフラワーアーティストの田中孝幸氏を迎えて「人とロボットによる協働のフラワーアレンジメント」パフォーマンスを、また 2016 年 3 月には、従来からアプリ開発を手がけてきた Pepper と KUKA ロボットアームが協働する、ソフトバンクの期間限定「Pepper だらけの携帯電話ショップ」の開発にも携わった。

「ロボットも CG も 3D で動いているので、計算的にはほとんど変わりはない」と谷口氏は語る。CG の技術は、「今考えられているよりずっと多くの分野で応用できる」といい、そのひとつがロボットの分野だという。

その谷口氏が新たに取り組んだアイデアが、コマ撮りした映像をつなげて制作するストップモーション アニメを、人とロボットが一緒にやったらどうなるのか?というもの。それがストップモーションアニメーション制作や展覧会ディレクションなど幅広い活動をするグラフィックデザイナー、岡崎智弘氏との 「ストップモーションロボティクス」プロジェクトとなり、2 台のロボットアームでキューブの移動、カメラ撮影を行うユニークなシステムを開発。その展示と講演が 9 月の Autodesk University Japan で行われた。

このプロジェクトでのロボットとの関わり方を、谷口氏は自身の敬愛する音楽=ジャズを引き合いに出して「ロボットと人間がジャム セッションをするような形で作品を作る」ことだと語る。その制作に不可欠な、キューブの移動やカメラによる撮影を行うため、人と一緒に作業できるロボットアームが使用された。

現在、日本国内で稼働する 30 万台にも及ぶ産業用ロボットの大半は、自動車・電子電気業界で使われている。溶接やハンドリングを行う多くのロボットには危険防止の柵や囲いが必要だが、産業用ロボットと人との協業が可能となる安全基準も厚生労働省によって明確化されるようになった。「ストップモーションロボティクス」プロジェクトで使用された KUKA LBR iiwa 14 R820 ロボットアームは、7 軸仕様ながら重量は 30 kg 未満のコンパクトなモデルで、従来はロボットが入ることの許されなかった、人が作業できる場所でも働くことができる。

プロジェクトに協力した KUKA ロボティクスジャパン株式会社のカスタマーサービス、テクニカルコーディネート担当マネージャーの小林剛氏は、この最先端のコラボレーティブ ロボットを「人の手のような感覚で作業できるロボット」だと表現する。「LBR iiwa は、単に人へ接触すると止まるというだけでなく、より繊細な感度と作業が特徴になっています。コンピューターのメモリースロットへモジュールを装着するような、力をかけながら何かを組み込むような動きも可能です」と、小林氏。

ロボットとカメラを Maya からコントロール
この LBR iiwa 14 R820 とカメラのコントロールを行うツールに、谷口氏は Autodesk Maya を使用。Maya のプラグインを開発して独自のシステムを構築した。「DCC (Digital Content Creation) ツールである Maya をロボットのコントロールに使えば、CG のテクニックがロボットに使えて、さらに Maya の新しい可能性を引き出すこともできると考えました」。これは実空間をコンピューター内でバーチャルに再現する CG とは逆の取り組みでもある。「ロボットアームを Maya からコントロールすることで、実空間を Maya でオーサリングできるようにするのも狙いでした」。

Maya と 2 台のロボットアームのコミュニケーションには、OSC (Open Sound Control) プロトコルを使用。双方向の通信が行われ、Maya からロボットアームにはキューブをピックアップする位置やカメラの位置の情報が、またロボットアームから Maya にはジョイントの角度の情報が送られている。この OSC は、本来は音楽の演奏データをリアルタイムで共有するための通信プロトコルだが「リアルタイム性と拡張性が優れていて、メッセージの内容をかなり自分で組み立てられるので非常に柔軟」だという。「メディアアートで多用される Open Frameworks がサポートされていることもあって、コンピューター同士やコンピューターとスマホなどを繋ぐ際に使うことも多いですね」。

ロボットと人間のコラボレーション
作品の準備は、最初に谷口氏が大まかなコンセプトを提示し、それに呼応する形で岡崎氏がストップモーションアニメとしてどう動かしたらいいのかを考え、それを谷口氏が Maya で表現するという流れで行われた。

ストップモーション アニメ ロボティクス 谷口直嗣
谷口直嗣氏 (右) と KUKA ロボティクス 小林 剛氏

実際の作品作りでは、ロボットアーム 1 台がキューブをつかんで次の位置へ運び、もう 1 台のロボットがデジタルカメラの撮影位置・角度を調整するという動作が繰り返される。0.1mm の動作精度を持つロボットアームが、プログラムされた通りの動きを正確に再現。カメラでの撮影、画像の転送、その画像をつないだアニメーションの作成も、すべて自動的に実行される。「毎回同じループができ、合成したときにぴったり合うようにできるから、ストップモーションアニメとの親和性も高い。動きを Maya 上でシミュレーションできるのは、非常にメリットがありましたね」と、谷口氏は制作過程を振り返る。

このプロジェクトが面白いのは、ロボットがキューブを動かし、そのコマ撮りをしている作業風景そのものが、人の目を引くパフォーマンスにもなりうるということだ。

さらに「通常のコマ撮りアニメだと、決まったシーケンスをきっちりやることに労力と注意が行ってしまう。そこをロボットがやることで、人間は俯瞰してみることができるし、流れを見て面白いことをやってみたりできる」と、人間とロボットの協働のメリットをあらためて谷口氏は実感したという。今回のプロジェクトでも、手間と時間のかかる作業をロボットに任せることで、人間はよりクリエイティブな部分に集中できた。「ロボットがものを動かしているときに人間が何かをさっと差し替えたり、紙でつくった漫画の擬音のようなものを実際に差し込んだりすることで、アドリブ性が出ました」。

今回開発したアプリケーションは、よりインタラクティブに活用することもできるようデザインされている。「シーケンス通りに動かせるだけでなく、Maya からポジションを送ると、そこにキューブを置くこともできるような、柔軟な作りにしてあります。アニメーション シーケンスを使うだけでなく、次々とポジションを指定してインタラクティブに動かすこともできますね」。

谷口氏は、自らの活動について「目指すところは IT 界のマイルス・デイヴィス」だと言う。そして、どのプロジェクトでも、ジャズ ミュージシャンのように「方向を決め、仲間を集め、コードを書いてプレイヤーとなり、セッションのように仕事をする」ことを楽しんでいるのだ。

関連記事

Success!

ご登録ありがとうございました

「創造の未来」のストーリーを紹介中!

日本版ニュースレターの配信登録