写真の人物を動かすソフト まとめ

最近3Dアバターをモーションキャプチャーして動かすことを楽しんでいるのですが、よく考えたら3Dアバターを作らなくても2D画像を変換しても似たようなことが実現できるのでは？体の前面だけしか映さないのであれば2Dも3Dもそれほど情報量変わらない気がします。
もしかすると2D素材を使える分、汎用性高いかも？と思いまして、2D画像を動かすアプリを探してみました。

2Dで体を動かすアプリはほぼい見つからず、ほとんどは顔を動かすアプリです。

Thin-Plate-Spline-Motion-Model

オープンソースで探すとヒットするのはこれ！
体も動かしている画像があるので応用範囲は広そう。画像変換をリアルタイムで実行できればとても面白いものが作れそう。

GitHub - yoyo-nb/Thin-Plate-Spline-Motion-Model: [CVPR 2022] Thin-Plate Spline Motion Model for Image Animation.

Thin-PlateSplineMotionModelforImageAnimation.-GitHub-yoyo-nb/Thin-Plate-Spline-Motion-Model:Thin-PlateSplineMotionModelforImageAnimation.

github.com

Deep Nostalgia

古い写真の顔をディープラーニングでリアルに動かせる「Deep Nostalgia」　無料で利用可能

イスラエルの家系図サービス企業MyHeritageが、顔写真をアップロードすると数秒間の自然な動画に変換できるサービスを開始した。5枚までは無料で変換できる。ディープフェイク防止のため、音声は追加できない。

www.itmedia.co.jp

ReFace

How to animate images, make photos move, and sing

EverythingyouneedtoknowaboutanimatingphotosonyourphonewiththehelpofAI

blog.reface.ai

Mug life

顔写真を自在に動かせるアプリ『Mug Life』が凄すぎて話題！ 使い方を解説

取り込んだ顔写真の表情を、とてもリアルに動かせるアプリがTwitterなどで話題を呼んでいます！まずはこちらをご覧ください。ご存じの通りどちらも本来は静止画なのですが、なめらかに顔が動いていますよね！こんな感じで、顔

home.kingsoft.jp

Motion portrait

モーションポートレート株式会社

モーションポートレート株式会社のホームページ。モーションポートレート技術を紹介しています。

www.motionportrait.com