できること
参照動画は色も顔も服もない線画です。AIに見た目が漏れないので、キャラクターや画風はプロンプトと画像で自由に決められます。
「3.5〜4.7秒:しゃがんでから空へ飛び立つ」のように、動作の時刻とカメラワークを文章にします。英語にも切り替えられます。
パソコンのブラウザ(Chrome / Edge)でページを開くだけ。作業はブラウザに自動保存され、外部には送信しません。
- 人物は最大2人(動物の形も可)、カメラは A・B の2台。カットで切り替えられます。
- 動作はアクション・空中・剣・体術・バレエ・ダンス・ブレイクダンスなどから選んで並べるだけ。
- 書き出せるのは ワイヤー動画・骨格動画(OpenPose)・骨格+背景・深度動画・骨格キーポイントJSON・カメラ軌道JSON・プロンプト。
基本の流れ
- 人物を置く時刻ごとに「位置キー」を打つと、その間を自動で歩く・走るように動きます。
- 動作を並べる「飛び立つ」「横っ飛び」「ピルエット」などをタイムラインに置きます。
- カメラを決めるカメラA・Bの距離・高さ・角度・画角をキーで動かし、カットで切り替えます。
- 書き出すワイヤー動画(MP4)とプロンプト(.txt)が保存されます。
- 動画AIに渡すワイヤー動画を参照動画に、プロンプトを貼り付け、【シーン】に舞台やキャラクターを書いて生成します。
画面の見方
- 視点・長さ・デモ・元に戻す
- 1. 人物(位置キー)
- 2. カメラ(A・B)
- 3. 動作
- 4. 背景の物体
- 5. 表示と書き出し
- 6. AI用プロンプト
- プロジェクト(保存・読み込み)
画面が狭いときは、操作パネルが画面の下に回ります。
使い方
始める・保存する
- 無料版のページを、パソコンの Chrome か Edge で開きます。初回は1人のデモが入っています。
- 1人デモ(飛んで着地する)、2人デモ(離れた2人が走って近づき殴り合う)で見本を読み込めます。空にするで白紙から。
- 全体の長さは秒で入力します。Dreamina の参照動画は15秒までです。
- 作業はこのブラウザに自動保存され、次に開くと続きから始まります。
- ↶ 元に戻す(Ctrl+Z)・↷ やり直す(Ctrl+Y)が使えます。
- 別のパソコンへ持っていくときや控えを残すときは、パネル最下部の「プロジェクト」→ 保存(.json)。読み込みで戻せます。
視点の切り替えと、人物を探す
ショット視点(映る画)
書き出される画そのものです。カメラA・Bのカット通りに切り替わります。
編集視点(俯瞰で配置)
上から全体を見て、人物の通り道(水色)やカメラ(黄=A、紫=B)を配置します。
- 左ドラッグ
- 視点を回す
- 右ドラッグ
- 視点を平行移動
- ホイール
- 寄る・引く
- FIND PERSON / F
- 編集中の人物の、今の時刻の位置へ視点を一発で移します。人物を見失ったときに。
1. 人物(位置キー)
- なし(カメラだけ)・1人・2人から選びます。2人のときは 人物1を編集/人物2を編集で切り替え。
- 位置キー:再生ヘッドを動かして ◆ 現在時刻に位置キー。キーの間は自動で移動し、速さに応じて歩く・走るが切り替わります(目安:秒速2m以下で歩き、4m以上で走り)。
- 地面をダブルクリック
- その場所・その時刻に位置キーを打つ(編集視点)
- 球をドラッグ
- 位置キーを動かす
- Shift+ドラッグ
- 高さを変える(空中に浮かせる)
- 位置キーをクリックすると、時刻・位置・高さ・止まったときの向きを数値で直せます。
- 人型/動物(四つ足):動物は横向きの円柱で表示。種類(猫・馬など)と大きさを入れます。
- 動きをコピー(2人のとき):人物1の動きを人物2へ(逆も可)。「遅れ」を入れると後を追うように同じ動きをします。
2. カメラ(A・B の2台)
1人のときは A=引き(遠景)、B=寄り(近接)、2人のときは A が人物1、B が人物2 を撮るのが初期設定です。
- ◆ 現在時刻にキーでその時刻のカメラを記録。キーが1つでもあれば、スライダーを動かすと今の時刻のキーが作られ・更新されます。
- 狙う部位:全身・顔・胸・腰・足元。これもキーで切り替えられます。
- 画角 Zoom(35mm換算のmmも表示)、方位角(人物のどちら側から撮るか)、距離、高さ、注視の高さ。
- 基準:「人物の向き基準(追従)」は人物の背中側などを保ってついて行きます。「ワールド方向基準」は方角を固定。「フリー」は編集視点でカメラを置いて ◆ でキーにします。
- カット:✂ ここからA/✂ ここからB。タイムラインの「カット」行をダブルクリックしても追加できます。書き出す動画はカット通りに切り替わります。
- 「細かい設定」で、補間(なめらか/イーズ/リニア)・追従の硬さ・手ブレを調整できます。
3. 動作
- タブ(アクション・バレエ・ダンス・ブレイクダンス)から選んで押すと、再生ヘッドの位置に、編集中の人物の動作として入ります。
- 「→」付きの動作(横っ飛び・幅跳びなど)は、移動量の位置キーを自動で作り、後ろのキーもずらします。
- 動作をクリックすると、種類・開始・長さ・動きの大きさ・左右反転を変えられます。
- 動作中は円柱の色が変わり(初期は黄色)、プロンプトにも「この区間で○○をする」と書かれます。
4. 背景の物体
- + 箱・+ 柱で人物の前に置き、神殿を置くで柱が並ぶ配置を一度に置けます。
- 画面上の物体をクリックで選択 → 数値で大きさ・位置・角度を編集、複製、Delete で削除。
タイムラインと MOVE / ROTATE
- クリック
- 時刻の移動・キーや動作の選択
- ダブルクリック
- その行にキーを追加(カット行は A/B の切り替えを追加)
- ドラッグ
- 移動。動作の端をドラッグすると長さを変える
- Delete
- 選んだものを削除
- ← →
- 1コマ送り
- Alt+ドラッグ
- スナップを外して細かく動かす
画面右下の PERSON 1・CAM A などで対象を選び、MOVE(矢印で移動)・ROTATE(回転)で直接動かせます。人物やカメラを動かすと、今の時刻のキーが作られ・更新されます。
5. 表示と書き出し
- 表示:ワイヤー・骨格・骨格+背景・深度。ワイヤーでは人物・背景・地面・背景色の色を変えられます。
- 正面の目印(頭の前の小さな三角)、背中の翼、アクション中に円柱の色を変えるのオン・オフ。
- 解像度:1280×720/1920×1080/832×480/縦 720×1280・1080×1920/1024×1024。fps:24・30・16。
- 書き出す素材にチェックを入れて ⬇ 書き出し(MP4)。
- 保存先:「ダウンロード(簡易保存)」はダウンロードフォルダへ。「指定フォルダ」は選んだフォルダに「名前_wire.mp4」のように保存し、同じ名前があっても上書きしません。
6. AI用プロンプト(自動作成)
- 言語:日本語/英語。
- シーン・人物の説明に、舞台・キャラクター・映像スタイルを書きます(例:夕暮れの古代遺跡。白い翼を持つ天使の少女。シネマティック、実写)。空欄なら記入欄が残ります。
- キャラクターの画像も渡すときは「@Image1 も参照に使う」にチェック。
- プロンプトを作成 → コピー または 保存(.txt)。書き出しで「AI用プロンプト」にチェックを入れておくと一緒に保存されます。
Dreamina で使うとき
- 書き出した ワイヤー動画(〜_wire.mp4)を1本、参照動画(@Video1)としてアップロードします。
- キャラクター画像を使うなら @Image1 としてアップロードします。
- プロンプトを貼り付け、【シーン】の行を自分の作品に合わせて書き換えて生成します。
骨格動画・深度動画・キーポイントJSON・カメラJSON は、ComfyUI など骨格や深度で動きを指定できる環境向けです。
注意・よくある質問
動作環境は?
パソコンの Chrome または Edge(最新版)。動画の書き出しにブラウザの動画エンコード機能(WebCodecs)を使うため、Safari・Firefox・スマートフォンでは書き出せません。
インターネット接続は必要?
必要です。3D表示のライブラリを読み込むためです。
作ったものは外部に送られる?
人物・動作・カメラなどの作業内容は、ブラウザの中だけに保存され、送信しません。
ブラウザのデータを消したら?
自動保存も消えます。大事な作業は「プロジェクト → 保存(.json)」で控えを残してください。
作った動画やプロンプトは商用に使える?
書き出した動画・プロンプト・JSON は自由に使えます(商用可)。生成AIで作った映像の扱いは、各生成サービスの規約に従ってください。
思った通りの映像にならない
参照動画が伝えるのは、位置・向き・高さ・タイミング・カメラワークです。手足の細かい動きは、動作名と秒数をもとに生成AIが考えます。動作を長めにする、カメラを近づける、【シーン】に演出を書き足す、などで近づけてください。
使っているライブラリ
three.js r160(MIT License)、mp4-muxer 5.1.3(MIT License)。骨格動画は OpenPose(COCO 18点)の形式に合わせています。