Skip to content

Commit c9b3bf6

Browse files
committed
add with-ai.md
1 parent 10cf553 commit c9b3bf6

File tree

4 files changed

+135
-0
lines changed

4 files changed

+135
-0
lines changed

docs/docs/with-ai-0.png

1.06 MB
Loading

docs/docs/with-ai.md

Lines changed: 69 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,69 @@
1+
---
2+
title: Creating Videos with AI
3+
sidebar_position: 5
4+
---
5+
6+
FrameScript is a text-based video editor, so it pairs extremely well with LLM-based coding agents.
7+
This guide shows how to create a video using a coding agent.
8+
9+
## 1. Prepare a coding agent
10+
11+
First, pick a coding agent.
12+
Good options include [`Codex CLI`](https://developers.openai.com/codex/cli/), [`Claude Code`](https://code.claude.com/docs/en/overview), and [`Gemini CLI`](https://geminicli.com/).
13+
Personally, I recommend `Codex CLI`.
14+
15+
## 2. Create a project
16+
17+
Run the following command in any directory:
18+
19+
```bash
20+
npm init @frame-script/latest
21+
```
22+
23+
This will create a project via an interactive prompt.
24+
25+
Move into the created directory:
26+
27+
```bash
28+
cd <project-path>
29+
```
30+
31+
Then run:
32+
33+
```bash
34+
npm run start
35+
```
36+
37+
## 3. Open your editor
38+
39+
Launch your preferred editor in the created project directory.
40+
41+
## 4. Start the coding agent
42+
43+
Open a new terminal and start the agent in the project directory.
44+
45+
## 5. Give clear instructions
46+
47+
This is the most important part.
48+
FrameScript bundles the editor inside the project directory, which is a bit unusual.
49+
The AI needs to understand that setup.
50+
We recommend instructions like:
51+
52+
> First, read `AGENTS.md` to understand the project overview.
53+
54+
Then follow with something concrete, for example:
55+
56+
> I want to create a video here.
57+
> First, please do ~~~.
58+
59+
## When AI works best
60+
61+
AI is often good at adding motion to images or text.
62+
However, cutting videos or fine-tuning positions can be tricky, because LLMs cannot view the preview.
63+
For detailed positioning, ask the agent to expose values as variables and adjust them yourself.
64+
For video cuts, it is usually faster to do a rough pass manually.
65+
66+
## Gallery
67+
68+
In this example, the outlined text, character placement, and radial lines were created with AI instructions.
69+
![](./with-ai-0.png)
1.06 MB
Loading
Lines changed: 66 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,66 @@
1+
---
2+
title: AIとの動画作成
3+
sidebar_position: 5
4+
---
5+
6+
FrameScriptはテキストベースの動画編集ソフトなので、LLMベースのコーディングエージェントとの相性が抜群に良いです。
7+
ここではコーディングエージェントを用いて実際に動画を作成する手順を紹介します。
8+
9+
## 1. コーディングエージェントを用意する
10+
11+
まずはコーディングエージェントを用意してください。
12+
コーディングエージェントは [`Codex CLI`](https://developers.openai.com/codex/cli/), [`Claude Code`](https://code.claude.com/docs/ja/overview), [`Gemini CLI`](https://geminicli.com/) 等があります。
13+
個人的には`Codex CLI`を推奨します。
14+
15+
## 2. プロジェクトを作成する
16+
17+
任意のディレクトリで以下のコマンドを実行します。
18+
19+
```bash
20+
npm init @frame-script/latest
21+
```
22+
23+
このコマンドを実行すると対話形式でプロジェクトを作成できます。
24+
25+
作成されたディレクトリに移動して、
26+
27+
```bash
28+
cd <project-path>
29+
```
30+
31+
以下を実行します。
32+
33+
```bash
34+
npm run start
35+
```
36+
37+
## 3. エディタを起動する
38+
作成したディレクトリでお好きなエディタを立ち上げてください。
39+
40+
## 4. コーディングエージェントを呼び出す
41+
新しくターミナルを起動し、作成したディレクトリでコーディングエージェントを起動します。
42+
43+
## 5. 実際に指示をする
44+
ここが最も重要です。
45+
FrameScriptは動画編集ソフト自体がプロジェクトのディレクトリにバンドルされている、少し特殊な構成です。
46+
それをAIに使える必要があります。
47+
そこで以下のような指示を出すことをオススメします。
48+
49+
> まずはAGENTS.mdを読んでプロジェクトの概観を把握してください。
50+
51+
そして次に
52+
53+
> ここでは動画を作成したいです。
54+
> まずは〜〜〜してください
55+
56+
のように具体的な指示をします。
57+
58+
## AIとの共存がうまく行くシーン
59+
AIに指示してうまく動作するのは、画像やテキストにモーションをつけたりするシーンが多いです。
60+
しかし、動画をカットしたり画像の位置を細かく指定するのはやや難があります。
61+
これはLLMが実際の動画プレビューを見られないためです。
62+
画像やテキストの細かな位置調整は変数に出してもらって自分で編集するのが良く、動画のカット編集は自分で大まかにやってしまったほうが良いです。
63+
64+
## ギャラリー
65+
この動画は縁取り付きのテキスト、立ち絵画像の配置、集中線の描画はAIに指示してやってもらいました。
66+
![](./with-ai-0.png)

0 commit comments

Comments
 (0)