ブログ/

動画制作でもハーネスエンジニアリングの経験が活かせました

動画制作でもハーネスエンジニアリングの経験が活かせました。音声波形の合格判定を見るちび咲耶

こんにちは、健ちゃんです。

先週、AI動画コンテストへ初めて作品を出しました。「空の技(そらのわざ)」という2分の動画です。CryptoNinjaの体術大会で、去年ボロ負けした咲耶が、今年こそハヤテに一矢報いようというストーリーです。

企画が面白いのが一番いいんですが、企画で勝負するのは僕には難しいので、ベタでもいいから自分が作りたいかっこいいシーンを作ろう、という動機で制作しました。それでも、今回が初めてだったので、制作には何日もかかってしまいました。

結論から言うと、この制作で一番効いたのは、AIが間違えたときに「どこで、なぜ詰まったのか」を本人に説明させて、証拠を出させてから直したことでした。

「ここがおかしいので直してください」だけだと、同じ間違いが翌日また出てくるんです。説明させて、証拠を見て、そこで分かったことをルールにする。この順番を踏むと、そこで止まります。

この記事では、僕が実際にやったこの手順を、そのままお見せしますね。

ハーネスエンジニアリングとは、指示が一文で通るようにしていくことです

用語の話を1つだけさせてください。

この「間違いのたびに環境へ直しを入れていく」やり方には、ハーネスエンジニアリングという名前が付いています。HashiCorpの共同創業者であるMitchell Hashimotoさんが、2026年2月5日のブログで次のように書いたのが始まりでした。

AIが間違えるのを見つけたら、そのたびに時間を取って、二度と同じ間違いが起きない仕組みを自分で作る

言葉は硬いですが、やっていることは単純です。指示が一文でミスなく通るように、AIの周りを作り替えていくんですね。

たとえば、キャラクターの絵柄をそろえたいとします。最初はこうなります。

  1. キャラクターシートの画像をダウンロードして、チャット欄へ貼り付けて「これを参照してください」と書く

これが第一段階です。毎回ダウンロードして、毎回貼り付けます。次の段階はこうなります。

  1. キャラクターシートを決まった場所へ置いておいて、「クリプトニンジャの作画を参考に作ってください」の一文で通るようにする

この1から2へ移す作業が、ハーネスエンジニアリングです。 一文で、ミスなく通るようにしていく。この積み上げのことだと考えてください。

AI動画を作り始めると、たぶん最初にここで詰まります。僕もそうでした。

まず、環境づくりから始めました

僕は動画編集が多少できる程度で、動画の知識は少ないほうです。作業の細かいところも分かっていません。

なので、作り始める前に、AIにサポートしてもらうための環境から作りました。

作ったのはダッシュボードです。カット単位でコメントを付けられるようにして、AIへの指示は全部そこを通す形にしました。またべえさんの教材を参考にして、自前で組んでいます。

なぜかというと、チャット欄でやるとカオスになるからです。「カット12はこうしてください、カット13はこうしてください」を会話で回そうとすると、番号と修正内容がすぐ混ざります。2分の動画でもカットは何十本もありますから、相当大変です。

使いながら使い勝手を磨いていきましたが、これがけっこう良かったんです。指示の出し方が整うと、AIとのやりとりがそのまま速くなります。

それでも、最初はミスだらけでした

音声はボイス、効果音、BGMの3種類を作ってもらいました。ここに2〜3日かかっています。

最初はうまくいきませんでした。ハヤテが咲耶を煽るセリフがあります。その音声から「咲耶」が消えていたんです。文末が尻切れになっているものもありました。

「作れたはずなんだけどな」と思って、AIに確認しました。すると、尺だけ見て合格にしていたことが分かりました。指定した長さになっていれば通す。中身は聴いていない。「適当に長さだけ見ていました」と、正直に言ってくれました。

検品が甘かったわけです。ここから、直し方そのものを変えています。

本題です。直らないときは、指示を出す前に説明させます

何回言っても直らないときがあります。そういうときのコツが3つあるんです。

1) どこで、なぜ詰まったのかを説明させる

「ここがおかしいので、こうしてください」。この指示は、もちろんします。ただ、これは最低限なんですね。

そうではなくて、その前段階で一歩止まります。 どこで詰まったのか、なぜその現象が起きたのかを、指示の前にAI自身へ分析させて喋らせるんです。

ここをすっ飛ばすと、再発防止策がうやむやになります。AIが隠していたり、AI自身も気づいていなかったり、気づいたうえで無視していたりするところが、けっこうあるからです。

なので、一緒に詰めていきます。「それは違うんじゃないですか」「2回やっているのに、なぜ抜けたんですか。詳しく説明してください」。返ってきた説明が適当なら、「ロジカルに説明してください」と返します。

2) 証拠を見せてもらう

説明だけを求めると、もっともらしい話が返ってきます。だから、その原因になった証拠を見せてください、と必ず付けます。知らない人も多いかもしれませんが、この「証拠を見せて」はけっこう効きますので、超お勧めです!

一番いいのは画像です。画面をそのまま見せてもらうのが早いですね。もちろん画像で示せない場合もあるので、そこはケースバイケースでしょう。

証拠まで求めると、「すみません、間違っていました」と言ってくることがけっこう多いんですよ。

3) 直した内容をルールにする

原因が分かって直せたなら、そのままにせずルール化しましょう。

「いまの解決策をルールにしてください」と頼みます。 スキルやエージェントの設定へ書いてくれます。次からは、その一文を書かなくても通るようになるわけです。

この3つを踏まずに済ませている直しは、たぶんルーズなままです。その可能性はかなり高いと思っています。

この3つで、実際に環境がどう変わったか

音声の検品を例に、入れた直しをお見せしますね。細かい中身は読み飛ばしてかまいません。毎回同じ1点だけを見てください。「何が起きて、どこを直したか」です。 どのように修正したか、流れを参考にしてみてください。

尺だけ見ていた検品を、中身を見る検品へ変えました

説明させたら「長さだけ見ていました」と出てきた、あの件です。

とはいえ、人が毎回全部聴くやり方は続きません。だから足場の側を変えました。作った音声を文字起こしにかけ、狙った言葉が入っているかを機械に判定させて、入っていないものは自動で捨てる作りにしています。

長さは同じでも、文字起こしの中身で合否が分かれる例

これを入れてから、同じ種類の指摘は出ていません。文字起こしの精度に頼るので万能ではありませんが、尺だけ見ていた頃とは別物です。

直したのは注意力ではなく、合格の決め方のほうです。

指示文ではなく、渡したセリフを直しました

キャラクター名の「咲耶」が変な読みになっていました。

このとき、指示文へ「咲耶はさくやと読んでください」と書き足す手もあります。でも僕が直したのは指示文ではありません。渡すセリフの表記そのもの、つまり台本の側を「さくや」へ書き換えています。

同じやり方で、あと2つ直しました。文末が切れて聞こえたので、句点を足しています。緊張感を出そうとした「しまっ……」が聞き取れなかったので、「しまった!」と言い切りへ変えました。

指示文へ注意書きを足す方法だと、その注意書きを毎回持ち回ることになりますよね。台本を直せば、次に別のセリフを作るときも同じ形で通ります。

直したのは言い方ではなく、渡す材料のほうです。

聴き比べる場のほうを、先にそろえました

キャラクターの声を選ぶとき、候補をいくつも作って順番に再生していました。

ところが、これは判断を誤るんです。作られた音声は、候補ごとに音の大きさが違います。人は大きい音のほうを「良い」と感じやすいので、選んでいるのは声そのものではなく音量です。

そこで、聴き比べ用の音源を作る手順に変えました。候補の音量を同じにそろえて、少し間を空けて1本につなぎます。これを通しで聴けば、条件がそろった状態で比べられます。

直したのは耳ではなく、聴き比べる場のほうです。

人が手で直した配置を、消さない作りにしました

音を動画へ並べる作業も自動化していたのですが、実行するたびに、置いてあるものを一度全部消してから並べ直す作りでした。

つまり、僕が手で微調整した位置が、次の実行で消えます。

なので、すでにあるものには触らず、追加だけする作りへ変えました。僕が手で直した位置は、そのまま残ります。

直したのは自分の手順ではなく、道具の作りのほうです。

4つとも、直っているのは指示文ではなく環境の側です。そしてどれも、AIに説明させて原因が分かってから入れた直しなんですね。

1回作り切ると、何もない状態がどれだけ抜けているか分かります

1から全部作ってみて、標準のままの状態は本当に抜け抜けなんだな、とよく分かりました。

これで完璧、ということでは全然ありません。まだ抜けは多いと思います。それでも、基本的な形はできました。次からはもっと早くできるはずです。

次回また動画を作るとき、僕は今回と同じ間違いをしません。気をつけるからではなく、同じ間違いができない場所を、自分で作ったからです。ここが指示文との決定的な違いだと感じています。

ループエンジニアリングは、このハーネスを自動で回すことです

最後に、もう1つだけ用語の話をさせてください。

GoogleのAddy Osmaniさんが2026年6月7日に書いた記事で、ループエンジニアリングという名前が付きました。

ループエンジニアリングとは、AIに指示を出す人という役から、自分を降ろすことである。代わりにその役をやる仕組みを、自分で設計する

AIとの付き合い方は4段ある。下から、プロンプト、コンテキスト、ハーネス、ループ

図は下から順に、プロンプト、コンテキスト、ハーネス、ループです。下ほど手軽で、上へ行くほど効きが長持ちします。指示文を書き直す作業は、いちばん下の段を往復している状態です。

ざっくり言うと、ハーネスを自動で回すのがループエンジニアリングです。

イケハヤさんはこのループを爆速で回していると思われます。だから動画生成もアニメ生成も、とにかく速いです。あのレベルになると、ハーネスはもちろんやったうえで、ループまで組んでいるんだと思います。

ただし、順番があります。ハーネスが整っていない状態でループを回すと、間違いを高速で量産するだけになります。人が見ていないぶん、気づくのが遅れました、では取り返しがつきません。今回の僕で言えば、尺だけ見て通していたあの検品のまま自動で回していたら、おかしな音声が大量に積み上がっていたはずです。

まず、1回の作業が正しく終わる足場を自分で作る。その足場を信用できるようになってから、起動する役を手放す。ループの話は、また別の記事で書きますね。

今からできる、大切な一歩

今日やることを1つだけ挙げるなら、これです。

AIが同じ間違いを2回したら、直させる前に「どこで、なぜ詰まったのか」を説明させてください。そのうえで、証拠を見せてもらってください。

たいてい、そこで本当の原因が出てきます。出てきたら、「いまの解決策をルールにしてください」と頼むだけです。あとはAIが書いてくれます。

言っていることが分からなくても大丈夫です。そのままAIへ依頼すれば、やってくれるでしょう。

大事なのは、その直しが次の作業にも残るかどうか。ここだけ意識してみてください。指示文に書いて終わりだと、明日には消えてしまいますからね。

1つ直せば、あなたはもうそこを通りません。まずは足場から、1つずついきましょう!

AIで作る方法は、僕のメルマガで

AIをどう使い、どう面白くしていくか。僕が実際に考えて動いた記録は「一忍メルマガ(健ちゃんのメルマガ)」でお届けしています。企画の立て方、プロトタイプの作り方、AIへの任せ方まで、実践から得た話を一話ずつお伝えしています。

AIの使い方と、面白くする工夫を一話ずつ。一忍メルマガのご案内

一忍メルマガに登録する


出典

この続きは、メールで。

AIに任せて作り切るための、道具と考え方が届きます。

無料で続きを受け取る →

登録は無料です。いつでも解除できます。

ブログ一覧へ戻る