1月21日に顔メッシュの記事を載せてからほぼ2ヶ月、どうやら「画像や動画の座標データからBlenderオブジェクトを作成する」という目標を達成したようなので、仕上げの記事をまとめます。
continue…▶MediaPipeからBlenderへ - ⑤ ボーンの回転をスクリプトで
From MediaPipe to Blender - Scripting the rotation of a bone
MediaPipeからBlenderへ - ④ 動きの取り込み(未完)
From MediaPipe to Blender - Capturing the movement (unfinished)
動画のランドマークを元にしてBlenderのアーマチュアが同じ動きをするか試しています。
今のところ、位置はなんとかなりましたが、個々のボーンの角度がまるでダメダメです。ただ、プログラムのどこを修正すればいいかまでは分かりましたので、途中経過をお知らせしますね。
※このページに掲載したコードは、キーフレーム設定の部分を最終版でかなり修正したので、あまり参考になりません…。

MediaPipeからBlenderへ - ③ 全身
From MediaPipe to Blender - Pose
MediaPipeからBlenderへ - ② 手
From MediaPipe to Blender - Hand
MediaPipeからBlenderへ - ① 顔メッシュ
From MediaPipe to Blender - Face Mesh
手のトラッキング OpenCV, Python, MediaPipe
Hand Tracking 30 FPS on CPU in 5 Minutes | OpenCV Python | MediaPipe (2021)
Gtkビデオ再生
私の文字起こしツール:原型
動画の文字起こしをするための自分用ツール、mojiokosher.py。
当初はGtkウィンドウの中に動画再生とテキストエディタのウィジェットを持たせるつもりでしたが、テキスト編集は既成のエディタでよさそうなので、ビデオを再生することにフォーカスします。
continue…▶DrawingAreaにビットマップ画像を表示する
作って使う文字起こしツール
実際は DrawingArea で小分け動画を再生する機能を持たせたいのですが、ミニスクリプトでは動作確認のために画像を表示することにします。
continue…▶テスト用ミニスクリプト
作って使う文字起こしツール
筆者にとってやりやすい文字起こしの過程は以下の3段階に分けられます:
- 発話時間がなるべく10秒以内になるように、対象の音声を小分けする
- 小分け音声を音声認識エンジンにかけ、1クリップ1行の形式で出力をテキストファイルに保存する
- 小分けされた音声または動画を繰り返し再生しつつ、該当箇所のテキストの修正をする
Pythonスクリプト、Audacity、Julius または DeepSpeechで1と2はだいたい望み通りに動いています。
今、3の部分を Python GTK+ を使ってプログラムを書いているところです。今回はテスト用ミニスクリプトで骨組みを作ります。
continue…▶