Python

１月21日に顔メッシュの記事を載せてからほぼ２ヶ月、どうやら「画像や動画の座標データからBlenderオブジェクトを作成する」という目標を達成したようなので、仕上げの記事をまとめます。

ベビーダンスのアニメーションを更新する前に、ボーンの回転をスクリプトで行うのに苦労したので、忘れないうちにメモしておきます。

動画のランドマークを元にしてBlenderのアーマチュアが同じ動きをするか試しています。

今のところ、位置はなんとかなりましたが、個々のボーンの角度がまるでダメダメです。ただ、プログラムのどこを修正すればいいかまでは分かりましたので、途中経過をお知らせしますね。

※このページに掲載したコードは、キーフレーム設定の部分を最終版でかなり修正したので、あまり参考になりません…。

前回の手オブジェクトに続き、今日はポーズ・データをBlenderに取り込んでアーマチュアを作ります。

前回の顔メッシュに続き、今度は手のデータをBlenderに取り込んでみます。

MediaPipeという面白いツールを見つけたので、コンテンツ作りに使えそうか試してみます。

odysee Augmented Startups 2021年06月10日より。

ハイライト：

• OpenCVとMediaPipeで、画像から手の部分を検出してみます。

動画の文字起こしをするための自分用ツール、mojiokosher.py。

当初はGtkウィンドウの中に動画再生とテキストエディタのウィジェットを持たせるつもりでしたが、テキスト編集は既成のエディタでよさそうなので、ビデオを再生することにフォーカスします。

実際は DrawingArea で小分け動画を再生する機能を持たせたいのですが、ミニスクリプトでは動作確認のために画像を表示することにします。

筆者にとってやりやすい文字起こしの過程は以下の３段階に分けられます：

1. 発話時間がなるべく１０秒以内になるように、対象の音声を小分けする
2. 小分け音声を音声認識エンジンにかけ、１クリップ１行の形式で出力をテキストファイルに保存する
3. 小分けされた音声または動画を繰り返し再生しつつ、該当箇所のテキストの修正をする

Pythonスクリプト、Audacity、Julius または DeepSpeechで１と２はだいたい望み通りに動いています。

今、３の部分を Python GTK+ を使ってプログラムを書いているところです。今回はテスト用ミニスクリプトで骨組みを作ります。