19 Aug 2013, 15:05

Kinectで指揮者になる!世界のKinectHackerたち

オーケストラを指揮者のように操りたい!

クラオタならば誰もが夢想することですね。

何の役にも立たない指揮棒を楽器屋さんで購入して、真夜中の草木も眠る丑三つ時に、ブルックナーなんかをイヤホンで聞きながら暗闇に向かって指揮をするなんて、至福のひとときです。

そんな夢を叶えてくれる魔法のデバイス、それがKinect。

世界には、そんなクラオタたちのKinectハックが溢れかえっています。

今日は、そんなKinect Hackをまとめてみます。

Kinect conductor

はじめてみつけた動画がこれ。イタク感動した。

[//www.youtube.com/embed/uABuEIU-aNE?rel=0]

Virtual Conducting with the Microsoft Kinect

おんなじテンポをKinectで操る。

[//www.youtube.com/embed/WW8dYOhGYKg?rel=0]

kinectを使用した指揮者体験アプリケーションの開発

これは大学生が研究のテーマにしたもの。

[//www.youtube.com/embed/BURiyCYoCdA?rel=0]

Kinect Fun Labs Election: Virtual Conductor

ダンスすると、いろんな音色がひろがる。楽しそう。

[//www.youtube.com/embed/E98_XKlo934?rel=0]

Wii Conductor Hero

これはKinectではなくて、wiiを使ったもの。

[//www.youtube.com/embed/rX-bQR4bkqY?rel=0]

Carpe Zythum – Kinect controlled pipe organ (full performance)

オルガンをKinectで操ります。パフォーマンスとしても感動的です。

[//www.youtube.com/embed/fuZpSPUtya4?rel=0]

AdMaestro

CDを音源として、自由自在にテンポを変更できるみたい。Made in Japan の 商用ソフトで値段は15000円。高い!

[//www.youtube.com/embed/Bia_m6aigow?rel=0]

22 Oct 2012, 07:30

KinectとMMDを組み合わせて落語をしてみた(その2)

前回の記事に引き続き、Kinect for WindowsとMMDを組み合わせて、落語をしてみたので、アップロードします。

KinectとMMDを使って落語をしてみた。

MMD古典落語3品

寿限無

[http://www.youtube.com/embed/5JpCXKQzJsg]

 

がまの油

[http://www.youtube.com/embed/sVJ5OpWfb8k]

 

あたま山

[http://www.youtube.com/embed/MFW_eOixg_Q]

 

Kinect落語の課題

技術的なところは前回となにもかわっていないけれども、いくつか課題に気づいた。

Kinect で記録できる時間が7分くらいしかない

MikuMikuMovingでモーションを記録していると、7分くらいモーションを記録したところで、記録が止まっていることに気づく。(そのせいで、何度撮り直したことか・・・)

解決策が是非欲しいところ。Youtubeへのアップロード時間も考えると、長い話の場合は、分割したほうがいいのかな?

リップシンクは手動での記録しかみつからない

自分のリップシンクの理想では、音声に合わせて口パクしてくれるソフトが欲しかったが、そのようなソフトは見つからなかった。

手動で、タイミングを教えてあげる必要がある。

それだと、ちょっと時間がかかりすぎるので、挫折。

手動でのリップシンク補助ソフトには以下のようなものがあった。

21 Oct 2012, 11:46

KinectとMMDを使って落語をしてみた。

前回は、Kinect for Windowsと MikuMikuMovingを組み合わせて、3DのキャラクターをKinect で操作する方法を知らべた。

Kinect for Windows によるMMDの使い方

今回は、それをちょっと応用してみて、Kinect で 落語をしてみた。

(実はこれがやりたくて、Kinectを購入した)

味噌豆 on MMD

[http://www.youtube.com/embed/eb3YkpOUrNQ]

演じてみたのは、古典落語の小噺『味噌豆』。

出囃子は志ん生師匠の一丁入りを拝借しています。

(http://www.youtube.com/watch?v=RK0UUX-K31s)

ステージは、MMD演芸場(http://www.nicovideo.jp/watch/sm12172730)

モデルは、双音レンジ(http://mmd.dip.jp/files/320)

を利用させていただきました。

もう少し改善したい点は、

  • 手の仕草(パーしかできない)
  • 表情
  • リップシンク
  • 自分の部屋の狭さ(えっ?(・0・)?)

まあ、鑑賞に堪える(耐える?)ようなので、よしとしよう。

17 Oct 2012, 22:33

Kinect for Windows によるMMDの使い方

MMDが自分の動作に合わせて動いたら楽しそうだなーというだけの理由で、Kinect for Windows をAmazonで衝動買いした。価格は、22000円。

KinectをつかってMMDのモーションをキャプチャーする方法はインターネット上にたくさん紹介されている。しかし、よくよく調べてみると、これはすべて xBoxタイプの方法だった・・・orz。

えっ、Kinect for WindowsだとMMDつかえないの?
2万円したんだよー!

という思いとともにいろいろと調べたら、なんとか使う方法がわかったので、メモしておく。

Kinectには2種類あるらしい

Kinectには、Xboxに接続して使うタイプと、PCに接続して使うタイプの2つがあるらしい。そして、あたしはxboxをもっていないという理由で、PCに接続してつかう、Kinect for Windowsを購入した。

2つの機能比較は、以下のリンクが参考になる。

http://thinkit.co.jp/story/2012/07/03/3605

  • Xboxに接続するタイプ

 

  • PC(Windows 7)に接続するタイプ

 

Kinect for Windowsでミクを動かせ

MMM(MikuMikuMoving)がKinect for Windowsに対応している

MMDではダメだけれども、MikuMikuDanceの互換ソフトMikuMikuMoving(以下MMM)がKinect for Windowsに対応していることがわかった。ダウンロードは以下のサイトから。

MikuMikuMoving

MMMを起動するとリボンの[Kinect]タブをクリックして、キャプチャをクリックすると、Kinectから動作を取り込むことができる。image

こんな感じで、踊ってみた。ふう。

[http://www.youtube.com/embed/mPLmooCeXBM]

他、MoggNUI 導入でMMDをつかう方法について

どうやら、MoggNUI を利用するとMMDでもKinect for Windowsが使えるらしい。

ただし、自分の環境(Windows7 64bit)ではエラーして動かなかった。http://masque2525.blog97.fc2.com/?tag=Kinect

おまけ OpenNIを利用しようとして失敗した記録

失敗1 OpenNIをつかう方法

xboxタイプだと、以下の方法が王道パターン。

  1. OpenNIをインストール。
  2. SensorKinect(Kinectのドライバ)をインストール
  3. NITEをインストールする
  4. DxOpenNIをインストール。

しかし、この方法を試しても、Kinectをデバイスとして認識してくれない・・・。この時点で、Kinect for Windows SDKとOpenNIの両方を使うことができないことに気づく。

失敗2ツꀀ kinect-mssdk-openni-bridgeを試す

kinect-mssdk-openni-bridgeをつかうことで、Kinect for Windowsから OpenNIを利用することができる。ダウンロードは以下から。

kinect-mssdk-openni-bridge

しかし、残念、これをインストールしてもMMDからはOpenNIにアクセスできなかった。

OpenNIがインストールされていませんという注意がでて終了。