集団で踊る舞踊では，「全体として良い」かどうかを評価している．その評価は，「統一性」「エネルギッシュな」といった主観による感覚的な指標で行われている． 本研究では，何がどの程度どのようになっていれば「良い」のかを，データに基づいた分析により探求することを目指している．

本研究で対象とする岩手の郷土芸能である盛岡さんさ踊りは，一団体が数十から数百人で構成され，数十団体が数日間に分けてパレードを行う． 一日ごとに審査が行われ，最優秀賞などが選出される．その評価指標は，部門により「統一性」「華やかさ」「エネルギッシュな」などが示されている．

これらの評価指標は，個々の踊りの技術よりも，集団としてどのように見えるか，が重要である． 個人の動きを対象とした研究では，センサやモーションキャプチャを装着した分析が行われているが，集団に対して同じようなデータ取得・分析を行うことは，手間やコストの面から非現実的である． 本研究では，映像を入力とした分析を前提とし，その分析可能性について検討する．

画像内の人を認識し，骨格情報を抽出可能な技術にOpenPoseがある．OpenPoseは，画像内の人の人数に制約が無い．そこで，複数の人が踊る踊りの映像に対して適用することにより分析を試みる．

本研究では，まず「統一性」という評価指標に着目した．ここで，どの程度ずれているか，ということが厳密に分かる実映像を取得することは困難であるため，3Dモデルのシミュレーション映像を作成し，分析対象とする．

以下の手順により，例えば，ある人が他の人よりも0.1秒遅れている，という映像を作り，挙動の違いを見ることが可能とする．

1. モーションキャプチャでさんさ踊りのデータを取得
2. Unity上で3Dモデルを配置する
3. 任意のモデルが指定したズレ時間で動いている映像を作成
4. OpenPoseにより，骨格情報を取得
5. 各人の座標値を比較

OpenPoseによる骨格抽出

本実験では歩行とジャンプ，という基本的な動作の組み合わせを対象とし，4名のうち一人だけ0.0秒（ズレなし），0.05秒，0.1秒，0.5秒のズレを設定した映像を作成した． それらの映像から腰部のy座標値を取得し，窓幅を設定した相関係数をy座標の時系列データから求めたところ，ズレの少なさと相関係数の高さの関係を確認することができた． 相関係数が1であれば完全一致となるので，0.0秒のズレの場合，ほぼ1になっていることが分かり，0.5秒のズレの場合は，大きく数値が下がっていことが確認できた[宝槻2020]．

相関係数によるズレの評価

上記の結果では，0.0秒のズレであっても，値が低くなる現象が見られたが，原因を突き止め，評価方法の改善を行ったところ，1となるべき部分が1に大きく近づくことが確認できた[小屋畑2021]．

評価値の改善

[関連発表]
1. 宝槻昂，松田浩一, "盛岡さんさ踊りにおける集団動作の評価に対するOpenPoseの有効性に関する一検討", 情報処理学会第82回全国大会, 7ZE-03, 2020.03.
   
2. 小屋畑裕也，松田浩一, "動作量を考慮した盛岡さんさ踊りの動作比較に関する一検討", 情報処理学会第83回全国大会, 6ZD-02, 2021.03.
   

地域伝統舞踊では，自身のリズム感にしたがって踊ることが重要とされ，必ずしも他人と一致することが「良い」とはされていない． 本研究では，従来法では「合っていない」が，地域伝統舞踊としては「合っている」と評価できる手法の開発に取り組んだ．

舞踊で重要なのは体幹を中心とした動作である．本研究では，腰部に加速度センサを設置し，被験者のタイミングの取り方をデータ化する．

同じ音楽をかけて個別にデータを取得すると，個々でタイミングの取り方が異なるため，同じような踊りの印象であっても，時刻を合わせて重ねると加速度の推移が異なるデータが取れることがある． しかし，動作の開始位置を合わせると，印象と同じようにほぼ波形が一致するデータを得ることができる．

個々のリズム感の差を許容するアプローチ

本研究では，開始位置の差異を自動的に補正し，加速度波形を比較する手法を提案している．比較には相関係数を用い，被検者全員のクロス表を作成している． クロス表では，全体で似ている，と判断された踊りの区間においては，0.7を超えた値が得られ，合わせずらい，という印象の区間においては，低い値が算出された．

全員が似ている区間の評価値のクロス表（赤：相関係数0.7以上）

合わせずらい区間の評価値のクロス表（赤：相関係数0.7以上）

[関連発表]
1. 鎌田裕嗣，松田浩一，菊地直樹, "腰部の加速度情報を用いたさんさ踊りの「上手さ」の比較・評価に関する一検討", 情報処理学会第79回全国大会, 1ZF-09, 2017.03.
2. 滝沢桂吾，松田浩一，菊地直樹, "盛岡さんさ踊りの重心移動分析のための時系列波形自動分割の一検討", 情報処理学会，第80回全国大会，2ZB-04，2018.03.
   【学生奨励賞】

和太鼓のバチさばきはとても速く，最後に手首を返す一瞬は5ms以内に行われている． 振りの動きは，長年の訓練により無意識に行われており，違いを説明することも，具体的に教えることも難しい場合がある．

その上手さは，鳴った音やバチの跳ね返り方で判断をしており，具体的にどのようになっていると「上手い」のか，また，上手い人と何が違うのか，が分かりにくいのが現状である．

本研究では，各種センサ（加速度，角速度，筋電位等）や高速撮影カメラを用い，バチの振りにおいて起きている現象と，その技術の差の解明に取り組んでいる． 研究過程において，差が分かることで，暗黙知として認識している技能が言葉として表出されるようになり，知識が団体内で共有されるプロセスを多く経験している．

このように，データに基づいて分析を行うことで，指導において，客観的な説明が可能となることを目指している．

バチさばきの過程	角速度センサによる計測

[関連発表]
1. 工藤喬也, 松田浩一, 中里利則, "和太鼓リズムにおけるズレ提示システムの有効性の検証",", 日本教育工学会, 第30回全国大会, 2a-023-06, 2014.09.
2. 工藤喬也, 松田浩一, "和太鼓におけるリズムのズレ提示法による学習効果の違い", 人工知能学会，身体知研究会, 第21回研究会, SKL-21-04, pp. 16-23, 2015.03.
3. 中塚智哉，松田浩一, "和太鼓のインパクト時の「脱力」技能の定量化", 人工知能学会，身体知研究会，第23回研究会, SKL-23-02, pp. 7-12, 2017.03.
4. 高橋唯，松田浩一, "角速度を用いた和太鼓におけるタメ動作の表出に関する一検討", 人工知能学会，身体知研究会，第30回研究会，SKL-25-05，pp. 23-28，2018.03.

地域伝統舞踊は，昔の生活の中から作られてきた舞踊である．例えば，山や海に囲まれている環境， 寒い地域・暑い地域，農民や漁師といった，土地の環境や人々の生活が舞踊に影響しているため， その地域独特の動作とリズムがある．

地域独特の動作とリズムは，口伝により伝えられるため，同じ土地の人でも舞踊のとらえ方が異なることもある． このような背景から，映像や動作データによる画一的な方法だけでは対応が難しく，心における意識と体の動きの情報を統合的に扱うことが必要であると考えている．

そこで本研究では，アナログ的な文化的背景を持つ地域伝統舞踊において，特に重要で直感的につかみにくい リズム感に焦点を当て，リズム感を数値化することによって 熟練者と学習者の違いを明らかにし，何を意識し，どのように動くことで熟練者の動きを会得することが できるか，といった指標を提示することを目指す．

本研究では，リズム感を「ため」「きれ」の流れにより生成されるもの，と定義している． 「ため」とは，重心が安定し，エネルギーを蓄積している状態，「きれ」とは，蓄積したエネルギーを 放出する状態のことを指す．これらを音楽にのって繰り返すことで，リズム感が生まれてくる．

指導者の指導方針や基礎実験から，腰の動作に注目することで，リズム感を取得できることが分かってきている． そこで，加速度センサーを腰に付けてデータを取得し，熟練者の示す「ため」「きれ」を意識 しながら学習することでどのような変化があるかを実験した．

図1 「ため」「きれ」の提示	図2 加速度グラフの比較

プロトタイプシステムのイメージは，右から左に流れてくる正解の動きをこなしていく， 踊りの体感ゲームに似ている．

図1は，熟練者が自分の映像を見ながら，自分が意識している「ため」「きれ」を入力 してもらった結果であり，学習者は，それを見ながら自分の中で意識を形成する．

図2では，熟練者と学習者の動きの違いを加速度の波形で検証できる．

図3 熟練者	図4 学習過程中期	図5 学習過程後期
腰の高さが下がってきて，動作量に大きさや鋭さが出てきていることが波形から読み取れる

プロトタイプシステムで実験を行った結果，動きを主観的に判断してもリズム感が向上し，足のあげ方や 踏み込み具合にも向上が見られた． また，学習過程において，動作に全体的に勢いがついてきていることや，熟練者の跳ねるよう動きができつつあることも，加速度の波形特徴から読み取ることができるという知見が得られた．

[発表]
1. 郡未来, 松田浩一, 海賀孝明, 長瀬一男, "地域伝統舞踊におけるリズム感の個人差抽出", 情報処理学会第68回全国大会, 5S-4, 2006.3.
2. 郡未来, 松田浩一, 海賀孝明, 長瀬一男, "加速度を用いた地域伝統舞踊のためのリズム習得支援システム", 情報処理学会グラフィックスとCAD研究会, 2006-CG-125, pp. 49-54, 2006.11.
3. 郡未来, 松田浩一, 海賀孝明, 長瀬一男, "地域伝統舞踊の指導方法に基づいたリズム感を見て覚えるシステム", 情報処理学会, 第9回エンターテイメントコンピューティング研究会, 2008-EC-9, pp. 51-56, 2008.3．

舞踊の指導において，指導者は，学習者の運動能力やレベルに合わせて指導を行う． しかし，映像教材による学習では，指導が一方的に流されるだけで，学習者がそれに合わせる形で 学習を行わなければならない．

本研究では逆に，「教材が学習者に合わせてくれる学習環境」を実現し，指導者が学習者に 対して直接行うような，学習者ごとの個人差や習熟度変化に対応した学習を提供することを 目的とする．

指導の序盤においては，細かい手足の動作よりも，まず動作の流れや姿勢を重視する． 本研究では，手足の細かい動作を比較するのではなく，「動作の流れ」を覚えているかどうかを 見ることで，学習者の習熟度を判定するアルゴリズムを提案している．

「動作の流れ」は，WEBカメラで映した学習者の体全体の「動作量」と定義する．したがって， 手を動かしても足を動かしても同じような量として判定されるが，（１）流れにのっているか が重要であること，（２）学習を繰り返すことで異なる部位が動いていることが少なくなる， といった理由で，細かい判定をしなくても習熟度が判定できることが実験で分かってきている．

図1 残像量による動作量

本研究では，手拍子の間では多くとも流れが一動作であると仮定し，この動作グラフを5つの 動作モデルで表せるとしている．動作モデルで表すことで， 体格差やカメラからの被写体の距離といった諸条件を考慮せずに熟練者のデータと比較することができる．

図2 5つの動作モデル

得られた動作グラフを単純化し，グラフに当てはめることで，5つの動作モデルに置き換えることができる． このとき，学習者は一動作の終わり際をあわせようとすることから，動作のまとまりも判定することができる（図中緑線）．

図3 動作グラフのモデル置き換え

学習者の学習過程を取得したところ，学習の回数に比例して差異がなくなっていくことが動作モデル同士の比較でも分かり（図中赤線が手本と異なっている部分） ， 一旦覚えたところでも，できなくなっていたり，自分でアレンジを加えていること部分（図中22回目）も判定することができた． また，指導者と学習者の映像を比べることでも，上達していることが主観的に判定できた．

図4 手本と学習過程の比較

[発表]
1. 高橋智也, 松田浩一, 海賀孝明, 長瀬一男, "舞踊学習のための残像を用いたリアルタイム動作遅延判定", 情報処理学会第68回全国大会, 4S-5, 2006.3.
2. 高橋智也, 松田浩一, 海賀孝明, 長瀬一男, "残像を用いた動作の流れの特長抽出による舞踊動作評価", 情報処理学会グラフィックスとCAD研究会, 2006-CG-125, pp. 43-48, 2006.11.
3. 高橋智也, 松田浩一, 海賀孝明, 長瀬一男, "地域伝統舞踊における「動作の流れ」を教えてくれる学習支援システム", 情報処理学会, インタラクション2008論文集, pp. 133-140, 2008.3（査読有）.
4. 高橋智也, 松田浩一, 海賀孝明, 長瀬一男, "「動作の流れ」学習支援システムによる地域伝統舞踊学習と効果", 情報処理学会, 第9回エンターテイメントコンピューティング研究会, 2008-EC-9, pp. 57-62, 2008.3.

近年、地域伝統舞踊は、少子高齢化に起因する教え手・引き継ぎ手の減少が問題となっ ている。そのような状況の中、ビデオなどの映像やディジタル技術を用いた伝承も検討 され始めている。学習者の教材による独習は、時間的・場所的に制約が非常に少ないこ とが利点であるが、一定の水準まで達すると、それ以上の上達は見込めなくなる。その ような壁にぶつかった際には、指導者による客観的な指導(図1)が必要となるが、多忙な指導 者が教えられる時間は限られていること、また、学習者が通える範囲に必ずしも指導者 がいるわけではないことが問題となる。したがって、時間的・場所的な制約を受けない 「教材による独習」と時間的・場所的な制約を受ける「指導員による直接指導」は、そ れぞれ問題点を有しており、それらの問題を解決できる仕組みが必要とされている。

図1 伝統舞踊の直接指導

本研究では、学習者と指導者の間で映像のやりとりを行なうことで、舞踊の動き・流れ といったものを含めて伝えることを目的とし、直接指導および独習の問題点を解決する めの、ペン入力による伝統舞踊の添削システムを提案した(図2)。本システムでは、学 習者の映像に対して指導者が添削を行なうための機能、学習者が添削内容を学習するた めの機能を提供する(図3)。

図2 手描き入力の様子	図3 修正指示情報

[発表]
1. 佐藤健, 花邑裕斗, 松田浩一, 海賀孝明, 長瀬一男, "学習者映像への書き込みによる舞踊通信添削教材", 情報処理学会第67回全国大会, 4P-6, 2005.3.[第67回情報処理学会全国大会 学生奨励賞]
2. 熊谷昌也, 松田浩一, 海賀孝明, 長瀬一男, "地域伝統舞踊伝承のためのビデオ映像を介した相互コミュニケーション支援システム", 第21回NICOGRAPH論文コンテスト, pp. 127-132, 2005.11（査読有）.

過去研究のテーマへ