flag
flag
demo

蜂のヴィジョンシステムは既存のアルゴリズムより発展しています。 同じように、六脚ロボットでは難しい地形に行けないという問題がまだ残っている一方で、蟻は複雑な地形でも動けます。 さらに、蟻は橋やボートも作れます。 なぜ私達が作るアルゴリズムよりそれらの単純な生き物の方が優れた振る舞いをもっているのでしょうか? 私達が何かを見落としているのでしょうか?

この質問には正しい答えがありません。 しかし、自然界ではその様々な賢い生き物を作るために二つの大事な方法が使われいます。 その方法は進化と学習です。 同じように、私の研究では進化と学習を用いて、色々な問題を解決しようとしています。 例えば、スケジューリング問題と画像処理、ロボット制御などです。

長期的な目標は一般的な学習システムを作る事です。 一般的な学習システムとは、どんな問題でも学習と適応が出来るくらい万能な完全自動的アルゴリズムです。 例えば、そのシステムをロボットに適用すると、ロボットが少しずつ歩く事が上手くなります。 例えば、飛行機のシミュレーションに適用すると、飛行機はパイロットみたいな操縦を学びます。 そして、その飛行機のシミュレーションで学んだ知識を実際の飛行機という新しい環境に適応する事もできます。 最後に、もしある要素が上手く動いてない場合でも、その学習システムが新しい状態に適応し、他の方法を見けます。 要約すると、蜂のように賢い新世代のシステムを作りたいです。


Research Achievements


Unified Neural Model and Spectrum-Diverse Neuroevolution

最近の学習システムでは, 新しい問題に適応する際に突飛な振る舞いをしたり、様々なパラメーターを試行錯誤する必要があったり、予備知識を入れる必要があったりします。 [6]では、五つの異なる問題(連続値の入出力を持つ部分観測マルコフ決定過程、論理回路の学習問題、関数近似、など)をパラメーターを変えずに学習する方法を紹介しました。 この業績は、次の二つの要素によって成し遂げました:

  • Unified Neural Model - 幅広い問題を学習するために、より高い学習の表現力が必要です. したがって、色々なニューラルネットワークの特徴を統一するモデルというUnified Neural Modelを公開しました。
  • Spectrum-Diverse Neuroevolution - 上記のような複雑な表現力を開発するために、解候補の特徴を元にSpectrumを作り、多様性を維持する新しいneuroevolutionの方法を作りました。 これは高次元の構造を効率敵に比較し、解候補の大きさにも拡張する事を可能とします。
Spectrum-diverse Unified Neuroevolution Architecture (SUNA)という方法のコードはこちらにあります.



Self-Organizing Classifiers
この研究では、二つの業績があります:
  • Self-Organizing Classifiers (SOC)の開発 - SOC [2] (download draft), [3]は新種の機械学習アルゴリズムです。 それは難しい強化学習問題を解く事ができる数少ない手法の一つです。 例えば、 広く連続値入出力を持つ、エージェントがランダムな位置から始まる迷路のような強化学習問題を解く事です。 さらに、Actor-Criticを基本とするアルゴリズムを性能とロバスト性の両方の面で越えています [4]. 実際には, SOCは問題が変化しても適応できる唯一のアルゴリズムです (例えば, 形の変わる迷路 [2],途中で特徴が変わる車の山登り問題[5],など). それはSOCが経験を元に自動的に状態を作り、アップデートする事によって可能となっています。 これらの自動的に作られた各状態に対し、分類方法を学習させます。
  • 強化学習のパラダイムの統一 - [5]では, 強化学習の二つのパラダイム (価値関数アプローチと直接方策探索)を始めて統一しました。 それはサブパートによって成り立つ方策を用いる事で可能となりました。 そのサブパートは価値関数アプローチに基づいて開発する事で可能であり、方策自体はサブパーツか直接方策探索を用いて学習する事ができます。 この方法で、二つのパラダイムを組み合わせる事が出来ます。



General Subpopulation Framework


[1] (download draft)で公開した研究では, 三つの主な業績があります:
  • Optimization Forcesのコンセプトの開発 - このコンセプトでは個体群ベースの最適化アルゴリズムの解候補の中に悪影響を与える競争があると分析し、示しました。
  • General Subpopulation Framework - 構造最適化アルゴリズム(解候補の構造を持つアルゴリズム)を形式化し、一般化しました。この理論的な業績は構造最適化アルゴリズムを相互作用のあるサブセットとして形式化することで、分析と発展する事を可能としています。
  • 最先端の多目的最適化の開発 – General Subpopulation Frameworkを使う事によって、もっとも難しい多目的最適化のベンチマークにおいて、他のすべての手法を超える新しいアルゴリズムを開発しました。 実際には、紹介したアルゴリズムは挑戦的な問題においても特に優秀な結果を示した (左図). そして、今後の現実の問題に活用する事が期待できます。