Danilo Vasconcellos Vargas
flag
flag

進化計算に基づく強化学習

進化計算に基づく強化学習は進化計算による柔軟なデザインを利用し、機械学習の最も一般的なパラダイムである強化学習に取り組みます。 SUNAは、提案されているほとんどのニューロンの機能を1つのUnified Neural Modelに統一することで、このデザインの柔軟性を限界まで引き上げました。 SUNAは自分の構造を進化させ、非マルコフ問題も学習できるシステムです。

SUNAのゲノム.

Novelty-Organizing Team of Classifiers (NOTC)強化学習の二つのパラダイム (価値関数アプローチと直接方策探索)を始めて統一した強化学習手法です。 実際には, NOTCはSelf-Organizing Classifiersという新しい種類の機械学習アルゴリズムの一つです。 Self-Organizing Classifiersは状態が経験によって自動的に更新されるため、形の変わる迷路のように問題が変化しても適応することのできる最初の(もしかすると唯一の)アプローチです。

Novelty-Organizing Classifier.

Bio-Inspired システム

  自然界は数十億年の進化で自身に対する様々な素晴らしい解決策を生み出しました。 これらから多くのことを学ぶことができます。 現在、生体のもつ優れた機能や形状に着想を得て、サイバーセキュリティシステムに応用する研究が進行中です。 研究結果はすぐにここに掲載されます。

進化ロボット工学

ノイズがあるセンサー、常に変化している環境などの特徴をもつロボット工学は最も難しい分野の一つです。 実際に、ヒューマノイドロボットは多様な地形で歩行、走行を一貫して行うことができません。 この問題に取り組むため、代表者として新アプローチを用いたプロジェクトを提案し採択されました。 研究結果はすぐにここに掲載されます。

Walking robot.

最適化

SAN は、非常に単純な多目的最適化アルゴリズムです。 最も難しい多目的ベンチマークにおいて、すべてのアルゴリズムを上回っていました。 Vargasが導入した最適化力という概念のもとで分析した場合、 SANのパフォーマンスは、独立Subpopulationを使用することによって解候補の集団でおこる競争を回避できるために得られることが明らかになりました。 学習アルゴリズムとは、計算機を学習、適応させる最適化アルゴリズムに他なりません。 次世代の機械学習は、モデルと最適化の強力な相乗効果によって作られるでしょう。

SANは挑戦的な問題においても特に優秀な結果を示しました.

学習システムの理解(攻撃)

現在の学習システムをさらに改善するには、それらを理解する必要があります。 興味深いことに、学習システムを攻撃することで、学習システムが「馬」や「船」などの分類をどのように理解しているかを調べられます。 学習システムを攻撃することは学習システムの解析手法の一つといえます。 既にBCC Newsに記載された我々の研究では分類を変更するために1ピクセルしか必要としないことが分かりました。 つまり、学習された「馬」や「船」のような概念は、1つのピクセルだけで変更することができます。 この結果は、このようなニューラルネットワークがデータセット上で人間を越える精度を持つとしても、実際に「馬」または「船」であると知的に理解していることから遠いことを実証しています。

深層学習を騙すOne-Pixel 攻撃。

進化無人航空機

無人航空機は、検索や救助活動の効率を向上させることで、多くの命を救うことができます。 しかし、現在の無人航空機は木や屋内の障害物に衝突することなく飛行することはできず、煙がある環境に対処することもできません。 私は両方の問題に取り組むことを目指してプロジェクトをリードしています。 研究結果はすぐにここに掲載されます。

屋内を飛ぶ無人航空機。



demo

蜂のヴィジョンシステムは既存のアルゴリズムより発展しています。 同じように、六脚ロボットでは難しい地形に行けないという問題がまだ残っている一方で、蟻は複雑な地形でも動けます。 さらに、蟻は橋やボートも作れます。 なぜ私達が作るアルゴリズムよりそれらの単純な生き物の方が優れた振る舞いをもっているのでしょうか? 私達が何かを見落としているのでしょうか?

この質問には正しい答えがありません。 しかし、自然界ではその様々な賢い生き物を作るために二つの大事な方法が使われています。 その方法は進化と学習です。 同じように、私の研究では進化と学習を用いて、色々な問題を解決しようとしています。 例えば、スケジューリング問題と画像処理、ロボット制御などです。

長期的な目標は一般的な学習システムを作る事です。 一般的な学習システムとは、どんな問題でも学習と適応が出来るような万能な完全自動的アルゴリズムです。 例えば、そのシステムをロボットに適用すると、ロボットの歩行は少しずつ上達します。 例えば、飛行機のシミュレーションに適用すると、飛行機はパイロットみたいな操縦を学びます。 そして、その飛行機のシミュレーションで学んだ知識を実際の飛行機という新しい環境に適応する事もできます。 加えて重要なのは、もしある要素が上手く動いてない場合や問題が変わった場合でも、一般的な学習システムであれば新しい状態に適応し他の方法を見つけられるということです。 要約すると、蜂のように賢い新世代のシステムを作りたいです。