[電子工作レシピ] リアクションホイールで強化学習実践レシピ

説明

ブラシレスモータ Roller485 Lite を用いて、シンプルな構成ながら本格的なリアクションホイール倒立制御と強化学習（Sim2Real）を体験できるレシピです。
ATOM Matrix をコントローラとしてArduino IDE でプログラミングし、手動ゲイン調整による倒立と、MuJoCoシミュレーションを経た強化学習 Sim2Realによる倒立を一連で実施します。

　

zipファイル内容は以下の通りです。
　RL_recipe_01.pdf：レシピ書

　body.stl：倒立振子筐体 3Dデータ

　ArduinoCode
　　S-1-Roller_mnl：実機手動ゲイン調整用Arduinoコード
　　S-1-Roller-RL：Sim2Real用Arduinoコード

　RL_S-1-Roller
　　S-1-Roller_model.xml：倒立振子のMJCF（MuJoCo XML）フォーマットモデル
　　assets：倒立振子MuJoCoモデル用のSTLファイル
　　model_viewer.py：倒立振子MuJoCoモデルを表示するコード
　　manualGain.py：手動ゲイン調整による倒立シミュレーションコード
　　env_balance.py：学習環境定義ファイル
　　train_rl.py：SB3学習スクリプトファイル
　　sim2sim.py：Sim2Sim用コード
　　export_policy_header.py：学習ポリシーの組込み向け変換ヘッダ生成コード
　

レシピ(全21ページ)の内容は以下の通りです。
　１． はじめに
　２． リアクションホイール倒立振子
　３． MuJoCo
　４． 強化学習
　５． Sim2Real
　６． あとがき
　７． recipeData.zipデータ内容
　８． 参考
　９． 改訂履歴
　
改訂履歴
・2025年12月10日：第１版（初版）
　
　

実機倒立動作
手動で倒立パラメータを調整しての倒立

強化学習入門レシピ本を書きたい俺

簡単な構成のリアクションホイール倒立振子 pic.twitter.com/WTdBRKhHal

— HomeMadeGarbage (@H0meMadeGarbage) December 1, 2025

　
強化学習 倒立シミュレーション動作

強化学習入門レシピ本を書きたい俺

倒立を強化学習
なかなかやるじゃない pic.twitter.com/VQZBqdXaAd

— HomeMadeGarbage (@H0meMadeGarbage) December 6, 2025

　
Sim2Real 倒立動作
学習済みモデルを実機に移植して倒立動作を確認

強化学習入門レシピ本を書きたい俺

強化学習結果を実機で
つまり Sim2Real だわな

なかなかやるねぇ pic.twitter.com/xex3swVeLJ

— HomeMadeGarbage (@H0meMadeGarbage) December 6, 2025