← プロジェクト一覧に戻る

Agent Lightning
すでに動いているエージェントを書き換えず、モデルとの間に入って、その中のモデルを学習させる
公式MIT
Agent Lightningとは
エージェントに強化学習を使うという話でいつも問題になるのは、学習環境として作り直すことになり、その時点で本番のものを改善しているとは言えなくなる点です。Agent Lightningは、モデルの窓口があった場所に中継役を置くことでこれを避けます。エージェントは自分のツール、プロンプト、制御の流れ、環境をそのまま保ち、中継役を通るやり取りがそのまま学習データになります。学習側が方策を更新し、制御役がエージェントを手元またはKubernetesのジョブとして動かします。Microsoftは、90億パラメータのモデルを6,000件の学習データでSWE-bench Verifiedの41.8%から56.4%へ引き上げたと報告し、その一連の手順を公開しています。これはアプリケーションに足すライブラリではなく、学習基盤を伴うGPUの作業です。
Agent Lightningで何ができますか?
- すでに動かしているエージェントを学習させる — エージェント側の変更は不要です。ツールもプロンプトも制御の流れもそのまま経路に残るため、良くなるのは実際に配置している仕組みそのものです。
- 通常のやり取りから学習データを集める — モデルの手前に置いた中継役が、各やり取りを学習用の事例に変えます。人工的な環境ではなく実際の実行からデータが得られます。
- 必要なら全体を読み通す — コード量はおよそ3,500行だと開発元が示しています。学習の挙動がおかしいときに追える大きさです。
- 経験収集をKubernetesのジョブとして動かす — エージェントをクラスタ上のジョブとして直接起動できるため、間に別のサンドボックスサービスを挟まずに規模を広げられます。
- 完結した手順をそのまま辿る — コーディングエージェントの例では、データの整備、報酬の悪用を防ぐ工夫、学習スクリプトまでが一式で公開されています。断片から組み直す必要がありません。
Agent Lightningを選ぶ前に
- これはモデルの学習です。GPUと、CUDAの版を合わせた強化学習の実行環境が前提になります。アプリケーションにライブラリを足すのとは負担がまったく違います。
- 1.0で全面的に作り直されており、それ以前の版は別のブランチに置かれています。1.0より前に書かれた解説は別の仕組みについての説明です。
スター推移
8月27日〜10月30日 · +983
17.9k18.8k
よくある質問
Agent Lightningは商用利用できますか?
Agent LightningはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
Agent Lightningはどの形で使えますか?
Agent Lightningはセルフホストの形で利用できます。