数理最適化の勉強メモ − Levenberg-Marquardt法
Googleが開発している最適化ライブラリCeres Solverには、こうしたいくつかのLM法アルゴリズムが実装されています(Solving Non-linear Least Squares — Ceres Solver)。 どのアルゴリズムを採用するべきかはパラメータ数や の固有空間の様子に依存しますが、そこそこややこしい話になるので、実行してみてパフォーマンスのいいものを選ぶのが無難だと思います。
- Marquardt, Donald. An Algorithm for Least-Squares Estimation of Nonlinear Parameters. SIAM Journal on Applied Mathematics, 1963
- NOCEDAL, Jorge; WRIGHT, Stephen. Numerical optimization Second Edition. Springer Science & Business Media, 2006.
- Solving Non-linear Least Squares — Ceres Solver
- 矢部博. 工学基礎最適化とその応用. 数理工学社, 2006.