名奢网 › 名表› 名表日报 › 查看内容

如何理解拉格朗日松弛技术？

2023-3-17 14:44| 发布者: 夏梦飞雨| 查看: 132| 评论: 5

放大缩小

简介：如何理解拉格朗日松弛技术？

如何理解拉格朗日松弛技术？

上海,莘庄工业区,百达翡丽,手表回收

路过

雷人

握手

鲜花

鸡蛋

收藏邀请

已有 5 人参与

会员评论

奢侈品回收 2023-3-17 14:46 引用

###欢迎转载和分享给更多人，无需标明作者和链接，但如果标了会更显得尊重别人的成果，谢谢###谢邀拉格朗日松弛技术是一个非常简单而漂亮地转化方法。首先，拉格朗日松弛技术是用在优化问题里面（假设是最小化问题），而且一定是有约束条件的优化问题。假设我们已经知道没有约束条件的优化问题怎么解了。然后对于有约束条件的优化问题，我们想懒一点的话，就可以想想办法怎么把它转化成没有约束条件的优化问题。于是有人就想到，
1. 直接去掉约束条件！
那显然定义域变大了，那得到的最小值肯定不比原来的大。那怎么办？
2. 那就如果不满足某些约束条件，我们就来点惩罚。这个惩罚表现在目标函数上。我们在目标函数上多加一项，如果某些约束条件没有满足，那目标函数就会变大。另外我们也多了一个叫拉格朗日乘子的东西，它也是我们可以动的变量。
这时候最优的结果当然会满足所有约束条件，不然就被罚惨了。这就是所谓的拉格朗日松弛技术，是把有约束优化问题转化成无约束优化问题的好方法。最近建了个微信公众号“运筹之学”开始做一些运筹的科普，希望能让非运筹专业的朋友懂一点运筹思维，运筹专业的人看到更多好的运筹应用，无论做起什么来都不自觉地更有效率。第一篇文章：运筹之学，在明理，在止于至善讲一讲运筹是什么第二篇文章：如何保持一直升职加薪？通过运筹来讲一讲做运筹的套路以后尽量保持周更，也尽量保持不出现数学公式的推导，而讲更多洞见。
奢侈品回收 2023-3-17 14:46 引用

就是拉格朗日乘子法通过调节海森矩阵的特征值来创造局部极值点。回代回有约束问题。
名表鉴定大师 2023-3-17 14:45 引用

拉格朗日乘子法是一种应用广泛的约束问题最优化方法。对于其理解可以多个角度来解释，比如说鞍点(saddle)，代价解释(cost)，线性逼近(linear approximate)等等，下面就以等式约束为例，从线性逼近的角度来简单的分析一下其原理，希望可以抛砖引玉。对于无约束的问题我们可以通过线搜索方法(line search)或信赖域(turst region)方法来解决。而一个带有等式约束问题，我们并不好优化，怎么办呢，我们要想办法将其转化成一个无约束的问题——拉格朗日函数。我们知道拉格朗日乘子法在保留原函数的基础上引入了一个线性项，那么这个线性项有什么作用呢？它保证了在获得最优乘子的情况下，原目标函数的解和拉格朗日函数的解是一致的。具体是怎么做的呢？我们假设当前点偏离了等式约束，并且我们已知偏离等式约束的这个点对应的原函数的值要比满足等式约束值的原函数的最优值要小。那么拉格朗日引入了这个线性项之后，两者相加，大于那个最优值。那么这样实际上最优值还是在等式约束满足的情况下得到。因此拉格朗日函数就起到了对偏离等式约束的惩罚作用，保证了原目标函数和拉格朗日函数解的一致性。虽然说拉格朗日乘子法的线性项只是对原目标函数的一个线性逼近，也就是说两者之间不是等价的，但是拉格朗日乘子法，能够保证在取得最优乘子的情况下两者解的一致性，那么很显然通过求解拉格朗日函数的最优解来求得原目标函数的最优解是一种更实际，更方便的做法。以上是我的一些看法，希望可以帮到你，具体的楼主可以参考S.Boyd的 convex optimization.
名表鉴定大师 2023-3-17 14:44 引用

赞同 @滴水的回答，可以引用Introduction to Linear Optimization第四章开头的一个简单例子:比如要解如下问题：

我们可以用拉格朗日乘子转换这个问题为：

令：
可得:
又因：
故：时
目标函数取的最优解例子中的即 @滴水说的惩罚
名表鉴定大师 2023-3-17 14:44 引用

简单的说，把constraints弄到objective上面，加很大的penalty，大到满足这个constraint，就和原问题等价了。欢迎关注我的专栏：[运筹帷幄]大数据和人工智能时代下的运筹学 - 知乎专栏

文章排行

阅读
评论

如何理解拉格朗日松弛技术？

会员评论

文章排行

最新文章