首页 科技内容详情
DeepMind用神经网‘wang’络自动构建启 qi[发{fa}式算法,求解MIP问题《ti》

DeepMind用神经网‘wang’络自动构建启 qi[发{fa}式算法,求解MIP问题《ti》

分类:科技

网址:

反馈错误: 联络客服

点击直达

Allbet Gmaing官网

欢迎进入Allbet Gmaing官网(www.aLLbetgame.us),欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。

,

机械之心报道

编辑:杜伟、陈萍

夹杂整数设计(MIP)是一类 NP 难题问题,来自 DeepMind、谷歌的一项研究解释,用神经网络与机械学习方式可以解决夹杂整数设计问题。

夹杂整数设计(Mixed Integer Program, MIP)是一类 NP 难题问题,旨在最小化受限于线性约束的线性目的,其中部门或所有变量被约束为整数值。夹杂整数设计的形式如下:

MIP 已经在产能设计、资源分配和装箱等一系列问题中获得普遍应用。人们在研究和工程上的大量起劲也研发出了 SCIP、CPLEX、Gurobi 和 Xpress 等适用的求解器。这些求解器使用庞大的启发式算法来指导求解 MIP 的搜索历程,而且给定应用上求解器的性能主要依赖于启发式算法适配应用的水平。

在本文中,来自 DeepMind、谷歌的研究者展示了机械学习可以用于从 MIP 实例数据集自动构建有用的启发式算法。

在实践中经常会泛起这样的用例,即应用程序需要用差其余问题参数解决统一高级语义问题的大量实例。

文中此类「同质」数据集的示例包罗:(1)优化电网中发电厂的选择以知足需求,其中电网拓扑保持稳固,而需求、可再生能源发电等则因情形而异(2)解决了谷歌在生产系统中的一个包装问题,在这个系统中,要包装的「items」和「bins」的语义基本保持稳固,但它们的尺寸在差其余实例之间有所颠簸。

然而,现有的 MIP 求解器无法自动组织启发式来行使这种结构。在具有挑战性的应用程序中,用户可能依赖专家设计的启发式,或者以放弃潜在的大型性能改善为价值。而机械学习提供了在不需要特定于应用程序专业知识的情形下举行大规模改善的可能性。

论文地址:https://arxiv.org/pdf/2012.13349.pdf

该研究证实,机械学习可以构建针对给定数据集的启发式算法,其性能显著优于 MIP 求解器中使用的经典算法,稀奇是具有 SOTA 性能的非商业求解器 SCIP 7.0.1。

该研究将机械学习应用于 MIP 求解器的两个要害子义务:(1)输出对知足约束的所有变量的赋值(若是存在此类赋值)(2)证实变量赋值与最优赋值之间的目的值差距界限。这两个义务决议了该方式的主要组件,即:Neural Diving、 Neural Branching(见图 1)。

该研究在差其余数据集上举行了评估,这些数据集包罗来自现实应用的大规模 MIP,包罗来自谷歌生产系统和 MIPLIB 的两组数据。来自所有数据集的大多数 MIP 组合集在解算后都有 10^3-10^6 个变量和约束,这显著大于早期的事情。一旦在给定的数据集上训练 Neural Diving 和 Neural Branching 模子,它们就被集成到 SCIP 中,以形成专门针对该数据集的「神经求解器」。基线是 SCIP,其重点参数通过网格搜索在每个数据集上举行调整,称之为 Tuned SCIP。

将神经求解器和 Tuned SCIP 与原始对偶间隙(primal-dual gap)在一组实例上的平均值举行对照,图 2 所示,神经求解器在相同的运行时间内提供了更好的间隙,或者在更短的时间内提供了相同的间隙,在五个数据集中举行评估,有四个数据集的 MIP 最大,而第五个数据集的性能与 Tuned SCIP 性能相匹配。据领会,这是第一次使用机械学习在大规模真实应用数据集和 MIPLIB 上获得云云大的改善。

MIP 示意与神经网络架构

该研究形貌了 MIP 若何示意为神经网络的输入,并用来学习 Neural Diving、Neural Branching 模子的架构。该研究使用的深度学习架构为一种图神经网络,稀奇是图卷积网络 (GCN)。

将 MIP 示意为神经网络的输入

该研究使用 MIP 的二部图示意,方程(1)可用于界说二部图,其中图中的一组 n 个节点对应于被优化的 n 个变量,另一组 m 个节点对应于 m 个约束,参见图 3。

神经网络架构

下面先容一下 Neural Diving 、 Neural Branching 所使用的网络架构中配合的方面。

给定一个 MIP 的二部图示意,该研究使用 GCN 来学习 Neural Diving 、Neural Branching 模子。设 GCN 的输入为图,其中 V 为节点聚集、ε为边聚集、A 为图毗邻矩阵。对于 MIP 二部图,V 是 n 个变量节点和 m 个约束节点的并集,巨细 N := |V| = n + m。一个单层 GCN 用来学习盘算输入图中每个节点的 H 维延续向量示意,称为节点嵌入。

在 MIP 和 GCN 系统架构中二部图示意的两个要害性子是:(1)网络输出对变量和约束的排列是稳固的(2)可以使用统一组参数应用于差异巨细的 MIP。

这两个性子很主要,由于变量和约束可能没有任何规范顺序,而且统一应用程序中的差异实例可能具有差异数目的变量和约束。

架构改善

该研究对上述系统架构举行了改善,这些改善提高了网络的性能,主要体现在以下方面:

该研究修改了 MIP 二部图的毗邻矩阵 A ,以包罗来自 MIP 约束矩阵 A 的系数,而不在是示意边缘存在的二进制值;

该研究通过毗邻来自第 l 层的节点嵌入来扩展第 l + 1 层的节点嵌入;

该研究在每一层的输出处应用 layer norm,使得 Z^ (l+1) =

此外,该研究还探索了可以用来替换的架构,这些架构对节点和边使用嵌入,并使用单独的 MLP 来盘算。当在每一层中使用具有高维边嵌入的此类网络时,它们的内存使用量可能会比 GCN 高得多,由于 GCN 只需要毗邻矩阵,可能不适合 GPU 内存,除非以精度为价值削减层数。GCN 更适合扩展到大规模 MIP。

数据集

表 1 中总结了数据集的详细信息,除 MIPLIB 之外的所有数据集都是特定于应用程序的,即它们只包罗来自单个应用程序的实例。

解算后种种数据集的 MIP 巨细如图 4 所示:

除了 MIPLIB 之外的所有数据集,该研究将实例随机拆分为 70%、15% 和 15% 的不相交子集来界说训练集、验证集和测试集。对于 MIPLIB,该研究使用来自 MIPLIB 2017 基准集的实例作为测试集。在删除与 MIPLIB 2017 基准集的重叠实例后,划分使用 MIPLIB 2017 Collection Set 和 MIPLIB 2010 set 作为训练集和验证集。对每个数据集来说,训练集用于学习该数据集的模子,验证集用于调整学习超参数和 SCIP 的元参数,测试集用于讲述评估效果。

评估

首先该研究单独评估了 Neural Diving、 Neural Branching,后续又举行了团结评估。不管在哪种情形下,该研究都评估了与训练集星散的 MIP 测试集,以权衡模子对未见实例的泛化能力。并使用 gap plot 和 survival plot 出现效果。

校准时间(Calibrated time):所有数据集和对照义务所需的评估事情量需要 160000 多个 MIP 解算,以及近一百万个 CPU 和 GPU 小时。为了知足盘算需求,该研究使用了一个共享的、异构的盘算集群。

为了提高准确性,对于每个求解义务,该研究定期在统一台机械上的差异线程上解决一个小的校准 MIP。该研究还使用在统一台机械上解决义务时的校准 MIP 求解数的估量来丈量时间,然后使用参考机械上的校准 MIP 求解时间将这个量转换为时间值。

Neural Diving

在本节中,研究者用本文方式来学习 diving-style 原始启发式的方式,该算法从给定的实例漫衍为 MIP 天生高质量的赋值。头脑是训练一个天生模子,对 MIP 的整数变量举行赋值,从这些整数变量中可以抽样部门赋值。该研究使用 SCIP 获得高质量的赋值(纷歧定是最优的)作为 MIP 训练集的目的标签。

一旦在这些数据上举行了训练,该模子就可以展望来自统一问题漫衍的未见实例上的整数变量值。模子展望中所示意的不确定性被用于界说对原始 MIP 的部门赋值,该初始 MIP 牢靠了很大一部门整型变量。这些异常小的 sub-MIP 可以使用 SCIP 快速解决,发生高质量的可行赋值。

2022世界杯资讯

www.x2w99.com)实时更新发布最新最快最有效的2022世界杯资讯资讯。

解决方案展望作为条件天生模子

思量一个整数程序(即,所有变量都是整数),其参数为 M = (A, b, c)(见方程 1),并在一组整数变量 x 上有一个非空可行集。假设最小化,该研究使用目的函数界说 x 上的一个能量函数:

注重,所有变量都使用了相同的 MLP,参见图 5:

模子展望与经典求解器相连系

该研究使用 SelectiveNet 方式训练了一个分外的二元分类器,可以用来判断哪些变量需要展望,哪些不需要展望,并优化变量之间的「coverage」,将其界说为展望变量数与未展望变量数之比。

通太过配或收紧大部门变量的界限,该研究显着地削减了问题的规模,并热启动 SCIP,以在更短的时间内找到高质量的解决方案。

这种方式还提供了现实的盘算优势:展望抽样息争搜索是完全并行的。研究者可以重复和自力地从模子中提取差其余样本,而且样本的每个部门赋值都可以自力地求解。

效果

该研究在训练集上为每个数据集训练一个 GNN,并在验证集上调整超参数。图 6 为原始间隙(primal gap)与基线 SCIP 的平均效果。

与 SCIP 相比,该研究在并行温顺序运行方面,在所有数据集上以更短的时间发生更好的原始界限。研究者以为该方式的优势是能迅速找到好的解决方案,但有时它不能找到最优或靠近最优的解决方案。这可以从图 7 的 survival plot 中看出,Neural Diving 方式在较短的时间限制下胜出,但在 Electric Grid Optimization 和 MIPLIB 数据集上不如 SCIP。

该研究在两个数据集上(Google Production Packing 、 NN Verification,如图 8、9 所示)引入了两个分外的效果,而且将 Neural Diving、Gurobi 求解器举行连系:该研究以同样的方式分配变量,但使用 Gurobi 而不是 SCIP 来解决剩下的问题。

除了在上表 1 中的数据集上评估 Neural Diving 之外,研究者还通过修改自身方式来求解 MIPLIB 2017 Collection Set 中的开放实例。这些实例是 MIPLIB 2017 Collection Set 能够提供的 hardest 的问题。

下表 2 展示了与之前最着名解相比改善后的目的值。

Neural Branching

分支定界(branch-and-bound)历程在每次迭代时需要做出两个决议,即扩展哪个叶节点以及在哪个变量上分支。研究者专注于后一个决议。变量选择决议的质量对求解 MIP 时分支定界所接纳的步骤数目具有重大影响。通过模拟节点高效但盘算昂贵的 expert 的行动,他们使用深度神经网络来学习变量选择战略。

通过将昂贵 expert 的战略提炼到神经网络中,研究者追求保持大致相同的决议质量,但大大削减了做出决议所需时间。给定树节点的决议完全是该节点的内陆决议,因此学习战略只需要将节点的示意而不是整个树作为输入,由此实现更强的可扩展性。

为了证实 expert 数据天生的可扩展性获得了提升,研究者将 ADMM expert 与 Gasse 等人于 2019 年使用的 expert,即 Google Production Packing 和 MIPLIB 上的 Vanilla Full Strong Branching (VFSB)举行了对照。

下图 10 展示了 60 小时内两个 expert 天生的每个分支定界节点中变量数目直方图,该节点位于两个数据集中变量数目最多的节点上。

模拟学习是给定 expert 行为示例的情形时追修业习 expert 战略的算法的统称。研究者在本文中将模拟学习表述为一个监视学习问题,并思量了三种变体:克隆 expert 战略、随机移动的蒸馏和 DAgger。

在实验中,研究者将他们选择的三种模拟学习变体作为超参数对每个数据集举行调整。他们使用这三种变体为每个数据集天生了数据和训练战略,并选定了三小时内在验证集实例上取得最低平均对偶间隙(dual gap)的战略,接着在测试集上对选定的战略举行评估以得出相关效果。

效果

研究者在优化双重约束的义务上对学得的分支战略举行评估。下图 11 展示了 Neural Branching 与 Tuned SCIP 的平均对偶间隙曲线图:

下图 12 展示了将一个数据集的目的最优间隙应用于每个测试集 MIP 实例的对偶间隙时盘算得出的生计曲线。研究者确认了上图 11 得出的结论,即在除 Google Production Planning 和 MIPLIB 之外的所有数据集上,Neural Branching 能够在所有时间限期内连续地求解出更高分数的测试实例。

团结评估

研究者将 Neural Branching 和 Neural Diving 连系成了单个求解器,这种做法使得在 Tuned SCIP 上实现了显著加速。他们通过 PySCIPOpt 包提供的接口使用并将学得的启发式方式集成到 SCIP 中。

此外,研究者思量了四种连系 Neural Branching 和 Neural Diving 的可能方式,详细如下:

单独的 Tuned SCIP;

Neural Branching+Neural Diving(序列)使用神经启发式方式;

Neural Branching 仅使用学得的 branching 战略;

Tuned SCIP+Neural Diving(序列)仅使用延续版本的 Neural Diving。

下图 13 展示了作为运行时间函数的平均原始对偶间隙曲线,神经求解器在四个数据集上显著优于 Tuned SCIP。

详细来讲,在 NN Verification 数据集上,神经求解器在大的时间限期内平均原始对偶间隙比 Tuned SCIP 好 5 个数目级以上;在 Google Production Packing 数据集上,Neural Branching 和 Neural Diving(序列)更快地实现更低的间隙,在比 Tuned SCIP 时间少 5 倍多的情形下到达了 0.1 的间隙,但 Tuned SCIP 最后遇上了;在 Electric Grid Optimization 数据集上,神经求解器以更高的运行时间实现了低一半的间隙;在 MIPLIB 数据集上,Tuned SCIP+Neural Diving(序列)组合以更高的运行时间实现了 1.5 倍的间隙。

下图 14 展示了作为运行时间函数的生计曲线。研究者进一步确认了上图 13 的考察效果,同样在四个数据集上,神经求解器在给准时间限期内求解测试集问题时能够取得比 Tuned SCIP 更高的分数。因此,这些效果解释学习可以显著提升 SCIP 等壮大求解器的性能。

NVIDIA对话式AI开发工具NeMo实战分享

开源工具包 NeMo 是一个集成自动语音识别(ASR)、自然语言处置(NLP)和语音合成(TTS)的对话式 AI 工具包,便于开发者开箱即用,仅用几行代码便可以利便快速的完成对话式 AI 场景中的相关义务。

8月26日20:00-21:00,系列分享第2期:使用NeMo快速构建智能问答系统

智能问答系统简介

智能问答系统的事情流程和原理

构建适合于NeMo的中文问答数据集

在NeMo中训练中文问答系统模子

  • 新2会员手机端 @回复Ta

    2021-09-05 00:00:19 

    USDT线上交易www.Uotc.vip)是使用TRC-20协议的Usdt官方交易所,开放USDT帐号注册、usdt小额交易、usdt线下现金交易、usdt实名不实名交易、usdt场外担保交易的平台。免费提供场外usdt承兑、低价usdt渠道、Usdt提币免手续费、Usdt交易免手续费。U担保开放usdt otc API接口、支付回调等接口。

    额,我认为比较优秀

  • usdt在哪里可以交易(www.usdt8.vip) @回复Ta

    2021-10-06 00:00:52 

    usdt第三方支付平台www.caibao.it)是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键无实名出售Usdt。

    考这个我能得100

发布评论