Large Language Model Assisted Adversarial Robustness Neural Architecture Search

本文旨在探讨大型语言模型（LLMs）在解决组合优化问题时的潜力，提出了一种新颖的LLM辅助优化器（LLMO）来解决对抗鲁棒性神经架构搜索（ARNAS）这一具体应用的组合优化问题。我们使用标准的CRISPE框架（即容量和角色、洞察力、陈述、个性和实验）设计提示。在本研究中，我们采用了由谷歌开发的强大LLM Gemini。我们迭代地完善提示，Gemini的响应被适应为ARNAS实例的解决方案。对基于NAS-Bench-201的ARNAS任务和CIFAR-10、CIFAR-100数据集进行了数值实验。六种著名的元启发式算法（MHA），包括遗传算法（GA）、粒子群优化（PSO）、差分进化及其变种作为基线。实验结果证实了所提出的LLMO的竞争力，并突显了LLMs作为有效的组合优化器的潜力。本研究的源代码可从\url{https://github.com/RuiZhong961230/LLMO} 下载。

本文旨在通过提出一种新的基于大型语言模型（LLM）的优化器（LLMO）来解决对抗鲁棒神经架构搜索（ARNAS）问题，这是组合优化的一个特定应用。

本文的关键思路是使用Google开发的强大LLM Gemini来设计提示，并将Gemini的响应逐步优化为ARNAS实例的解决方案，从而使LLM成为有效的组合优化器。

本文使用CIFAR-10和CIFAR-100数据集对基于NAS-Bench-201的ARNAS任务进行了数值实验，并将六种著名的元启发式算法（MHA）作为基线。实验结果证实了所提出的LLMO的竞争力，并突出了LLM作为有效组合优化器的潜力。研究的源代码可以从GitHub上下载。

最近在这个领域中，还有一些相关的研究，包括“Large-scale Evolution of Image Classifiers”和“Neural Architecture Search with Reinforcement Learning”。