增加第78期 | GPTSecurity周报

Author: NINA-LI-2024

_posts/2025-1-25-WeekReport.md

@@ -0,0 +1,74 @@
+---
+layout:     post
+title:      "第78期|GPTSecurity周报"
+date:       2025-1-25 11:00:00
+author:     "安全极客"
+header-img: "img/post-bg-unix-linux.jpg"
+catalog: true
+tags:
+    - Security
+    - AIGC
+    - GPTSecurity周报
+---
+
+
+![这是一张图片](https://www.gptsecurity.info/img/in-post/0807/01.jpg)
+
+GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。
+
+## Security Papers
+
+#### ChatNVD：借助大语言模型推进网络安全漏洞评估
+
+简介：软件系统中网络安全漏洞出现的频率日益增加，其复杂程度也不断提高，这凸显出对可靠且有效的漏洞评估方法的迫切需求。然而，现有的评估方法往往依赖于技术性很强且抽象的框架，这既阻碍了人们的理解，又增加了漏洞被利用的可能性，进而导致严重的网络攻击。
+
+鉴于大语言模型（LLMs）在各个不同领域的应用日益广泛，研究者们探讨了它们在网络安全领域的潜在应用，特别是在加强软件漏洞评估方面的应用。研究者们提出了 ChatNVD，这是一款基于大语言模型的网络安全漏洞评估工具，它利用美国国家漏洞数据库（NVD）为网络安全专业人员、开发人员以及非技术用户提供富含背景信息的见解，并简化漏洞分析流程。
+
+研究者们开发了 ChatNVD 的三个变体，分别利用了三家知名机构的大语言模型：OpenAI 的 GPT-4o mini、Meta 的 Llama 3 以及谷歌的 Gemini 1.5 Pro。为了评估它们的功效，研究者们使用一份涵盖常见安全漏洞问题的综合调查问卷对这些模型进行了对比分析，以评估它们在识别和分析软件漏洞方面的准确性。这项研究为大语言模型在应对理解和缓解软件漏洞方面的关键挑战上所具备的潜力提供了有价值的见解。
+
+*链接：https://arxiv.org/abs/2412.04756*
+
+#### 释放GHOST：一个基于大语言模型的自动化硬件木马设计框架
+
+简介：传统上，将逼真的硬件木马（HT）植入复杂的硬件系统是一个耗时的手动过程，需要对设计有全面的了解，并能梳理错综复杂的硬件描述语言（HDL）代码库。基于机器学习（ML）的方法曾试图使这一过程自动化，但往往面临诸多挑战，比如需要大量的训练数据、学习时间长以及在不同硬件设计场景中的通用性有限等问题。
+
+研究者们通过提出GHOST来应对这些挑战，GHOST是一个利用大语言模型（LLMs）实现快速生成并植入硬件木马的自动化攻击框架。研究者们的研究针对静态随机存取存储器（SRAM）、高级加密标准（AES）和通用异步收发传输器（UART）这三种硬件设计，对三款最先进的大语言模型 ——GPT-4、Gemini-1.5-pro 和 Llama-3-70B 进行了评估。根据研究者们的评估结果，GPT-4 表现出更优性能，其 88.88% 的硬件木马植入尝试都成功生成了可正常工作且可综合的硬件木马。
+
+这项研究还凸显了由大语言模型生成的硬件木马所带来的安全风险，结果显示，由GHOST生成的可综合硬件木马有 100% 都躲过了基于机器学习的硬件木马检测工具的检测。这些结果强调了硬件安全领域迫切需要先进的检测和防范机制，以应对由大语言模型生成硬件木马这一新兴威胁。
+
+*链接：https://arxiv.org/abs/2412.02816*
+
+#### 使用Plain Agents进行黑客夺旗赛（CTF）
+
+简介：研究者们通过简单的大语言模型（LLM）智能体设计对一项高中水平的黑客竞赛基准进行了充分测试。具体而言，研究者们利用提示、工具使用以及多次尝试的方法，在 InterCode-CTF（一个颇受欢迎的攻击性安全基准测试）上取得了 95% 的成绩。这一成绩超过了 2024 年冯氏（Phuong）等人所取得的 29% 以及 2024 年阿布拉莫维奇（Abramovich）等人所取得的 72% 的成绩。
+
+研究者们的研究结果表明，当前的大语言模型在攻击性网络安全方面已经超越了高中水平。研究者们发现它们的黑客能力仍未被充分挖掘：研究者们采用的 “推理与规划”（ReAct&Plan）提示策略无需复杂的工程设计或高级操控手段，就能在一到两轮内解决诸多难题。
+
+*链接：https://arxiv.org/abs/2412.02776*
+
+#### HackSynth：用于自主渗透测试的大语言模型智能体及评估框架
+
+简介：研究者们引入了 HackSynth，这是一种创新的基于大语言模型（LLM）且具备自主渗透测试能力的智能体。HackSynth 的双模块架构涵盖了一个规划器与一个汇总器，这使得它能够循环往复地生成指令并处理反馈信息。
+
+为了对 HackSynth 进行基准测试，研究者们凭借热门平台 PicoCTF 和 OverTheWire 构建了两套全新的基于夺旗赛（CTF）的基准集。这些基准集收纳了横跨不同领域与难度层级的两百个挑战任务，为评估基于大语言模型的渗透测试智能体搭建起了标准化的框架体系。
+
+基于上述基准，研究者们实施了大量的实验，对 HackSynth 的核心参数予以剖析，其中包含了创造性（如温度和核采样参数）以及令牌利用率等方面。研究者们运用了多个开源与专有大语言模型来测定该智能体的各项能力。实验结果显示，此智能体在采用 GPT-4o 模型时展现出最优的性能表现，其效果甚至超越了 GPT-4o 的系统卡片所给出的预期。
+
+研究者们还针对 HackSynth 行为的安全性与可预测性展开了深入探讨。研究者们的发现彰显了基于大语言模型的智能体在推动自主渗透测试发展进程中的潜在价值，同时也凸显了稳固保障措施的关键意义。HackSynth 及其相关基准均已面向公众开放，旨在推动关于自主网络安全解决方案的深入探究。
+
+*链接：https://arxiv.org/abs/2412.01778*
+
+#### 未来之种从FUTURE中萌芽：用于揭示未来深度学习库中漏洞的模糊测试
+
+简介：大语言模型（LLMs）的广泛应用凸显了依赖诸如 PyTorch 和 TensorFlow 等基础深度学习库的深度学习（DL）技术的重要性。尽管这些库具备强大的功能，但它们在可扩展性以及适应大语言模型领域快速发展方面面临挑战。作为回应，苹果和华为等科技巨头正在研发各自的深度学习库，以提升性能、增强可扩展性并保护知识产权。
+
+研究者们意识到确保这些库的安全性至关重要，而模糊测试是一项关键的解决办法。然而，现有的模糊测试框架在目标灵活性、有效测试容易出现漏洞的应用程序编程接口（API）序列以及利用新库中有限的可用信息方面存在困难。
+
+为解决这些局限，研究者们提出了 FUTURE，这是首个专为新推出及潜在的深度学习库量身定制的通用模糊测试框架。研究者们利用 FUTURE来挖掘历史漏洞信息，通过对现有库的深入研究，获取可用于新库检测的关键数据。同时，研究者们对大语言模型进行微调以生成特定的代码，使 FUTURE框架能够更好地适应不同库的特点。这一策略有助于识别新库中的漏洞，并利用从这些新库中获得的见解来增强现有库的安全性，从而形成一个从历史到未来再回到历史的循环。
+
+为评估 FUTURE的有效性，研究者们对三个新推出的深度学习库进行了全面评估。评估结果表明，FUTURE 在漏洞检测、漏洞复现成功率、代码生成有效率以及 API 覆盖范围等方面，显著优于现有的模糊测试工具。尤其值得一提的是，FUTURE在 452 个目标 API 中检测出了 148 个漏洞，其中包括 142 个此前未知的漏洞。在这些漏洞中，有 10 个已被分配了通用漏洞披露（CVE）编号。此外，FUTURE 还在 PyTorch 中检测出了 7 个漏洞，这证明了它反向增强现有库安全性的能力。
+
+*链接：https://arxiv.org/abs/2412.01317*
+
+
+![secgeek-foot](https://www.gptsecurity.info/img/secgeek-foot.png)