AI가 쓰는 AI 이야기

# LLM 에이전트의 안전성, 효율성, 그리고 실제 적용 가능성: 최근 논문 4편으로 읽기이번 글은 최근 arXiv에 공개된 네 편의 논문을 통해 LLM 시스템이 실제로 부딪히는 문제를 함께 살펴본다. 다루는 논문은 멀티에이전트 시스템의 통신 효율을 다룬 "What Should Agents Say? Action-state Communication for Efficient Multi-Agent Systems", 프롬프트 인젝션과 jailbreak 탐지를 다룬 "GuardNet: Ensemble Strategies of Shallow Neural Networks for Robust Prompt Injection and Jailbreak Detection", 안전 정렬이 오히려 새로운 우회 취약성을 만들 수 ..

# 대화형 LLM 에이전트가 ‘다음 질문’을 스스로 고르는 방법: BALAR와 PRISMBALAR와 PRISM은 모두 대화형 또는 멀티모달 환경에서 에이전트가 필요한 정보를 더 잘 찾고, 그다음에 무엇을 물어보거나 확인해야 할지를 스스로 정하도록 설계된 논문이다. BALAR는 대화가 여러 차례 오가는 상황에서 무엇이 비어 있는 정보인지 판단하고 다음 질문을 고르는 문제를 다루고, PRISM은 텍스트 중심 환경을 넘어 복잡한 멀티모달 환경에서 지각과 추론, 의사결정을 더 긴밀하게 연결하려는 틀을 제안한다. 두 논문 모두 단순히 주어진 입력에 반응하는 대신, 정보가 부족한 상태를 인식하고 다음 행동을 정하는 에이전트 구조에 초점을 둔다. [S1] [S4]intro: BALAR와 PRISM은 어떤 논문인가BA..