12.14 케이스스터디

[kyeongchan92]

케이스 스터디

Conversational Recommender system, LLM, 추천 관련해 각자 논문 5개씩 정리해오기!
우리가 하려는 모호한 주제..와 관련된 기존 논문들 조사!
데이터 구축할지 아닐지, 컨트리뷰션 어떤 형태로 할지(방법론만, 서베이형식 등)

[choco9966]

[김현우]

1. OMuleT: Orchestrating Multiple Tools for Practicable Conversational Recommendation
2. A Multi-Agent Conversational Recommender System
3. Inquire, Extract, Retrieve and Re-rank: A Multi-Agent Approach for Conversational Recommender Systems
4. RAMO: Retrieval-Augmented Generation for Enhancing MOOCs Recommendations
5. On the Multi-turn Instruction Following for Conversational Web Agents

[choco9966]

경아님도 한번 얘기한 주제인데, 어떤 시점에서 멀티턴 대화를 보면서 추천을 해주고 어느 시점에 이전 정보를 초기화해서 추천을 새로 시작해야할지에 대한 연구가 연구적으로는 의미있어보임

[passiona2z]

[황선진]

Recsys 2024

1. Unleashing the Retrieval Potential of Large Language Models in Conversational Recommender Systems (* Long)
2. A Hybrid Multi-Agent Conversational Recommender System with LLM and Search Engine in E-commerce (* Industry)
3. GenUI(ne) CRS: UI Elements and Retrieval-Augmented Generation in Conversational Recommender Systems with LLMs (* Demo)

KDD 2024

1. Broadening the View: Demonstration-augmented Prompt Learning for Conversational Recommendation (* Long)
2. Retrieval-Augmented Conversational Recommendation with Prompt-based Semi-Structured Natural Language State Tracking (* Demo)

추천 주요학회(2024) 논문 조사 후 개인생각 정리

• 추천 학회의 Demo로 접근

  • https://recsys.acm.org/recsys24/call/#content-tab-1-6-tab
    서비스 구현 - 서비스 구현 방법에 대해서 논문, 진짜 간단함
    • https://dl.acm.org/doi/10.1145/3626772.3657670 (* 컨셉이 저희 공모전과 유사)
    • https://dl.acm.org/doi/10.1145/3640457.3691697
  • 다른 분야는 어떻게 디밸롭해야할지 방향이 안보임
    Long/Short paper
    Industrial → 실제 소속이 필요(익명 제출 아님)
    • (CRS 분야) 엄청 기존 연구가 많다
      • 참고 : 데이터셋
        https://huggingface.co/datasets/recwizard/redial
        https://github.com/sweetpeach/Inspired
    • 또한, LLM으로 멀티 Agent(+ 파인튜닝까지 곁들인)를 활용한 연구도 많음
      • 단순히 멀티 Agent 활용한 추천 컨셉으로 접근하기는 한계가 있음
      • https://dl.acm.org/doi/10.1145/3640457.3688061 (* 징둥닷컴)
    • 데모 외, 대부분 연구는 파인튜닝(Instruction tuning)을 수행하고 성능 초점
      • 파인튜닝 안하면 성능이 안나올 것이고, 한다해도 성능은 운의 영역ㅠ

• 2025 CIKM이 서울에서 열리는데, 서울 맛집 추천 Demo로 준비

[choco9966]

근데 저는 Fine-Tuning은 꼭 필수라고는 생각안해요. 오히려 Fine-Tuning에 드는 비용을 API로만 해결하면 그건 이것대로 의미있는 작업이라 생각하거든요

[soonhp]

라마 8B로 sllm 구축하더라도 RAG가 더 나을려나요??

[soonhp]

저도 서울 맛집 추천 괜찮은 것 같아요!! 저희의 노하우를 잘 살릴 수 있을 것 같습니다!

[soonhp]

Demo에서 첫번째 논문에서 가게별 리뷰 유사도 평균 참고할만함!

[choco9966]

음 상황마다 다를 것 같아요. 지식 주입하는게 생각보다 어려워서, 최신 지식을 목적으로 하면 전 RAG가 좋은 것 같고
특수한 테스크 목적 (Routing)은 sLLM으로 파인튜닝하는게 낫지않나? 싶어요!

[Sanghyeon16]

[이상현]

• 출장으로 참여는 못하지만 아래 3줄 요약 내용이라도 확인 요청드립니다!
• 논문 작성 방향으로 데모 페이퍼를 목표로 하는건 어떨까 싶습니다.

논문 작성 방향 설계시 참고용

1. MACRec: a Multi-Agent Collaboration Framework for Recommendation (SIGIR 2024 demo paper)

• 다중 에이전트를 활용하여 다양한 추천 시나리오에서 추천 작업을 효과적으로 수행할 수 있는 추천 프레임워크 설계함
• 추가 실험보다는 데모 페이퍼로 만들어 논문을 작성함 (https://github.com/wzf2000/MACRec)
• 우리도 추가 실험이 힘들다면 패키징하여 데모 페이퍼로 출판 가능할듯

2. Prospect Personalized Recommendation on Large Language Model-based Agent Platform

• 에이전트 플랫폼에서 사용자의 선호를 반영하여 맞춤형 에이전트 서비스를 추천하는 시스템을 제안하며, 사용자와 에이전트 간의 상호작용과 에이전트 간의 협업을 통해 추천의 정확성과 효율성을 높이는 방법의 프레임워크를 제안함
• 아직 데모 코드는 없으나, 논문 작성 방향을 잡을 때 참고하기 좋음
• 우리도 추가 실험이 힘들다면 패키징하여 데모 페이퍼로 출판 가능할듯

3. Leveraging Large Language Models in Conversational Recommender Systems (Google Research)

• CRS에서 LLM의 활용 방법 소개 (https://ar5iv.labs.arxiv.org/html/2305.07961)
• 효과적인 적용을 위한 방법 설명 (대화 컨텍스트로 관리, 사용자 프로필, 랭킹, 설명 등)
• 실험 결과보다는 방법론을 제시하는 방향으로 논문 작성 (논문 방향성)

참고문헌용

4. Tuning Large Language Models for Recommendation Tasks
   (https://blog.reachsumit.com/posts/2023/05/tuning-llm-for-recsys/)

• LLM을 활용한 대화형 추천시스템의 case study 참고문헌용

5. Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs
   (https://arxiv.org/html/2404.12994)

• 대화형 정보 검색 시스템(TDS) 평가에서 사용자 피드백이 응답의 관련성, 유용성, 흥미로움, 설명 품질에 미치는 영향을 분석
• 연구 결과, 사람 평가자는 LLM보다 사용자 피드백에 더 민감하게 반응하며, 이는 평가의 개인화와 평가자 간 동의도를 높이는 데 기여
• 사용자 피드백의 중요성을 강조하며, 향후 연구에서는 자동화된 피드백 통합 가능성을 제시

6. Conversational AI use cases for enterprises (기업 블로그)
   (https://www.ibm.com/think/topics/conversational-ai-use-cases )

• 기업에서 바라보는 대화형 AI의 활용 방향 및 중요성 (논문작성시 Introduction 용?)

7. User Intent Recognition and Satisfaction with Large Language Models: A User Study with ChatGPT
   (https://ar5iv.labs.arxiv.org/html/2402.02136)

• 의도 기반 프롬프트 재구성에 대한 유저 스터디 진행
• 의도 분류 방식 제안

8. Exploring the benefits of Large Language Models for Recommendation Systems (기업 블로그)
   (https://www.shaped.ai/blog/exploring-benefits-of-llms-in-recsys)

• 추천 시스템에 대형 언어 모델(LLMs)을 적용하는 다양한 방법과 장점 소개 (피처 엔지니어링, 피처 인코딩, �Scoring, 파이프라인 컨트롤)
• LLM을 추천 시스템에 통합하는 전략 (튜닝, cold item 리랭킹(추천모델이 잘 찾지 못하는 샘플))
• 해결해야 하는 과제 (훈련 효율성, 추론 지연 시간, 긴 텍스트, ID인덱싱, 공정성 및 편향)

[soonhp]

[박순혁]

1. Knowledge-Enhanced Conversational Recommendation via Transformer-based Sequential Modelling(ACM, 2024. 12. 3)
   • PALR(Personalization Aware LLMs for Recommendation) 과 유사해보임

그래프 임베딩(R-GCN) 활용

2. Conversational Recommender System and Large Language Model Are Made for Each Other in E-commerce Pre-sales Dialogue(ACL, EMNLP FINDINGS)

3. Chat-REC: Towards Interactive and Explainable LLMs-Augmented Recommender System(arXiv, 2023. 4. 4)

   • 역시나 PALR(2023. 6. 7)의 프롬프트 엔지니어링 기법과 유사, 특히 잘도 맛있수다 팀이 구현한 방식과 유사(1차 후보 추출하고 LLM에게 최종 후보군 reranking하여 선정하는 방식)

대부분의 CRS(Conversational Recommender System)가 sequential한 정보에 민감함.

파인튜닝없이 오직 RAG와 프롬프트 엔지니어링 기술을 통해 CRS에 접목한 논문을 찾기 힘듦..(웬만하면 파인튜닝을 곁들임..)

[dlskawns]

[이남준]

저도 금일 오전에 개인 사정으로 인해 스터디 참여가 어렵습니다만, 내용 남겨놓도록 하겠습니다!!
담주에 봬요 ㅠㅠ

---

Recsys KDD SIGIR WWW 등 찾아봐도 비슷한 도메인이나 방법론이 많지 않은것 같습니다. 파인튜닝이 많네요.
아이디어를 착안하는 데에 중점을 두어봅니다.

Unleashing the Retrieval Potential of Large Language Models in Conversational Recommender Systems (RecSys 2024 Long)

• Retrieval과 Generation 두 가지 서브태스크로 CRS를 분리하여 경량화된 튜닝(fine-tuning)을 통해 모델 성능을 최적화 합니다.
• 아이디어: 멀티턴 대화에서 Contrastive Learning 기반 임베딩 최적화 (가 아니라도 되돌려 추가 정보를 물을 때 어떤 것이 적합할지에 대한 아이디어 정도)
• 실시간 사용자 피드백을 기반으로 한 추천 재질문(Retrieval Refinement) 메커니즘 방향성

Towards Empathetic Conversational Recommender Systems (RecSys 2024 Long)

• 대화 중 사용자 감정을 활용하여 사용자 선호도를 모델링 하고, 대화를 만들어갑니다.
• 아이디어: 우리 방식들과 크게 관계가 없을 수 있지만, 정보 추출 단계(위치, 메뉴, 조건을 뽑았듯이)에서 추가적으로 다른 요소를 뽑는데에 도움이 되지 않을까 싶습니다.
• 감정적으로 부정적이거나 불확실한 응답에 대해 재질문을 트리거하는 메커니즘