월간슈도렉 9월호 작성공간

[kyeongchan92]

월간슈도렉 9월호 작성공간입니다.

[kyeongchan92]

Matrix Factorization은 어떻게 추천시스템이 될 수 있을까? - 3

4.5 Singular Value Decomposition

SVD는 정방행렬뿐만 아니라 모든 행렬에 적용될 수 있기 때문에 선형대수학의 기본 정리라고도 불린다.

Theorem 4.22 (SVD Theorem). $A^{m \times n}$을 rank $r \in [0, \min(m, n)]$인 직사각형 행렬(rectangular matrix)이라고 하자. $A$의 SVD는 아래와 같은 형태의 행렬분해이다.

• 행렬의 rank(랭크)란? 행렬에서 서로 독립적인 행 또는 독립적인 열의 최대 개수를 의미한다. 예를 들어, 랭크가 1인 행렬은 모든 행이나 열이 하나의 벡터의 스칼라 배수로 나타날 수 있습니다. 즉, 이 행렬은 하나의 독립적인 벡터로 모든 행이나 열을 표현할 수 있다. **랭크가 m (행 개수) 또는 n (열 개수)**인 경우, 행렬의 행 또는 열이 모두 독립적이다. 이 경우 행렬은 그 자체로 최대한 많은 정보를 담고 있다.
• 직교 행렬(orthogonal matrix)이란? $A^\top A=A A^\top=I$를 만족하는 정방 행렬이다. $A^{-1}=A^{\top}$이라는 뜻이 내포돼있다. 즉, 역행렬이 전치행렬과 같다는 뜻이다. 특징으로는 직교 행렬 내의 행 벡터간 또는 열 벡터간의 내적이 항상 0이다. 또한 각 벡터의 크기가 1이다.

$A = U \Sigma V^\top$. 여기서 $U$는 직교행렬로, $U \in \mathbb{R}^{m \times m}$이며, 열벡터 $u_i, i=1, \cdots ,m$을 갖고있다. 마찬가지로 $V$는 직교 행렬로, $V \in \mathbb{R}^{n \times n}$이며, 열벡터 $v_i, i=1, \cdots ,m$를 갖고있다. 그리고 $\Sigma$는 $m \times n$ 행렬이며 대각성분 $\Sigma_{ii} = \sigma_i \geqslant$이며 비대각성분은 모두 0($\Sigma_{ij}=0, i\ne j$)이다.

$\Sigma$대각성분 $\sigma_i, i=1, \cdots , r$을 특이값 _singular value_라고 하고, 관례적으로 특이값은 정렬되어 $\sigma_1 \geqslant \sigma_2 \geqslant \sigma_r \geqslant 0$이다. $u_i$는 left-singular vector, $v_j$는 right-singular vector라고 부른다.

특이값 행렬 $\Sigma$는 유일하다. 하지만 주의할 점이 있다. $\Sigma \in \mathbb{R}^{m \times n}$은 $A$와 동일한 사이즈이다. 이는 $\Sigma$가 diagonal submatrix를 갖는다는 의미고, 추가적인 0 패딩이 필요하다는 것이다. 다시 말해, $\Sigma$가 $m > n$라면 $n$번째 행까지만 대각 요소가 존재하고, $n+1$부터 $m$행까지는 $0^{\top}$ 벡터가 된다.

$m < n$이라면 아래와 같은 형태가 된다.

SVD는 모든 행렬 A \n \mathbb{R}^{m \times n}에 대하여 존재한다.

4.5.1 Geometric Intuitions for the SVD는 일단 패스!

4.5.2 Construction of the SVD

왜 SVD가 존재하는지, 그리고 어떻게 계산하는지 알아보자. 일반적인 행렬의 SVD는 정방행렬을 eigendecomposition할 때와 몇 가지의 유사점을 갖는다.

아래 Symmetric Positive Definite 행렬의 eigendecomposition과 비교해보자.
$S=S^{\top}=PDP^{\top}$

이에 상응하는 SVD는

$S=U\Sigma V^{\top}$

만약 $U=P=V$, $D=\Sigma$라고 한다면, SPD행렬의 SVD는 그들의 eigendecomposition인 것을 알 수 있다.

위의 Theorem 4.22 (SVD Theorem)이 왜 만족하는지 알아보자. 행렬 $A$의 SVD를 계산하는 것은 직교 기저(orthonormal bases)인 codomain $\mathbb{R}^{m}$에서의 $U=(u_1, \cdots, u_m)$와 $\mathbb{R}^{n}$에서의 $V=(v_1, \cdots, v_n)$을 찾는 일이다. 이러한 정렬된 bases로부터 $U$와 $V$를 만든다.(Codomain(코도메인)은 함수에서 정의된 개념으로, 함수의 출력값이 속할 수 있는 전체 공간을 의미함)

처음 할 일은 right-singular vector인 $v_1, \cdots, v_n \in \mathbb{R}^{n}$의 직교 집합을 만드는 것이다. 그 다음 left-singular vector인 $u_1, \cdots, u_m \in \mathbb{R}^{n}$을 만든다. 그리고 나서 그 두 집합을 연결하고, $A$로 변형시킨 후에도 $v_i$의 orthogonality가 보존되도록 할 것이다. 이는 중요한 과정인데, 왜냐하면 $Av_i$의 image들이 가 직교 기저 집합을 형성 해야 함을 알고 있기 때문이다. 그리고 나서 scalar factor로 이 image들을 정규화(normalize)시킨다. 이들이 특이값들이 된다.

• image는 함수의 출력값 또는 변환된 값을 의미합니다. 선형대수에서, 행렬 $A$가 어떤 벡터 $v_i$에 작용할 때 그 결과로 나오는 벡터 $Av_i$를 $v_i$의 이미지 또는 이미지 벡터라고 한다. 즉, 벡터 $v_i$를 행렬 $A$로 변환(매핑)한 결과가 $A v_i$이다.

Right-singular vector를 먼저 만들어보자. Spectral Theorem (Theorem 4.15)에 따라 symmetric 행렬은 고유 벡터의 ONB를 갖는다. 이는 대각화 될 수 있음을 의미한다.

잠깐, symmetric 행렬은 고유 벡터의 ONB를 갖고, 때문에 대각화 할 수 있다?

Spectral Theorem : 만약 $A \in \mathbb{R}^{n \times n}$가 symmetric이라면, $A$의 고유벡터로 구성된 정규 직교 기저(ONB)가 존재한다.
ONB(orthonormal basis)는 서로 직교하면서 길이가 1인 벡터들이다. 즉, 대칭행렬의 고유벡터들은 항상 직교하며, 그 고유벡터들을 정규화(nomalization)하면 크기가 1인 벡터로 만들 수 있다는 것이다. 이 고유벡터들이 벡터 공간의 기저(basis)를 형성할 수 있다는 것이다. 다시 돌아가자. 대각화 가능하다는건 뭘까?
대각화에 대해서는 2편에서 다룬 적이 있으나...다시 한 번 상기해보자. 대각화는 행렬을 대각행렬로 변환한다는 것이다. 어떤 행렬 $A$가 대각화 가능하다는 것은 다음을 의미한다.
$A=PDP^{-1}$

• $D$는 대각 행렬이다.
• $P$는 행렬 $A$의 고유벡터들로 구성된 행렬이다.

대칭행렬은 정규 직교 기저를 갖는다고 했다. 이 벡터들을 행렬 $P$로 구성하면, 모든 대칭행렬은 대각화 가능하다. 대칭행렬의 고유값이 항상 실수이기 때문에, 대각행렬 $D$가 실수로 구성될 수 있다. P의 모든 열벡터들이 선형 독립이라면, 직교 행렬이라는 것이고, 직교행렬의 특징은 $P^{-1}=P^{\top}$이기 때문에 $P^{\top}$도 존재한다.

여기까지 해서 symmetric 행렬은 고유 벡터의 ONB를 갖고, 때문에 대각화 할 수 있다.

게다가, Theorem 4.14에 의해 모든 직사각행렬 $A \in \mathbb{R}^{m \times n}$로부터 symmetric, positive semidefinite 행렬 $A^{\top} A \in \mathbb{R}^{n \times n}$를 만들 수 있다. 그러므로, 우리는 항상 $A^\top A \in \mathbb{R}^{n \times n}$을 대각화할 수 있고 다음을 얻을 수 있다.

$P$는 orthogonal matrix이고, 이는 orthonormal eigenbasis로 구성되어 있다. $\lambda_i \geqslant 0$은 $A^{\top}A$의 고유값이다. $A$의 SVD가 존재한다고 가정하고 가정하자. 그럼
$A^{\top}A = (U\Sigma V^{\top})^{\top}(U\Sigma V^{\top}) = V\Sigma^{\top}U^{\top}U\Sigma V^{\top}$
이 된다. $U$. $V$는 orthogonal 행렬들이다. 그러므로, $U^{\top}U=I$이므로 다음을 얻는다.

둘을 비교함으로써, $V^{\top} = P^{\top}$, $\sigma_i^{2} = \lambda_i$를 얻을 수 있다.

그러므로, $P$를 구성하는 $A^{\top}$의 고유 벡터들이 right-singular vector가 된다. $A^{\top}A$의 고유값들은 특이값의 제곱이 된다.
Left-singular vectors $U$를 얻기 위해서 위와 비슷한 절차를 밟는다. Right-singular vectors를 얻기위해 $A^\top A$를 분해했다면, left-singular vectors를 얻기 위해 $A A^\top$을 SVD한다.

$AA^{\top} = (U\Sigma V^{\top})(U\Sigma V^{\top})^{\top} = U\Sigma V^{\top}V\Sigma^{\top}U^{\top}$

Spectral Theorem에 의하면(엄청 자주나오네...) $A A^\top$은 $A A^\top = SDS^{\top}$으로 대각화 가능하고, 이를 통해 $AA^{\top}$의 고유벡터의 ONB를 찾을수 있다. 이 벡터들은 $S$에 모이게 된다. $AA^\top$의 orthonormal 고유벡터들이 바로 left-singular vectors인 $U$이고, SVD의 codomain에서의 ONB를 형성한다.

마지막 스텝은 위에서 계산한 부분들을 연결하는 것이다. 현재 우리는 right-singular vectors의 ONB를 $V$에 갖고 있는데, 이들을 orthonormal vectors $U$와 연결시킬 것이다. 이를 위해, $A$에 의한 $v_i$의 image들 또한 직교(orthogonal)해야한다는 사실을 사용할 것이다.

$(Av_i)^\top (Av_j) = v_i^\top (A^\top A ) v_j = v_i^\top (\lambda_j v_j ) = \lambda_j v_i^\top v_j = 0)$

왜 중간에 $A^\top A$가 $\lambda$가 되는가? 대칭행렬 $A^\top A$의 고유값이 $\lambda$라고 했을 때, 고유값의 정의에 따라 $A^\top A v_j = \lambda_j v_j$가 되기 때문이다.

$m \geqslant r$인 경우, $\mathbb{R}^m$의 $r$차원의 subspace에서 $\left\{ Av_1, \cdots, Av_r \right\}$이 기저임을 만족한다.

SVD 구축을완료하기 위해 left-singular vectors가 orthonormal이 돼야 한다.

https://truetheta.io/concepts/linear-algebra/svd-and-the-fundamental-theorem-of-linear-algebra/

그러므로, right-singular vector인 $A^\top A$의 고유벡터들과 $A$를 곱한 길이 1의 normalize된 image들, left-singular vector인 $u_i$들은 자체적으로 정렬된(self-consistent) ONB를 형성하고, 이들은 특이행렬 $\Sigma$를 통해 연결된다.

[Sanghyeon16]

[Review] Large Language Models for User Interest Journeys

안녕하세요. 이번 글은 구글 딥마인드 개발자가 RecSys '23 비디오 추천시스템 워크샵에서 발표한 "고객 관심사 여정을 위한 LLM"에 대한 리뷰를 하려고 합니다. 추천시스템에서 고객의 상호작용이력은 필수적으로 필요한 데이터입니다. 하지만 고객의 관심사는 하나로 귀결되는 것이 아니라 상황에 따라 다이나믹하게 변화하여 여러가지 관심사가 섞여 있을 수 있습니다. 고객의 시청의도를 파악하기 위한 방법으로 이전에는 인과추론 모델을 활용해 개인 관심사에 의한 시청인지 인기 콘텐츠 노출로 인한 동조효과에 의한 것인지를 분류하는 모델이 있었는데요[Disentangling User Interest and Conformity for Recommendation with Causal Embedding]. LLM 기술이 발전함에 따라 본 워크샵에서는 LLM을 활용해 관심사 여정을 분류하여 고객 임베딩을 하는 방법에 대해 논합니다. 실험하는 과정에서 Fine-Tuning과 Prompt Tuning, 데이터셋 생성과 LLM 평가 방식 등을 다양하게 기술하고 있어, LLM을 활용할때 참고하기 좋아보입니다.

키워드	Session, User Journey, LLM, UMAP, Intention
학회	The 1st Workshop on LARGE-SCALE VIDEO RECOMMENDER SYSTEMS At ACM RecSys '23 Sep 19th, 2023
원본	Christakopoulou, K., Lalama, A., Adams, C., Qu, I., Amir, Y., Chucri, S., ... & Chen, M. (2023). Large Language Models for User Interest Journeys. *arXiv preprint arXiv:2305.15498*.
작성자	Sanghyeon Lee ([email protected])

workshop video: https://youtu.be/55KXlMSfklg?si=6hbXptcYVcsij21P
workshop link: https://videorecsys.com/

---

User Intents and Journeys in Recommender Systems by Minmin Chen

VideoRecSys Workshop | RecSys 2023

[Workshop Review] Introduction of User Intent Experiments

by Minmin Chen (Google DeepMind)

• As-is

  • 추천시스템에서 장기적으로 변화하는 유저의 관심사를 파악하는 것은 어려운데, 시퀀스 모델링과 강화학습이 성공적인 역할을 해왔다.

• 한계

  • 유튜브는 하루에도 수백건의 user-item 상호작용이 일어나서 제대로 클릭의 의미를 파악하지 않고는 변화하는 고객의 관심사를 파악하기 힘들다.
    • 시청이력을 그대로 추천시스템에 넣는 것이 아닌, intermediate goal로 시청이력에 대한 이해가 필요
  • High-level 고객 이해

    • 고객의 의도와 여정에 대한 깊은 이해 없이는 장기적인 관점의 선호 아이템을 추천하기 힘들다.

      

• Research Question

  • 주어진 시간 내 large-sacle 추천플랫폼에서 유저의 intent를 추론할 수 있는가?

    • 실험

      • Explicit & Implicit modeling of intents (의도파악 모델링 방식)
      • Relying on user behavior rather than item information (어떤 방식으로 보았나? > 무엇을 보았나?)

    • Exploration intent model (binary classification whether user clicked new items)

      • exploration intent가 높으면 다양한 클러스터와 교류, 크리에이터 교류 수, 다양성 등과 양의 상관관계

        → 유저별 탐험의도 지표를 통해 추천 방향성 제시

    • Latent intent model (conditional VAE 모델로 latent user intent 생성)

      • explicit 데이터 없이도 유저의 의도를 latent 변수를 활용해(검색, 조회, 소비) 파악할 수 있음
      • 유저의 미래 행동 latent vector로 재생성 → 다양성 + 유저 enjoyment 증가

---

[Paper Review] Interest Journeys and Companion Recommenders

Abstract

• 과거 시청이력을 이용한 인코딩으로는 고객의 취향을 제대로 알기 어려움

• LLM은 사람끼리 서로 취향을 묻고 상호작용하는 방식으로 유저의 행동의 이유를 설명해 줄 수 있고 진짜 시청 의도를 파악하는데 도움을 줄 수 있음

  → LLM을 활용하여 고객을 이해

  

• Journey Service Framework의 초기단계 제시

  • 고객여정 추출
  • 추출된 고객여정을 LLM으로 요약

  → 고객여정을 정의(요약)하여 추천플랫폼이 고객을 더욱 잘 이해하는 데 활용

  
  • 고객의 시청이력에서 여정을 군집화하고 고객여정을 정의함으로써, 단순 아이템 정보로 user representation을 하는 것이 아닌, 고객여정으로 user representation 할 수 있음

실험 전 군집화 모델링을 위한 사전조사

• 실제 고객의 시청의도 설문조사를 통해 고객여정 분류(정의(Naming))

  • Research Questions
    • (RQ1) If and how people use existing online platforms to pursue their journeys
    • (RQ2) What types of journeys people pursue online?
    • (RQ3) What are the highlights and pain points of pursuing journeys on the internet?
    • (RQ4) How do their journeys evolve?
  
  • Insights found
    1. People value content related to entertainment(50%), learning(34%), community engagement, etc.
    2. People pursue multiple interest journeys concurrently over long periods of time.
       1. 80%의 고객이 한달 이상 같은 관심사를 유지함
       2. 70%는 한번에 1~3개의 관심사를 동시에 가지고 있음
    3. People rely more on explicit actions to find content relevant to their interest journeys.
       1. 고객여정과 관련된 콘텐츠를 찾을 때 검색에 더 의존함
    4. People’s journeys are nuanced and evolve in a personalized way
       1. 고객의 관심사는 미묘하게 개인화된 방향으로 변화함
          1. 자기의 관심사가 “정원 가꾸기”라고 직접 선택한 사람의 실제 세부여정은 “작은 공간을 위한 수경시스템 디자인”임
          2. 한편, “추운 기후를 위한 온실 디자인”은 “정원 가꾸기” 범주에 포함될 수 없어, 개인의 관심사가 매우 구체적이고 세밀하다는 것을 뜻함
       2. 고객의 관심사는 오프라인 및 온라인 플랫폼에서 상호작용을 하며 계속 변화함
       3. 고객별 동일한 관심사여정을 있을 수 없음

Journey Service

본 연구에서는 Journey를 추출하고 네이밍 하는 것에만 목적을 두고, 추천모델에 활용하는 과정은 향후연구로 남겨 놓음

Two components

1. Journey Extraction:
   • Journey 클러스터로 유저-아이템 상호작용 시퀀스 분할
2. Journey Naming:
   • Journey 클러스터를 콘텐츠 메타를 LLM을 활용해 명명(가독성 있는, 늬앙스 이름)
   • 이 과정을 통해 고객이 추천 과정을 이해할 수 있고 추천을 컨트롤할 수 있게 함

평가방식 *Lamda: Language models for dialog applications

• Journey 클러스터 세분화: 여정은 전부 개인화되어 있어서 모든 유저의 클러스터를 정의하기는 어려워서, human-curated playlist로 테스트를 진행하면서 클러스터 평가
• 늬앙스&관심도가 내포된 journey name: 생성된 여정 이름을 여러 스코어를 통해 평가
  • *Bleurt score(사람의 대답과 유사한지)
  • *Specificity score(input과 관련된 구체적인 대답인지)
  • *Interestingness score(흥미를 끌만한 답변인지 사람이 평가)
• 여정이름 안정성: *Safety 가이드라인(Google AI 윤리원칙 참고)을 활용해 을 만들어 fine-tuning 시, 사람이 5-10회 대화하면서 모델 안정성 평가 진행

Journey Extraction Modeling

모든 유저-아이템 인터렉션 시퀀스를 분리하여 여정 클러스터 생성

• 한 아이템이 여러 여정의 뉘앙스를 가질 수 있음
• 모든 여정은 고객별로 개인화되어 있기 때문에 특정 아이템을 여러 여정에 추가해도 괜찮음
  (J_a:{.., .., Item_k, …}, J_n:{.., .., Item_k, …}, J_m:{.., .., Item_k, …})

Infinite Concepts

• Universal Sentence-Encoder로 여정(journey)를 임베딩하고 UMAP으로 군집화함

  • 각 아이템은 unigrams와 bi-grams로 이루어진 salient(현저한, 뚜렸한) terms로 표현하고 salient score 값을 가짐

    • unigrams와 bi-grams은 제목, 설명, 검색쿼리를 활용한 NLP 문장구성 확률 계산방식

      
      • unigram (순서를 모름)
      
      • bigram *(https://jiho-ml.com/weekly-nlp-14/)

    • Salient score는 salient term과 아이템의 관련성을 예측하는 방식으로 학습됨

    • 아이템 그룹를 표현할 salient terms를 salient score를 고려하여 만들게 되고,

    • 하나의 salient term이 하나의 dimension이 되는 infinite 한 공간을 갖게 됨

    • 하나의 여정를 infinite space에서 표시 가능

    • 겹치는 salient terms를 cosine similarity로 계산하여 여정간 유사도를 비교할 수 있음

  • UMAP
    • 고차원데이터로 weighted edge 그래프를 만들고 그래프 투영(projection)으로 압축함으로써 저차원데이터 생성
  

Infinite Concept Personalized Clustering (ICPC)

ICPC

• 아이템의 salient terms를 모든 여정과 유사도 비교
• 유사도가 임계값을 넘으면 해당 여정에 포함, 못 넘으면 새로운 여정 생성
• 여정 salient terms(journey representation) 업데이트
• 여정 내 아이템 수 c 개 이하면 해당 여정 제외

Journey Naming Modeling (using LLMs)

추출된 여정을 설명, 분석, 활용 가능하게 이름을 생성

실험 모델

• LaMDA: 대화형 과제에 최적화된 구글의 언어모델(2022), 대화 데이터와 웹 텍스트 학습
• PaLM: Multi-step reasoning 과제와 TPU 환경 학습에 최적화된 구글의 언어모델(2022), 웹페이지, 위키피디아, 소스코드, SNS 대화, 뉴스기사, 책 데이터 학습
• Flan-PaLM: instructions과 few-shot 예제로 fine-tune 된 모델
• PaLMChilla: Chinchilla 컴퓨팅 최적화 기법으로 학습된 모델

실험 종류

• Prompting LLMs for user interest journeys.

  고객 여정을 더욱 잘 이해하기 위해, 도메인 데이터 학습을 진행했는데, 여러 데이터 효율적인 튜닝 기법을 탐색함

  • Few-shot prompting with O(10) examples: 지시문과 예시를 함께 넣어 gradient updates 없이 빠르게 in-context learning을 할 수 있음(hard prompt)
  • Prompt tuning with O(100) examples: 적은 양의 input-output 데이터로 prompt embedding과 관련된 약간의 parameter를 학습시킴(soft prompt)
  • Fine-tuning with O(10K) examples: 모든 파라미터 업데이트

• Data for aligning LLMs to user journeys.

  LLM을 도메인에 맞게 활용하려면 높은 퀄리티의 도메인 예시가 필요함

  고객에게 직접 의도를 물어보는게 이상적이지만 이는 매우 어렵기 때문에 다음 기법을 사용해서 극복하고자 함

  • Prompt-tuning data:
    • user interviews(ideal dataset), user-collections(long-term journey와 name), expert-curated collections
  • Fine-tuning data:
    • 20K learning playlists(사용자가 만든 playlist 중 “높은 연속성이 있고 “생성목록 제목”의 연관성이 높은 playlist를 인간 평가자가 rating을 하여 raters data를 만들고, 이를 학습한 신경망 모델이 분류한 playlist dataset) → low quality

Journey Extraction Results

실험 셋팅

• 아이템이 적절한 여정 클러스터에 들어 간지에 대한 정확도로 추출결과 평가
  • E1: 300명 실제 고객의 이력 중 학습에 활용하기 좋은 18,370개 이력 확보(X분 이상 아이템을 사용, 고객 만족도 예측 점수가 높은 이력)
  • E2: Learning playlists를 여정으로 생각하고, 일부 두개 여정의 아이템을 섞은 후 다시 두개의 여정으로 잘 분류되는 지 판단
• Extraction 모델 비교
  • Baseline (non-personalized global clusters)
    1. Clusters based on co-occurrence behavior
       1. co-occurrence matrix: 아이템 i, j 가 같은 사람의 시청 이력에 묶인 횟수
       2. matrix factorization으로 아이템 임베딩 생성
       3. k-means로 k cluster 생성
       4. 클러스터 중심과의 걸리로 각 아이템 클러스터에 할당
    2. Clusters based on multimodal item similarity
       1. 영상의 audiovisual 유사도를 Agglomerative Hierarchical Clustering 방식으로 군집화 (*https://process-mining.tistory.com/123)
  • Infinite Concept Personalized Clustering (ICPC)
• Key Results
  • ICPC가 더욱 긴 여정을 추출함
  • ICPC에서 사전 조사와 같이 70%의 유저가 1~3개의 관심사(여정)를 갖는 것을 확인함
  • ICPC가 더욱 높은 recall 값 (추출된 아이템이 learning playlist를 정답으로 정확하게 추출되었는가)
  • 결론: ICPC 기법이 가장 추출을 잘함을 확인함

Journey Naming Results

• 실험 셋팅

  • N1: 100개의 expert collections - high quality
  • N2: 1만개 learning playlists with 높은 연속성 (실제 playlist 이름과 추론된 이름 비교) - low quality
  • N3: 2천명의 실제 고객의 이력으로 10,794개 여정 ICPC 방식 추출 (실제 앨범 제목과 생성된 여정 이름 비교

• 실험 방식

  • 여정에 속한 모든 아이템의 제목을 LLM 모델에 입력하여 여정의 이름 정의 요청
  • 여러 LLM 모델에 다양한 프롬프팅 방식으로 생성된 여정 이름을 비교
  • 주로 BLEURT와 SacreBLEU 스코어를 이용해 정량평가를 진행
    • BLEURT: 임베딩기반의 지표로 semantic similarity 판단
      (참조문장(reference)과 예측문장(input)이 주어졌을 때 사람이 판단한 유사성 평가(output)를 얼마나 잘 예측하는가)
    • SacreBLEU: 생성된 이름과 정답 이름이 겹치는지 판단

• Key Result: Prompting LLMs can reason well through user interest journeys.

  

  LaMDA-137B, Expert-curated collections(prompt tuning data), ICPC method

  • RQ1: Which prompting technique performs best for journey naming?
  

    - 모든 N 환경에서 Prompt-tuning이 few-shot 보다 성능이 좋았음
    (Prompt tuning on small high-quality data outperforms few-shot prompt engineering)
    - 도메인을 학습하여 생성한 데이터 환경에서는 Fine-tuning이 prompt-tuning보다 성능이 좋았지만, 실제 고객이력데이터에서 ICPC로 추출한 여정 데이터에서는 prompt-tunin의 성능이 더 좋았음
    (Fine-tuning outperforms prompt-tuning in-domain, but prompt-tuning has better generalization capability)
  

  • RQ2: Which underlying model is better, and under which circumstances?
  

    - 도메인을 학습하여 생성한 데이터 환경에서는 모델의 크기가 클수록 성능이 더 좋았지만, 실제 고객이력데이터에서 ICPC로 추출한 여정 데이터에서는 큰 차이가 없었음 → 추가 분석이 필요함을 언급
    - Instruction-tuned 기법의 유무는 결과의 차이가 없었음
    - Few-shot 방식으로 학습한 결과는 모델 상관없이 성능이 가장 낮았음
  

  • RQ3: How construction of the prompt affects the quality of generated interest names?
  

    - Which metadata are useful to be part of prompt?
        - 키워드 < 제목 < 제목+키워드 결국 제목이 가장 중요하다고 판단하여 only 제목만을 prompt에 활용함
    - Effect of prompt tuning data on success of learned prompt embeddings
        - 전문가가 선별한 데이터의 성능이 가장 좋았음
        - 유저 인터뷰는 noisy하고 일관되지 않았을 가능성이 있음
        - 전문가의 데이터를 적절히 섞어서 쓰는 것의 잠재적으로 활용가치을 확인함
    - Effect of number of items
        - 아이템의 개수가 일정 수준이 되면 ground truth와 비슷해지기 때문에 너무 많을 필요가 없음을 확인함
  

  • RQ4: How safe and interesting generated user journey names are?
    • N2 실제 고객이력을 통해 추출한 ICPC 데이터에서 가장 safety 스코어가 낮았음
  • RQ5: Do we need journey extraction, or can we rely on LLMs on both journey extraction & naming?
  

    - 실험
        
        1. 고객의 모든 시청이력 한번에 LLM에 넣어 여정이름 추출 요청
        
        2. ICPC로 여정 추출 후, 한줄로 붙여(concatenation) LLM에 넣어 여정이름 추출 요청
        
        3. ICPS로 모든 여정 추출후 여정별로 개별 LLM 여정이름 추출 요청(BEST)
  

  • RQ6: Can the extracted and named journeys enable an improved recommendation experience?
    • 고객별 추출된 여정의 sailent terms과 추천된 아이템의 sailent terms의 유사도를 비교
      Journey-aware serive의 유사도가 더 높아 고객의 여정에 맞는 콘텐츠 추천이 더 잘됨(유사도 임계값 설정시 성능차이는 더욱 커짐)
    • 한달간의 데이터로 추천시스템에 연결하는 실험을 했지만 앞으로 더 많은 실험을 할 예정임

Conclusions and future work

• 최초로 LLM을 활용해 고객의 관심사를 추론하고 LLM으로 사람이 하는 것 처럼 관심사를 설명하는 것을 시연함
• 높은 품질의 적은 데이터로 프롬프트 튜닝하는 기법이 전반적으로 성능이 가장 좋았음
• 여정별 콘텐츠 추출(Extraction)은 단순 시청이력 기반 유사도나 멀티모달 임베딩보다, 아이템을 설명하는 중요 키워드(salient terms)을 활용해여 유사도를 수하는 방식이 가장 좋음

Insights

• 기존에는 시청이력을 그대로 활용하여 모델 측면에서 시청이력의 패턴을 잘 파악하고 예측했던게 중요했었는데, 최근에는 시청이력을 더욱 잘 파악하는 것이 중요한 화두임
  • 본 논문에서는 콘텐츠의 특징을 파악하여 유사한 것끼리 묶어 여정을 군집화하는 방식으로 시청이력을 나누었음
  • 다른 방식으로는 인과추론 기법을 이용해서, 시청을 한 이유가 인기도에 의한 것인지? 개인관심사에 의한 것인지? 추론하여 고객의 의도를 파악함
• 여정 추출(Extraction)과 정의(Naming)의 효과를 확인했으나, 생성과정에서 인적자원이 및 여러 검증 모델이 필요해서 실제 서비스로 바로 활용 하기는 준비기간이 더 필요함
  • Expert-curated data 생성을 위한 전문가, Learning playlist 생성을 위한 인간평가자, user-interview 인력 등

[wholmesian]

민상: “[Paper Review] Explainable and coherent complement recommendation based on large language models”

---

About

최근 Amazon Science에서는 LLM을 활용한 추천시스템 연구를 여럿 발표하고 있습니다. 이번 월간슈도렉에서는 Amazon Science의 논문 하나를 소개하려고 합니다. 제목은 Explainable and coherent complement recommendation based on large language models로, LLM의 정보 이해와 자연어 생성 기능을 활용하여 함께 사면 좋은 상품을 추천해주는 연구입니다.

Background

Coherent complement recommendation

이 연구에서 중점적으로 다루는 주제는 complementary item 추천입니다. 직역하자면 ‘상호보완적인 상품’이 될 텐데, 좀 더 부드럽게 번역하자면 **‘함께 사면 좋은 상품’**이 될 것 같습니다. 핸드폰과 액정보호 필름처럼 한 쪽이 다른 쪽의 액세서리인 경우, 서로 잘 어울리는 우산과 핸드백처럼 한 쌍으로 사용하기 좋은 상품들, 달콤한 코코아와 쌉쌀한 커피처럼 사람들의 구매욕을 자극할 만한 상품들이 이에 해당할 겁니다.

기존에는 complementary item을 추천할 때, 같이 구매한(co-purchase) 기록을 학습시켜 추천 모델을 만들었다고 합니다. 하지만 이런 방식은 한계도 있는데, 사람이 보기에 언뜻 이해가 가지 않는 상품을 연관지어 추천해줄 수도 있다는 겁니다. 상품명이나 상품 특성, 이미지를 이용한 추천시스템도 있었지만 마찬가지로 서로 맞지 않는 상품을 추천한 경우도 있다고 합니다. 이를 테면 카테고리만 보고 8인치 태블릿에 14인치 액정필름을 추천한다던지 하는 일이 생기는 거죠. 이 연구에서는 LLM을 이용해 밀접한 보완 상품 추천(coherent complement recommendation) 성능을 올리는 방법을 제안합니다.

complementary item이 얼마나 잘 어울리는지를 판단하기 위해, 여기서는 ‘밀접한(coherent)’ 정도를 두 가지 측면으로 나눠서 생각합니다. 바로 호환성(compatibility)와 연관성(relevance)입니다.

1. **호환성(Compatibility)**은 두 상품이 얼마나 적합하게 짝지어져 있는지에 대한 평가입니다. 만약 두 상품의 호환성이 떨어진다면 하나의 공통된 목적을 위해 사용할 수 없습니다. 예를 들어, Figure 1에서 핸드폰과 태블릿 액정필름은 공통의 목적(핸드폰 액정의 보호)을 위해 사용할 수 없기 때문에 호환성이 떨어집니다.
2. **연관성(Relevance)**은 두 개의 상품이 같은 속성을 공유하는지에 대한 평가입니다. 속성의 종류로는 브랜드, 색, 스타일 등이 있습니다. 예를 들어, Figure 2에서 우산과 핸드백은 비슷한 패션 스타일을 가지고 있기 때문에 연관성 있는 상품으로 간주할 수 있습니다.

Data

그럼 이런 complementary item 추천을 어떻게 형식화할 수 있을까요? 이 논문의 저자들은 두 개의 상품 $x$와 $y$에 대해서, 유저들이 취하는 행동을 3가지 종류로 구체화하였습니다.

• Co-view ($\mathcal{B}_{cv}$): 유저들이 상품 $x$를 본 후에 상품 $y$도 봄
• View to purchase ($\mathcal{B}_{vp}$): 유저들이 상품 $x$를 본 후에 결국 상품 $y$를 구매함
• Co-purchase ($\mathcal{B}_{cp}$): 유저들이 상품 $x$와 $y$를 함께 구매함

$\mathcal{B}{cv}$와 $\mathcal{B}{vp}$의 경우, 유저가 상품 $x$의 구매를 고려했지만 후에 상품 $y$를 구매하거나 구매를 고려한 경우라고 볼 수 있습니다. 즉, 상품 $x$와 $y$는 서로 대체 가능한 아이템이라고 볼 수 있겠죠. 반대로 $\mathcal{B}_{cp}$에서는 상품 $x$와 $y$가 보완 관계에 있을 거라고 볼 수 있습니다.

실제로 $(\mathcal{B}{cv}\cap \mathcal{B}{vp})-\mathcal{B}{cp}$의 데이터는 서로 대체 가능한 상품들을 찾는 product embedding에 사용된다고 합니다. 반대로 $\mathcal{B}{cp}-(\mathcal{B}{cv}\cap \mathcal{B}{vp})$는 complementary item을 모델링하는 데 사용할 수 있겠죠?

그래도 아직 애매모호합니다. 호환성과 연관성을 지닌 상품들의 학습 데이터가 필요할 텐데, 이걸 어떻게 구축해야 할까요? 저자들은 아래와 같은 집합들을 조합하여 CC, 즉 coherent complementary dataset을 구축했습니다.

• 카탈로그 데이터 (Catalogue Data, CAT): 딕셔너리 타입으로 상품에 대한 설명을 담은 데이터입니다. key 값은 미리 정해져 있고, 해당하지 않는 내용에 대해서는 value가 None으로 들어갑니다. 예를 들어, 아이폰의 카탈로그 데이터는 {"color": "black", "brand": "Apple", "flavor": "None",
  ...} 등이 될 수 있습니다.
• 상품 유형별 주요 속성의 목록 (Product Type Important Attribute List, I): 어떤 상품의 "상품 유형(Product Type)"은 카탈로그 데이터에 포함되어 있습니다. 그리고 각 유형별로, 해당 유형을 잘 아는 전문가들이 가장 중요한 속성 10개를 고르도록 했습니다. 예를 들어, 아이폰의 상품 유형은 Cellphone일 것이고 그에 해당하는 주요 속성은 brand, color, connectivity_technology입니다.
• 보완 상품 데이터 (Compatible Data, COM): 이전에 아마존에서 전자제품 분야의 두 상품의 호환 가능성을 예측하는 연구를 한 적 있다고 합니다. 이 때 개발한 모델이 예측한 상품 쌍 호환 가능성의 목록입니다.
• 유저 행동 데이터 (User Behavior Data, CP): 앞서 설명한 $\mathcal{B}{cp}-(\mathcal{B}{cv}\cap \mathcal{B}_{vp})$입니다.

이 집합들로부터, _CC_는 이렇게 구성됩니다. 기준 상품(anchor item) $i_a$와 후보자 상품(candidate item) $i_c$에 대해,
$$
(i_a, i_c)\in CC \leftrightarrow Complement \wedge (Relevant \vee Compatible)

Complement \leftrightarrow (i_a, i_c)\in CP

Compatible \leftrightarrow (i_a, i_c)\in COM

Relevant \leftrightarrow \exists t \in \bigl( (I(PT(i_a)) \cap I(PT(i_c))\bigr) \wedge CAT(i_a, t)=CAT(i_c, t)
$$

갑자기 수식이 튀어나오니 헷갈리죠? 말로 설명해보자면 이렇습니다.

• 이전의 다른 연구에서 두 개의 전자제품이 서로 호환 가능한지를 예측하는 모델을 만들었습니다. 이 모델에서 '호환 가능하다'고 판단한 상품 쌍은 Compatible한 것으로 간주합니다.
• 두 상품의 상품 유형을 바탕으로 주요 속성들의 목록들을 얻을 수 있습니다. 이 주요 속성이 하나라도 겹치면 그 상품 쌍은 Relevant한 것으로 간주합니다.
• 마지막으로, 그 상품 쌍이 함께 판매된 적 있으면 Complement하다고 간주합니다. 이런 상품 쌍들의 집합을 조합하여, 저자들의 정의에 따라 Coherent complementary dataset을 만듭니다.

Experiments

**밀접한 보완 상품 추천(coherent complement recommendation, 이하 CCR)**은 두 파트로 나눠집니다. 첫 번째로는 CC한 상품 쌍을 찾는 것이고, 두 번째는 왜 그렇게 판단했는지에 대한 설명을 제시하는 것입니다. 이 두 가지 과제를 모두 수행할 수 있도록 LLM 모델을 파인튜닝시켰다고 합니다. 백본 모델로는 T5-S, T5-B. LLaMA-3B를 사용했다네요!

Task 1: Recommendation Task. 상품에 대한 CC 추천

• 앞서 말한 방식대로 CC 데이터셋을 만듭니다. 이렇게 얻은 데이터셋은 CC한 물품 쌍의 목록입니다.
• 하나의 물품 쌍에 대해 20개의 negative sample을 만듭니다. negative sample은 (1) co-purchase했지만 incoherent한 상품들, (2) 서로 대체 가능한 상품 쌍, (3) 아예 관련 없는 상품 쌍입니다.
• 이렇게 21개의 상품 쌍을 input으로 주고, 가장 적절한 CC 상품 쌍을 예측하는 식으로 LLM 모델을 학습시킵니다.
• 평가 지표로는 LLM 모델의 아웃풋 상위 다섯개를 가지고 HR@5와 NDCG@5을 계산합니다.

Task 2: Explanation Task. CC한 상품 쌍에 대한 설명문 생성.

• few-shot 방식으로 ChatGPT로부터 두 상품이 왜 관련있는지에 대한 설명문을 얻어냅니다.
• 평가 지표로는 ChatGPT가 생성한 설명문을 ground truth로 삼아 BLEU-4, ROUGE-1, ROUGE-2, ROUGE-L를 계산합니다.

Findings

General

시험을 해본 결과, 저자들의 방식은 다른 베이스라인에 비해 좋은 성능을 거뒀다고 합니다!

Human Evaluation

이 논문에서는 수치적인 평가 지표 외에도, 사람들이 직접 추천 결과와 설명문을 평가하는 인간 평가도 진행했다고 합니다.

한 가지 눈에 띄는 것은 온라인 A/B 테스트 결과입니다. 실제로 고객들을 대상으로 A/B 테스트를 해본 결과 연간 수익은 0.1%, 연간 판매량은 0.2%가 증가했다네요!

Insight

슈도렉 홈페이지에 LLM을 어떻게 적용하면 좋을까 고민하며 읽어본 논문이지만, 데이터를 모아서 LLM을 파인튜닝해야 하기 때문에 슈도렉에 진짜 적용하긴 어렵겠다는 생각이 듭니다. 그래도 그냥 브레인스토밍을 해보자면…

• 영화는 한번에 여러 편을 소비하는 경우가 많지 않다보니 coherent complementary item 추천을 넣기가 좀 애매하다는 생각이 듭니다. E-commerce와 달리 CC한 상품을 잘 추천한다고 해도 수익으로 직결되지는 않고요.
• 그래서 첫 페이지의 기능 하나로 넣으면 어떨까 싶습니다. “최근에 OOO을 재밌게 보셨네요! 관련된 영화들을 추천해요” 식으로요.
• 다만 추천 이유를 설명할 때는 이 연구에서 사용한 문장 생성 방식을 그대로 이용해도 되겠다는 생각이 들었습니다. 같은 장르/감독/출연진/개봉 시기 등 공통점을 바탕으로 한 추천 이유를 설명해주면 어떨까 싶네요!

[passiona2z]

LLM을 추천시스템으로 사용할 수 있을까 - 1

들어가기에 앞서

---

안녕하세요! 처음 월간 슈도렉 컨텐츠을 고민하다가 최근 하고 있는 공모전과 시너지를 위해 LLM for rec, 다시 말해 추천을 위한 대형언어모델 연구를 전체적으로 리뷰해보려는 대형?! 프로젝트를 시작하려고 합니다. 메인 소스는 위에 언급한 서베이 논문을 두고, 핵심이 될 수 있는 논문를 추가적으로 리뷰하며 전체적인 연구 흐름을 이해해보려 합니다. 이번달에는 우선 서베이 논문에 대해서 개략적으로 살펴본 후 (개인적으로 논문 컨텐츠는 좋은데 논문 흐름이 매끄럽지 않은 느낌이 있어서 의역과 흐름을 제 나름대로 재구성했습니다!) 그리고 최근에 각광받고 있는 Generative LLM(GPT 계열)을 활용한 추천시스템 중 튜닝을 활용하지 않는 방법론에 대해 좀 더 이야기해보고자 합니다!

• 참고로 서베이 논문과 관련한 깃허브는 https://github.com/WLiK/LLM4Rec-Awesome-Papers 다음과 같습니다.

초록 및 서론

---

LLM은 추천 분야에 있어서도 주목을 받고 있습니다.

• (추천) 유저와 아이템과의 관계를 설정함에 있어 (LLM) 텍스트 피처에 대한 높은 품질의 표현과 광범위한 외부지식을 활용하는 것이 중요 포인트입니다.

기존 추천시스템과는 다르게, LLM 기반 모델은 유저 쿼리나 아이템 설명, 다른 텍스트 데이터를 효과적으로 통합할 수 있으며, LLM의 사전지식통해 추천과 관련된 사전정보가 없어도 특정 유저나 아이템에 추천할 수 있는 제로/퓨샷 추천 능력(가능성)을 갖추고 있습니다.

• 특히 GPT 계열의 generative 언어모델이 두드러지며, 언어 생성 능력을 기반으로 설명력 제공 가능성도 보였습니다.

LLM 기반의 추천시스템 연구에 대한 이해를 돕기 위해, 이 논문에서는 분류체계를 소개합니다. 통합방법과 모델사용 관점에서 연구를 구분해볼 수 있습니다.

• (통합방법 관점) 언어모델을 추천에 통합하는 방식은 3가지 카테고리로 분류될 수 있습니다.
  a. LLMEmbeddings+RS : 언어모델을 피처추출 인코더로 활용합니다. 기본적으로 트랜스포머 인코더를 사용하는 BERT 계열의 Discriminative LM이 임베딩 학습에 강점이 있기 때문에, 해당 언어모델이 주로 쓰입니다.
  b. LLMTokens+RS : 1번 방법론과 유사하나, (텍스트로 변환된) 토큰을 사용합니다.
  c. LLM as RS : 사전학습된 LLM을 바로 추천시스템으로 변환합니다. 2번 및 3번 방법론은 텍스트 생성에 강점이 있는 GPT계열의 generative LM이 활용됩니다.
  

• (모델선택 관점)
  a. Discriminative large language models (BERT 계열) : 주로 파인튜닝 또는 프롬프트 튜닝을 수행하여 LLM의 표현을 재정렬합니다.
  b. Generative LLMs for recommendation(GPT 계열) : 추천을 자연어생성으로 치환하고, 튜닝하지 않는 방법과 튜닝하는 방법으로 구분될 수 있습니다.

  

---

서베이 논문에 대한 추가적인 설명은 다음 슈도렉 컨텐츠로 미루고, 논문에서 소개된 Generative LLM(GPT 계열)을 활용한 추천시스템 중 튜닝을 활용하지 않는 연구 두개를 간략하게 살펴보도록 합시다.

(1) Is ChatGPT a Good Recommender? A Preliminary Study

알리바바에서 발표한 논문(CIKM, 2023)입니다. 이 논문의 접근방법은 아래 그림을 보면 바로 이해가 되실겁니다.

• 평점예측을 예로 들면, 제로샷 또는 퓨샷 프롬프트를 구성해서 ChatGPT에 그대로 입력하는 방식입니다. (이게 끝이냐구요?, 사실입니다)
  

이 논문에서 주장하는 컨트리뷰션은 추천 Task에서 ChatGPT를 평가하는 벤치마크를 구축한 것과 ChapGPT를 추천에 활용했을때의 장점과 단점에 대해 논의했다는 것입니다. 그래서 방법론 자체는 새로울 것이 없긴 합니다. (논문은 타이밍)

• 5개 추천 Task(rating prediction, sequential recommendation, direct recommendation, explanation generation, and review summarization)에서 성능을 평가하기 위해 제로샷 및 퓨샷 프롬프트(task description, behavior injection, and format indicator)를 디자인하고 성능을 평가했습니다.

• 정확성 관점에서 ChatGPT는 평점 예측에서는 좋은 성능을 보였으나(아마존 beauty 데이터셋에서 MF, MLP보다 성능이 좋았습니다.)

• 시퀀셜 추천 및 다이렉트 추천에서는 성능이 매우 나빴습니다.

  • 저자들은 성능이 나쁜 나름의 이유를 찾고자했고, 시퀀셜 추천 예를 들면, 성능이 나쁜 이유로는 ChatGPT는 아이템간의 시퀀셜한 관계를 본 것이 아니라, 단순히 의미적 유사성에 집중했을 가능성을 언급하며 또한 프롬프트의 길이 문제로 모든 아이템을 입력할 수 없었다고 합니다.

• 하지만 설명력에 있어서는 사람이 평가한(human evaluation) 관점으로 최신 추천모델을 능가했다고 합니다.

(2) Chat-REC: Towards Interactive and Explainable LLMs-Augmented Recommender System

두번째는 2023년에 arXiv에 올라온 논문으로, 기존 추천시스템을 프롬프트를 활용한 LLM과 연계하여 대화형 추천패러다임을 제안합니다. LLM은 별도로 추가 학습하지 않으며, In-context learning 만을 활용합니다.

• 제안 프레임워크는 프롬프트 생성기($C$)에서 나온 프롬프트가 ChatGPT에 입력되는 방식이며, 프롬프트 생성기에는 추천시스템($R$)과 유저 쿼리, 유저 정보 등이 연계되어 있습니다.
  • 프롬프트 생성기는 유저 쿼리와 추천 관련 정보를 잘 요약하는 텍스트 문장을 만듭니다.
• 만약, 유저의 쿼리가 추천 질문으로 판단되면, 추천시스템($R$)에서 후보 아이템들을 생성하고 이후 해당 아이템을 다시 랭킹(rerank)을 매기는 작업을 거칩니다.
  • 추천시스템 모듈은 정확하게는 후보 아이템군을 줄여서 프롬프트에 넣기 위한 모듈로 사용됩니다.

논문에서 제시한 케이스 스터디를 보겠습니다.

• 아래 그림은 두 다른 유저의 추천 관련 대화입니다. 유저의 프로필 정보 히스토리는 (보이지 않지만) 프롬프트로 변환되어 입력되었습니다. (왼쪽에서 볼 수 있는 것처럼) 추천에 대한 설명이라던지, (오른쪽에서 처럼) 멀티턴, 영화 관련 정보 등을 LLM은 답변하고 있습니다.

또한, 논문에서는 외부 데이터베이스 기반 RAG를 연계한 LLM을 활용해서 콜드스타트 문제를 개선할 수 있다는 주장과

크로스도메인 문제도 해결가능함을 주장합니다.

• 크로스도메인의 경우 LLM은 기존에 유저가 보유한 영화 히스토리를 기반으로 다른 도메인인 책, TV 프로그램, 팟캐스트, 비디오게임을 추천합니다. LLM이 이미 인터넷의 다양한 정보으로 학습되었기 때문에 이를 가능하게 하는 지식을 보유할 수 있습니다.

실험은 간략하게 설명드리면, 논문은 평점예측과 Top-5 예측 성능을 FM, GCN, MF, KNN 모델과 비교를 해서 성능 개선을 보여줍니다. (다만, 아쉬운 점은 구체적으로 연계한 추천모듈이 무엇인지, 앞서 주장했던 콜드스타트나 크로스도메인과 같은 task에서의 성능을 보여주지 않은 점입니다.)

위 두번째 논문은 LLM과 추천시스템을 연계하는 패러다임을 제안했습니다. 이를 기반으로 다양한 후속 연구, 최신 딥러닝 기반 추천시스템이나 크로스도메인 영역에서 LLM의 성능을 높이고 이를 검증하는 연구들이 기대되고 저도 한번 해보고 싶다는 생각이 듭니다. 끝까지 읽어주셔서 감사합니다.