추천시스템과 협업 필터링

💬 인트로

전자상거래에서의 상품이나 유튜브, 영화, 음악 스트리밍 서비스에서의 콘텐츠, SNS에서는 친구나 특정 그룹을 추천한다. 뉴스사이트에서는 기사를 추천하기도 하며, 검색 엔진에서는 검색에 대한 링크를 추천하는 등 고객이 선호하는 상품이나 서비스를 추천하는 것을 추천 시스템이라고 한다.

추천 시스템은 개인이나 그룹의 선호에 기반하여 고객, 사용자의 의사결정에 도움을 주는 것이다. 특히 Long tail business에서 필수적으로 사용되며, Long tail business란 소량의 다품종의 상품(주문형 콘텐츠, 도서 등)을 판매하는 사업으로 소그룹, 개별고객에 개인화된 마케팅 전략을 취한다. 이때 추천 객체를 항목(item)이라고 부른다.

 

Long Tail Business (출처: https://www.business2community.com/marketing/the-long-tail-economy-what-you-need-to-know-02218650)

 

1️⃣ 추천 시스템의 유형

내용기반(CB; Content-Based)

고객의 개별적인 선호도를 기반으로 항목들을 선택하여 추천

내용기반 추천은 검색이라고 볼 수 있다 → user profile = query, 상품집합 = 매칭할 문서

 

1. 사용자 취향 분석 : "내가 과거에 좋아했던 것들은 어느 장르인가?"
    사용자 응답(user feedback)*으로부터 취향(preference)을 학습하여 user profile을 작성

• 명시적 응답 : 사용자가 각 항목에 대해 평가
• 잠재적 응답 : 시스템에 저장된 사용자 활동(사용자 로그=Clickstream data)

2. 항목의 분류 : "각 항목이 어느 장르에 속하는가?"

 

ex. 내용 기반의 뉴스 추천 시스템
- 뉴스 속성 데이터 : M개의 단어와 N개의 뉴스기사
- 각 기사에 나타난 단어의 빈도수를 계산한 문서벡터에서 유사도를 계산하여 최근접이웃을 탐색

 

협업 필터링(CF; Collaborative Filtering)

나와 비슷한 취향을 가진 사람들을 매칭하고, 그 사람들이 좋아하는 항목을 내게 추천

유사한 취향을 가지는 사람들을 매칭하여 추천을 생성. 정확한 매칭을 위해서 충분한 사용자 커뮤니티가 필요하며, 유사한 취향의 사용자들이 많이 검색되도록 적극적으로 참여해야 함. 특히 영화나 도서와 같이 많은 데이터에는 사용자 응답이 충분히 많아야 한다.

 

ex. 협업 필터링을 사용한 영화 추천 시스템
- M명의 사용자와 N개의 영화 평가 데이터
- 사용자가 영화(아이템)을 5단계로 평가하고, 빈 셀은 응답하지 않은 것으로 0으로 간주
- 사용자별 유사도를 계산하여 최근접이웃을 탐색

 

2️⃣ 사례연구: Amazon.com

"Customers who bought this item also bought" 정보를 제공

• 항목간 CF = Item-to-item CF (유사한 사용자가 아닌 유사한 item을 찾는다)
• 각 사용자에게 구매된 항목집합을 저장(테이블의 각 셀은 사용자의 항목 구매여부를 표시)
• 각 항목 쌍에 대해 유사도를 계산 (오프라인으로 계산해둠)
• 쇼핑 중 내가 선택한 항목과 유사한 항목들 중 인기있는 항목을 추천 (온라인으로 빠른 계산)

"Amazon Personal Recommendations"

• 사용자간 CF 기반의 매칭
• 내가 소유한 도서를 입력하고 이를 기반으로 도서추천을 받음
• 사용자 반응의 수집 수단으로 내가 읽은 도서에 대한 평가를 입력함

 

3️⃣ 사례연구: MovieLens Recommendations

• 사용자는 본 영화를 10단계로 평가한다
• GroupLens 알고리즘을 평가예측에 사용
  • 사용자들의 10단계 평가를 기반으로 임의의 영화에 대한 임의의 사용자 평가를 예측
  • 임의의 영화에 대한 평가 = 다른 사용자들의 평가를 가중평균
  • 가중치 = 사용자간 상관관계 = 유사도를 계산함
  • 예측성능 : 실제 사용자의 평가와 추천 시스템의 평가 예측의 오차

  

  • p - prediction, r - rating, r-bar - average rating, w - similarity(유사도)
  • a - active user(현재 사용자), u - user(전체 일반 사용자), i - item(항목 번호)
  • 좌변) Active user 'a'의 item 'i'에 대한 평가를 예측
  • 우변) item i에 대한 평가 = 다른 user들의 평가의 가중 평균 | 가중치 = user간 유사도
  • 결과적으로 정규화된 예측값에 User a의 평가의 평균값을 더해 실제 예측 값을 계산한다

 

3️⃣ 협업 필터링(CF) 방법의 issue들

• 평가의 희소성 : 많은 항목들에 대해 충분한 평가 데이터가 없어 유사한 취향의 사용자를 찾기가 힘듦
• 시스템 구축의 초기단계에 평가 데이터가 없는 경우, CF와 CB를 결합한다
• 신규항목의 추천 : CF방법에서는 신규 항목이 추천되지 않는다
• 프라이버시 문제 : 고객의 취향정보가 노출될 수 있다는 점