NAIS

prior research

• SLIM Ning, X., & Karypis, G. (2011, December). Slim: Sparse linear methods for top-n recommender systems. In 2011 IEEE 11th international conference on data mining (pp. 497-506). IEEE.
  • 데이터로부터 학습된 가중치로 아이템 간 유사도를 계산한다는 점에서 아이템 기반 협업 필터링의 개인화 추천 정확도를 개선하였으나, $I\times I$ 유사도 행렬을 직접 학습하므로 복잡도가 $\mathcal{O}(I^{2})$ 가 되어 대규모 서비스에 적용하기에 비효율적임
• FISM Kabbur, S., Ning, X., & Karypis, G. (2013, August). Fism: factored item similarity models for top-n recommender systems. In Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining (pp. 659-667).
  • 아이템을 임베딩으로 표현하여 $I\times I$ 유사도 행렬을 직접 학습하지 않고 내적 $\langle\cdot,\cdot\rangle$ 으로 추정할 수 있게 되어 계산 효율성을 개선하였으나, 개별 히스토리의 기여도를 반영하지 않고 균등 집계함

idea

• NAIS(Neural Attentive Item Similarity Model): 사용자의 선호 구성 시 어텐션 메커니즘을 활용하여 히스토리를 그 기여도에 따라 차등 집계하는 아이템 기반 협업 필터링 모형

  

notation

• $u=1,2,\cdots,M$: user idx
• $i=1,2,\cdots,N$: target item idx
• $j=1,2,\cdots,N$: history item idx
• $\mathbf{X}^{\mathrm{(item)}} \in \mathbb{R}^{N \times N}$: item one-hot matrix
• $\mathbf{Y} \in \mathbb{R}^{M \times N}$: user-item interaction matrix
• $\mathbf{p}_{i} \in \mathbb{R}^{K}$: target item id embedding vector
• $\mathbf{q}_{j} \in \mathbb{R}^{K}$: history item id embedding vector

function

• index embedding:

  \[\begin{aligned} \mathbf{p}_{i} &=\mathbf{W}\cdot\mathbf{X}_{i*}^{\mathrm{(item)}}\\ \mathbf{q}_{j} &=\mathbf{W}\cdot\mathbf{X}_{j*}^{\mathrm{(item)}} \end{aligned}\]

• history Item aggregation:

  \[\begin{aligned} \mathbf{u}_{u} &=\mathrm{att}\left(\mathbf{p}_{i},\mathbf{q}_{j},\mathbf{q}_{j}\right),\quad\forall j \in \mathcal{R}_{u}^{+} \setminus \{i\} \end{aligned}\]

• predict interaction probability of user $u$ and item $i$:

  \[\begin{aligned} \hat{y}_{u,i} &=\langle\mathbf{u}_{u},\mathbf{p}_{i}\rangle \end{aligned}\]

attention score function

• concatenation:

\[\begin{aligned} f(q,k) &=\mathbf{W}\cdot\mathrm{ReLU}\left(\mathbf{W}\left[q\oplus k\right]+\mathbf{b}\right) \end{aligned}\]

• element-wise product:

\[\begin{aligned} f(q,k) &=\mathbf{W}\cdot\mathrm{ReLU}\left(\mathbf{W}\left[q\odot k\right]+\mathbf{b}\right) \end{aligned}\]

• smoothed softmax:

  \[\begin{aligned} \alpha_{i,j} &= \frac{\exp{f(q,k)}}{\left[\sum_{j \in \mathcal{R}_{u}^{+} \setminus \{i\}}{\exp{f(q,k)}}\right]^{\beta}} \end{aligned}\]
  • $0 < \beta \le 1$