DNCF

prior research

• NCF He, X., Liao, L., Zhang, H., Nie, L., Hu, X., & Chua, T. S. (2017, April). Neural collaborative filtering. In Proceedings of the 26th international conference on world wide web (pp. 173-182).
  • 식별자 임베딩(Index Embedding)은 원 핫 행렬을 선형 변환하여 사용자와 아이템의 임베딩 행렬을 학습하는 방법으로서, 사전 정보가 제공되지 않아 최적화 효율성(Efficiency)과 일반화(Generalization) 측면에서 불리함
• DMF Xue, H. J., Dai, X., Zhang, J., Huang, S., & Chen, J. (2017, August). Deep matrix factorization models for recommender systems. In IJCAI (Vol. 17, pp. 3203-3209).
  • 히스토리 임베딩(History Embedding)은 사용자-아이템 상호작용 행렬과 그 전치 행렬을 선형 변환하여 사용자와 아이템의 임베딩 행렬을 학습하는 방법으로서, 사전 정보를 상호작용 이력으로 제약하기 때문에 데이터로부터 엔티티의 고유한 특징을 포착하는데 한계가 있음
• DELF Cheng, W., Shen, Y., Zhu, Y., & Huang, L. (2018, July). DELF: A dual-embedding based deep latent factor model for recommendation. In IJCAI (Vol. 18, pp. 3329-3335).
  • 해당 모형(DELF)은 식별자 임베딩과 히스토리 임베딩을 모두 활용하지만 두 표현을 결합하지 않고 분리하여 매칭 함수 학습을 수행하므로 각각이 서로의 표현력을 보완하거나 강화하지 못함

idea

• DNMF(Deep Neural Matrix Factorization): 식별자 임베딩과 히스토리 임베딩을 결합(Combination)한 하나의 표현을 생성하여 표현력을 강화하는 모형

  

notation

• $u=1,2,\cdots,M$: user idx
• $i=1,2,\cdots,N$: item idx
• $\mathbf{X}^{\mathrm{(user)}} \in \mathbb{R}^{M \times M}$: user one-hot matrix
• $\mathbf{X}^{\mathrm{(item)}} \in \mathbb{R}^{N \times N}$: item one-hot matrix
• $\mathbf{Y} \in \mathbb{R}^{M \times N}$: user-item interaction matrix
• $\mathbf{p}_{u} \in \mathbb{R}^{K}$: user ID embedding vector
• $\mathbf{q}_{i} \in \mathbb{R}^{K}$: item ID embedding vector
• $\mathbf{m}_{u} \in \mathbb{R}^{K}$: user history embedding vector
• $\mathbf{n}_{i} \in \mathbb{R}^{K}$: item history embedding vector
• $\mathbf{u}_{u}$: user embedding combination vector
• $\mathbf{v}_{i}$: item embedding combination vector
• $\mathbf{z}_{u,i}$: predictive vector of user $u$ and item $i$
• $\hat{y}_{u,i}$: interaction probability of user $u$ and item $i$

function

• idx embedding:

  \[\begin{aligned} \mathbf{p}_{u} &=\mathbf{W}\cdot\mathbf{X}_{u*}^{\mathrm{(user)}},\quad x_{u,v} =\begin{cases} 1,\quad u=v\\ 0,\quad u\ne v \end{cases}\\ \mathbf{q}_{i} &=\mathbf{W}\cdot\mathbf{X}_{i*}^{\mathrm{(item)}},\quad x_{i,j} =\begin{cases} 1,\quad i=j\\ 0,\quad i\ne j \end{cases} \end{aligned}\]

• history embedding:

  \[\begin{aligned} \mathbf{m}_{u} &=\frac{1}{\sqrt{\vert\mathcal{R}_{u}^{+}\setminus \{i\}\vert}}\mathbf{W}\cdot\mathbf{Y}_{u*}\\ \mathbf{n}_{i} &=\frac{1}{\sqrt{\vert\mathcal{R}_{i}^{+}\setminus\{u\}\vert}}\mathbf{W}\cdot\mathbf{Y}_{*i} \end{aligned}\]

• dnmf is dgmf & dmlp ensemble:

  \[\begin{aligned} \hat{y}_{u,i} &=\sigma\left(\mathbf{W}\cdot \left[\mathbf{z}_{u,i}^{\mathrm{(dgmf)}}\oplus\mathbf{z}_{u,i}^{\mathrm{(dmlp)}}\right]+\mathbf{b}\right) \end{aligned}\]

dgmf

• embedding combination:

  \[\begin{aligned} \mathbf{u}_{u} &=\mathrm{comb}(\mathbf{p}_{u},\mathbf{m}_{u})\\ \mathbf{v}_{i} &=\mathrm{comb}(\mathbf{q}_{i},\mathbf{n}_{i}) \end{aligned}\]
  • element-wise sum
  • element-wise mean
  • concatenation
  • attention

• bilinear interaction between user $u$ and item $i$:

  \[\begin{aligned} \mathbf{z}_{u,i} &=\mathbf{u}_{u}\odot\mathbf{v}_{i} \end{aligned}\]

• If use dgmf as a single prediction module:

  \[\begin{aligned} \hat{y}_{u,i} &=\sigma\left(\mathbf{W}\cdot\mathbf{z}_{u,i}+\mathbf{b}\right) \end{aligned}\]

dmlp

• embedding combination:

  \[\begin{aligned} \mathbf{u}_{u} &=\mathbf{p}_{u}\oplus\mathbf{m}_{u}\\ \mathbf{v}_{i} &=\mathbf{q}_{i}\oplus\mathbf{n}_{i} \end{aligned}\]

• predictive vector of user $u$ and item $i$:

  \[\begin{aligned} \mathbf{z}_{u,i} &=\mathrm{mlp}_{\mathrm{ReLU}}\left(\mathbf{u}_{u}\oplus\mathbf{v}_{i}\right) \end{aligned}\]

• If use dmlp as a single prediction module:

  \[\begin{aligned} \hat{y}_{u,i} &=\sigma\left(\mathbf{W}\cdot\mathbf{z}_{u,i}+\mathbf{b}\right) \end{aligned}\]