**Team RAYN,
Recommendation is All You Need**
λλ§μμ§,
κ°μΈ λ§μΆ€ν μΈν
λ¦¬μ΄ μν μΆμ²
1. Intro
1.1 νλ‘μ νΈ μκ°
μ νΈνλ μΈν
λ¦¬μ΄ μ·¨ν₯μ ν΅ν΄ μΈν
λ¦¬μ΄ μνμ μΆμ²νλ μλΉμ€
1.2 νλ‘μ νΈ κ°μ
-
κ°λ° λͺ©ν
- μ¬μ©μμ μΈν
λ¦¬μ΄ μ€νμΌ μ·¨ν₯μ νμ
νμ¬, μ¬μ©μμκ² κ°μΈ λ§μΆ€ν μΈν
λ¦¬μ΄ μν μΆμ² μλΉμ€λ₯Ό μ 곡νλ κ²
-
λ°μ΄ν° : μ€λμμ§ ν¬λ‘€λ§μ ν΅ν΄ μ§μ μμ§
-
κ°λ° λͺ¨λΈ : **Multi-DAE
, CAE
, Steam Rating** **Formula**
, YOLO
1.3 νμ μκ°
- κ°νν: Crawling, Frontend, Model, Human detection data collecting & modeling
- κΆμ€ν: Model, Backend - inference, Data preprocessing pipeline, Item clustering
- κΉλ€μ: Frontend, Backend, Data preprocessing, Human detection with YOLOv7
- λ₯μ§μ: Backend, Human detection with YOLOv3, Database μμ data μ½μ
- μ μμ: PM, Database, Deploy, Docker
1.4 νλ‘μ νΈ νμλΌμΈ
- μ§ν κΈ°κ°: 2023.01.09 ~ 2023.02.04 (26μΌ)
2. λ°μ΄ν°
νλ‘μ νΈμμλ κ³΅κ° λ°μ΄ν°λ₯Ό μ¬μ©νμ§ μμ λ°μ΄ν° μμ§λμ΄ μΆ©λΆνμ§ μμ μ μλ€. μ΄λ¬ν μ μ ν΄κ²°νκΈ° μν΄ κ΄λ ¨λ κ°λ₯ν λ§μ λ°μ΄ν°λ₯Ό μμ§νμ¬ νμ©ν΄ λ³΄λ €κ³ μλνλ€.
μ€λμ μ§μμ ν¬κ² 3κ°μ§ λ°μ΄ν°λ₯Ό μμ§νλ € νλ€. μΈν
λ¦¬μ΄ κΈ, μΈν
λ¦¬μ΄ κΈ μ μ¬μ§, ν맀νλ κ°κ΅¬μ΄λ€. μ¬μ©μ μμ΄λκ°μ κ°μΈμ λ³΄κ° ν¬ν¨λ λ°μ΄ν°λ μμ§νμ§ μμλ€.
[κ·Έλ¦Ό 1] μ€λμμ§ robots.txt
[κ·Έλ¦Ό 2] Crawling Flow chart
2.1 λ°μ΄ν° νΉμ§
- Extremely High Sparsity
- μ μ μ κ°κ΅¬ μ¬μ΄μ κ°λ₯ν λͺ¨λ μνΈ μμ©μ λΉν΄, μ 체 κ΄μΈ‘μΉμ κ°μκ° λ§€μ° μμ
- sparsity: 99.9599%
- $sparsity=1-\frac{\#interaction}{\#user\;*\;\#item} * 100\%$
[κ·Έλ¦Ό 3] Sparsity μκ°ν
- Extremely Long Tail Problem
- μμ§ν λ°μ΄ν° μ μνΈ μμ©μ΄ νΉμ μμ΄ν
μ λ§€μ° μ§μ€λ¨.
- μΌμͺ½ κ·Έλ¦Ό μ€λͺ
:
50κ° λ¨μλ‘ binning ν Log Scaleλ‘ νμΈ
- μ 체 μνΈ μμ© 88935 κ° μ€ 99.59%μ ν΄λΉνλ 88572κ°κ° 50κ° λ―Έλ§μ μ°¨μ§.
- 0.41%μ μμ μμ΄ν
λ€μ΄ μλμ μΌλ‘ λ§μ interactionμ 보μ = λΆκ· ν λ¬Έμ π’
[κ·Έλ¦Ό 4] Long-Tail Problem μκ°ν