์ด ํ์ด์ง๋
์ด ํ์ด์ง๋ ๋ด์ฉ grabber ์ฒด๊ณ๋ฅผ ์ํ ์ค์ ์ ์ด๋ฐ์
๋๋ค. ๊ทธ๊ฒ์ ๋น๋์ค๊ฐ ์ธ๋ถ ์์ค์์ ์์
๋๋ ๋ฐฉ๋ฒ์ ์ ์ด, ์ด๋ป๊ฒ thumbnails ์ฒ๋ฆฌ, ๊ฐ์ง ํต๊ณ์ ์ข
๋ฅ๋ ์์
๋ ์ฝํ
์ธ ์ ์ ์ฉ๋๊ณ ์๋ํ ๋ grabbing ์ํ. ์ด ๋ณ๊ฒฝ์ ๋ชจ๋ ํผ๋, ๋ชจ๋ธ ํผ๋, RSS ํผ๋ ๋ฐ CSV ๊ฐ์ ธ ์ค๊ธฐ๋ฅผ ํตํด ๋ชจ๋ grabber ์์
์ ์ํฅ์์ค๋๋ค.
[์คํฌ๋ฆฐ์ท: grabber-settings-overview]
์ค์๋ ๊ธธ
๋ฐ๋ก๊ฐ๊ธฐ Admin Panel > ๊ทธ๋๋ฒ > ๊ทธ๋๋ฒ ์ค์
์ด ํ์ด์ง๋ Javascript๋ฅผ ์ฌ์ฉํ๊ณ ์์ต๋๋ค.
์์ฃผ ๋ฌป๋ ์ง๋ฌธ
์ค์ ์ ์ ์ ์ ์๋ ์น์
์ผ๋ก ๊ตฌ์ฑ๋ฉ๋๋ค. ๊ฐ ๋จ๋ฉด๋์๋ ๋น์ ์ด ํ์ฅํ๊ฑฐ๋ ๋ถ๊ดดํ๊ธฐ ์ํ์ฌ ํด๋ฆญํ ์ ์๋ ์ฐ๋๋จธ๋ฆฌ ๋ง๋๊ธฐ๊ฐ ์์ต๋๋ค. ๋ชจ๋ ์น์
์ ๊ธฐ๋ณธ์ ์ผ๋ก ํ์ฅ ์์, ํ์ด์ง๋ ๋น์ ์ด ์ด๊ฑฐ๋ ๋ซํ๋ ์น์
์ ๊ธฐ์ต.
์๋จ์ ๋ค๋น๊ฒ์ด์
๋ฐ๋ ๋ชจ๋ 6 ๊ฐ์ grabber ํ์ด์ง์ ๋น ๋ฅธ ๋งํฌ๋ฅผ ์ ๊ณตํฉ๋๋ค.
| ํ์บ์คํธ | ์ด๋ป๊ฒ ์ด์ง? |
|---|
| ๊ณ์ ์ค์ | ์ด ํ์ด์ง (global grabber configuration) |
| ์ ํ ์ ๋ณด | ํค์๋ ๋ฐ ์ง์ URL ํผ๋ |
| ๋ชจ๋ธ ํผ๋ | ํน์ ํ performers์ ์ฐ๊ฒฐ๋๋ ๊ธ์ |
| RSS ํผ๋ | RSS ๋ฐ ์์ ํผ๋ ์์
|
| CSV ํ์ผ | ๋๋ CSV ํ์ผ ๊ฐ์ ธ ์ค๊ธฐ |
| - ์ฐํ | ํ๋ ๋ก๊ทธ ๋ฐ ์์
๋ถ์ |
ํ์ด์ง์ ํ๋จ์, ๋น์ ์ ์ฐพ์ ์ ์ด๋ฆ * ยท ์ค์ ์ ์ฅ ๋จ์ถ.
์ค์ ๋ฐ ์ต์
๊ฐ์ ธ์ค๊ธฐ ์ค์
์ด ์ค์ ์ ๋น๋์ค๊ฐ ๊ฐ์ ธ์ฌ ๋ ๊ธฐ๋ณธ ๋์์ ์ ์ดํฉ๋๋ค.
| ์ค์นํ๊ธฐ | ๊ทธ๊ฒ์ ๋ฌด์์
๋๊น? | (์ฃผ) |
|---|
| ๊ธฐ๋ณธ ํฌ์คํธ ์ํ | ์์
๋ ๋์์์ด ์ฆ์ ๋๋ ๊ฒํ ๋ฅผ ๊ธฐ๋ค๋ฆฌ๋์ง ์ฌ๋ถ๋ฅผ ์ค์ ํฉ๋๋ค. ์ต์
: Active, Pending, ๋๋ Draft | ๊ด๋ จ ๊ธฐ์ฌ -- ๊ทธ๋์ ๋น์ ์ ๋น์ ์ ์์น์ ๋ํ๋๊ธฐ ์ ์ ์์
ํ ๋ด์ฉ์ ๊ฒํ ํ ์ ์์ต๋๋ค |
| ์ต๋ ๋ฌ์ฌ ๊ธธ์ด | ์์
๋ ์์ ๋ฌ์ฌ (50์์ 5000)์์ ํ์ฉ๋ ๋ฌธ์์ ์ต๋ ์ | 500๋ ์ธ๋ถ์ฌํญ๊ณผ ์ฝ๊ธฐ์ฑ ์ฌ์ด ์ข์ ๊ท ํ์
๋๋ค |
์ฐธ๊ณ : grabber๋ ์์
ํ๊ธฐ ์ ์ ์ค๋ณต ๋น๋์ค๋ฅผ ์๋์ผ๋ก ํ์ธํฉ๋๋ค. ์ด ์ฝ๋, ์์ค ์น ์ฃผ์, ์ ๋ชฉ ํ๋ฌ์ค ์ฌ์ดํธ ์กฐํฉ์์ ๊ฐ์ ๋น๋์ค๋ฅผ ๋ ๋ฒ ๊ฐ์ ธ์ฌ ์ ์์ต๋๋ค.
Thumbnail ์ค์
์ด ์ค์ ์ ๋น๋์ค ์ธ๋ค์ผ ์ด๋ฏธ์ง๊ฐ ๊ฐ์ ธ์ฌ ๋ ์ฒ๋ฆฌ๋๋ ๋ฐฉ๋ฒ์ ์ ์ดํฉ๋๋ค.
| ์ค์นํ๊ธฐ | ๊ทธ๊ฒ์ ๋ฌด์์
๋๊น? | (์ฃผ) |
|---|
| Thumbnails๋ฅผ Locally ๋ณต์ฌ | ํ์ฑํ ํ ๋, ์๋ณธ ์์ค์ ์ฐ๊ฒฐ ๋์ ์๋ฒ์ ์ธ๋ค์ผ ์ด๋ฏธ์ง๋ฅผ ๋ค์ด๋ก๋ | ์ด๋ฆ * -- ์์ค ์ฌ์ดํธ๊ฐ ์ด๋ฏธ์ง๋ฅผ ์ ๊ฑฐํ๋ฉด ๋ณดํธํฉ๋๋ค. |
| Thumbnail ์ ์ฅ ๊ฒฝ๋ก | ๋ค์ด๋ก๋ ๋ ์ธ๋ค์ผ์ด ์ ์ฅ๋๋ ํด๋ | ๊ด๋ฆฌ์๊ฐ ๊ทธ๋ ์ง ์์ผ๋ฉด ๊ธฐ๋ณธ์ ์ผ๋ก ๋จ๊ฒจ๋๋ฉด |
ํ: thumbnails๋ฅผ ๋ก์ปฌ๋ก ์ฌ์ฉํ์ฌ ๋์คํฌ ๊ณต๊ฐ์ ๋ ์ฌ์ฉํ๊ณ ์ฌ์ดํธ ๋ถํ๋ฅผ ๋น ๋ฅด๊ณ ์์ ์ ์ผ๋ก ๋ง๋ญ๋๋ค. thumbnails๊ฐ ์ธ๋ถ ์ฌ์ดํธ์ ํธ์คํ
๋๋ฉด ๊ฒฝ๊ณ ์์ด ์ฌ๋ผ์ง ์ ์์ต๋๋ค.
๊ฐ์ง ํต๊ณ
์ธ๋ถ ์์ค์์ ๋น๋์ค๋ฅผ ๊ฐ์ ธ์ฌ ๋, ๊ทธ๋ค์ 0 ์ ๋ง๊ณผ ๋ฑ๊ธ์ ์์ํฉ๋๋ค. ์ด ์ค์ ์ ์์์ ์์ ๋ฒํธ๋ฅผ ํ ๋นํ๋ฏ๋ก ์์
๋ ์ฝํ
์ธ ๋ ๊ธฐ์กด ๋น๋์ค์ ํจ๊ป ๋ ์์ฐ์ค๋ฌ์ด ๋ชจ์ต์
๋๋ค.
| ์ค์นํ๊ธฐ | ๊ทธ๊ฒ์ ๋ฌด์์
๋๊น? | (์ฃผ) |
|---|
| ์ฌ์ฉ ๊ฐ๋ฅํ ๊ฐ์ง ํต๊ณ | ๊ฐ์ง ํต๊ณ ๊ธฐ๋ฅ์ ์ผ๊ฑฐ๋ ๋๊ธฐ | ์์
ํ ๋์์์ ์์ฐ์ค๋ฝ๊ฒ ํผํฉํ ์ ์๋ ๊ฒฝ์ฐ |
| Fake ์กฐํ ๋ถ | ๊ฐ์ฅ ๋ฎ์ ๋๋ค ๋ทฐ๋ ์์
๋ ๋์์์ ํ ๋น๋ฉ๋๋ค. | 100๋ ์ ๋นํ ์ถ๋ฐ์ ์
๋๋ค |
| ๊ฐ์ง ์กฐํ ์ต๋ | ๊ฐ์ฅ ๋์ ๋๋ค ๋ทฐ๋ ์์
๋ ๋์์์ ํ ๋น๋ฉ๋๋ค. | ๋๋ถ๋ถ์ ์ฌ์ดํธ๋ฅผ ์ํ 5000์ ์ผ |
| ๊ฐ์ง ๋ฑ๊ธ ๋ถ | ๊ฐ์ฅ ๋ฎ์ ์์ ๋ณ ๋ฑ๊ธ (1์์ 5) | 3.0์ ๊ฐ๋ํ ํ๊ฐ๋ฅผ ๋ณด๋ ๋น๋์ค๋ฅผ ํผํฉ๋๋ค |
| Fake ๋ฑ๊ธ ์ต๋ | ๊ฐ์ฅ ๋์ ๋ฌด์์ ๋ณ ๋ฑ๊ธ (1์์ 5) | 5.0์ ์ต๊ณ ๋ฑ๊ธ์ ์์
์ ํ์ฉํฉ๋๋ค. |
์ฐธ๊ณ : ๊ฐ ์์
ํ ์์์ ๋น์ ์ ์ต์ํ๊ณผ ์ต๋ ์กฐ์ ์ฌ์ด ๋ฌด์์ ๊ฐ์น๋ฅผ ์ป์ต๋๋ค. ์ด ์ฝํ
์ธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ์์ฐ์ ์ธก๋ฉด ๋ณํ์ ๋ง๋ญ๋๋ค.
์๋ ๋งค์นญ
์ด ์ค์ ์ grabber๊ฐ ๊ธฐ์กด ๋ฒ์ฃผ, ๊ณต์ฐ์ ๋ฐ ํ๊ทธ์ ์ผ์นํ์ฌ ์์
๋ ์ฝํ
์ธ ๋ฅผ ์๋์ผ๋ก ๊ตฌ์ฑํฉ๋๋ค.
| ์ค์นํ๊ธฐ | ๊ทธ๊ฒ์ ๋ฌด์์
๋๊น? | (์ฃผ) |
|---|
| Enable ๋ชจํ ์ผ์น | automatically link ์์
๋์์์ ์ผ์นํ๋ ์ด๋ฆ์ผ๋ก ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ์ด๋ฏธ ์ํ | ์ด๋ฆ * -- ์๋ ํ๊น
์์
์ ์ ์ฅ |
| Enable ๋ฒ์ฃผ ์ผ์น | ์๋์ผ๋ก ์์
๋ ๋น๋์ค ํ๊ทธ์ ํค์๋๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๋ฒ์ฃผ ํ ๋น | ์ด๋ฆ * -- ์ปจํ
์ธ ๋ฅผ ์๋์ผ๋ก ์ ์ง |
| Enable ๊ผฌ๋ฆฌํ ์ถ์ถ | ์์ค ๋น๋์ค์์ ํ๊ทธ๋ฅผ ์ก์ ์์
๋น๋์ค์ ์ถ๊ฐ | ์ด๋ฆ * -- ๊ทํ์ ์ฌ์ดํธ์ ๊ฒ์ ํฅ์ |
ํ: ๋ชจ๋ธ ๋งค์นญ ์ฌ์ฉ fuzzy ์ด๋ฆ ์ผ์น, ๊ทธ๋์ ์์ค ๋ชฉ๋ก "jane smith"๋๋ "Jane S" ๊ฒฝ์ฐ์๋ "Jane Smith"์ ์ผ์น ํ ์ ์์ต๋๋ค. ๊ทธ๊ฒ์ ์๋ฒฝํ์ง ์์ต๋๋ค, ํ์ง๋ง ๊ทธ๊ฒ์ ๋ง์ ์๋ ์์
์ ์ ์ฅ.
์์ธ ํ์ด์ง Enrichment
ํ์ฑํ๋๋ฉด grabber๋ ๊ฐ ๋น๋์ค์ ์๋ณธ ํ์ด์ง๋ฅผ ๋ฐฉ๋ฌธํ์ฌ ์ค๋ช
, ํ๊ทธ ๋ฐ ์ด๊ธฐ ๊ฒ์ ๊ฒฐ๊ณผ์์ ์ฌ์ฉํ ์์๋ ๊ณต์ฐ ์ด๋ฆ๊ณผ ๊ฐ์ ์ถ๊ฐ ์ ๋ณด๋ฅผ ์์งํฉ๋๋ค.
| ์ค์นํ๊ธฐ | ๊ทธ๊ฒ์ ๋ฌด์์
๋๊น? | (์ฃผ) |
|---|
| Enrichment ์ฌ์ฉ | ๊ฐ ๋น๋์ค์ ์์ค ํ์ด์ง์ ์ถ๊ฐ ์ ๋ณด | ์ด๋ฆ * -- ๋น์ ์๊ฒ ํ๋ถํ ๋น๋์ค ๋ฐ์ดํฐ๋ฅผ ์ ๊ณตํฉ๋๋ค |
| Fetch ํ์์์ | ๋ช ์ด ๋์ ์์ค ํ์ด์ง๋ฅผ ๊ธฐ๋ค๋ฆฌ๋ ๋ฐฉ๋ฒ (1์์ 60๊น์ง) | 10 ์ด๋ ๋๋ถ๋ถ์ ์ฌ์ดํธ๋ฅผ ์ํด ์๋ํฉ๋๋ค. |
| ์๋ ์ถฉ์ ํ๊ทธ | ์์ค ํ์ด์ง๊ฐ ํ๊ทธ๋ฅผ ํฌํจํ์ ๋ ์ฌ์ดํธ์ ์๋ก์ด ํ๊ทธ๋ฅผ ์์ฑ | ์ด๋ฆ * -- ํ๊ทธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์๋์ผ๋ก ์ฑ์ฅ |
| ์๋์ฐจ ๋ชจ๋ธ | ์์ค ํ์ด์ง ๋ชฉ๋ก์ด ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ์์ง ์์ ๋ ์๋ก์ด performer ํ๋กํ ์์ฑ | ์ง์ํ๋ค -- inconsistent ์์ค ๋ฐ์ดํฐ์์ junk ํญ๋ชฉ์ ๋ง๋ค ์ ์์ต๋๋ค |
๊ฒฝ๊ณ : ์์ฃผ ๋ฌป๋ ์ง๋ฌธ ์๋์ฐจ ๋ชจ๋ธ. ์์ค ์ฌ์ดํธ๋ ์ข
์ข
๊ทํ์ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ๋ง์ ์ค๋ณต ๋๋ ์๋ชป๋ ๊ณต์ฐ ํ๋กํ์ผ์ ๋ง๋ค ์์๋ ์๋์ ๋๋ inaccurate performer ์ด๋ฆ์ ๊ฐ์ง๊ณ ์์ต๋๋ค. ๊ทธ๊ฒ์ ์ผ๋ฐ์ ์ผ๋ก ๋ ๋์ ์ํ์๋ฅผ ์๋์ผ๋ก ์ถ๊ฐ.
์ฐ๋ฝ์ฒ
์ด ์ฌ์ดํธ์ ์๋ฒ ๋๋ ๋น๋์ค ํ๋ ์ด์ด์ ๊ธฐ๋ณธ ํฌ๊ธฐ๋ฅผ ์ ์ดํฉ๋๋ค.
| ์ค์นํ๊ธฐ | ๊ทธ๊ฒ์ ๋ฌด์์
๋๊น? | (์ฃผ) |
|---|
| ๊ธฐ๋ณธ ํญ | ์๋ฒ ๋๋ ๋น๋์ค ํ๋ ์ด์ด์ ๋๋น (200 ~ 3840) | 640 ๋๋ 854 ํ์ค ๋ ์ด์์ |
| ๊ธฐ๋ณธ ๋์ด | ํฝ์
์ ์๋ฒ ๋๋ ๋น๋์ค ํ๋ ์ด์ด์ ๋์ด (100์์ 2160) | ํ์ค ๋ ์ด์์์ ์ํ 360 ๋๋ 480 |
Cron ์ค์ (์๋ ์ก์๋น๊ธฐ๊ธฐ)
์ด ์ค์ ์ ์๋์ ์ธ ํก๋ น ์์คํ
์ ์ ์ดํ์ฌ ๊ฐ์
์์ด ์ผ์ ์ ์คํํฉ๋๋ค.
| ์ค์นํ๊ธฐ | ๊ทธ๊ฒ์ ๋ฌด์์
๋๊น? | (์ฃผ) |
|---|
| ์ฌ์ฉ ๊ฐ๋ฅํ ์๋์ฐจ-Grab | ์๋ํ๋ ์์ ๋ grabbing on ๋๋ off | ์ด๋ฆ * ์ผ๋จ ๋น์ ์ด ์ค์ ํ๊ณ ๋น์ ์ ํผ๋๋ฅผ ํ
์คํธ ํ |
| ๋ฐ ๋น ์ต๋ ํผ๋ | ์๋ ํก๋ น์ด ์คํ๋๋ ๋๋ง๋ค ๋ช ๊ฐ์ง ํผ๋๊ฐ ์ฒ๋ฆฌ๋ฉ๋๋ค (1 ~ 100) | 10์์ 20์ ๊ท ํ ์๋ ๋ฐ ์๋ฒ ๋ถํ |
| Cron ๊ฐ๊ฒฉ ๋ถ | ์์ฃผ ์๋ํ๋ ํก๋ น์ด ์คํ๋๋ ๋ฐฉ๋ฒ, ๋ถ (5์์ 1440) | 60 ๋ถ์ ์ข์ ์ถ๋ฐ์ ์
๋๋ค |
| cURL ์ด๋ | ์์ค ์ฌ์ดํธ์ ๋ํ ๋๊ธฐ ์๊ฐ์ด ์ผ๋ง๋ (์ด) (5 ~ 300) | 30 ์ด๋ ๋๋ถ๋ถ์ ์ฌ์ดํธ๋ฅผ ์ํด ์๋ํฉ๋๋ค |
| ์ฌ์ฉ์ ์์ด์ ํธ ๋ฌธ์์ด | ๋ธ๋ผ์ฐ์ ID๋ ์์ค ์ฌ์ดํธ๋ฅผ ๋ฐฉ๋ฌธ ํ ๋ ์๋ฒ๊ฐ ์กด์ฌํฉ๋๋ค. | ์ฐ๊ฒฐ ๋ฌธ์ ๊ฐ ์๋ ๊ฒฝ์ฐ ๊ธฐ๋ณธ์ ์ผ๋ก ๋จ๊ฒจ๋์ญ์์ค. |
| curl-impersonate ๋ฐ์ด๋๋ฆฌ ๊ฒฝ๋ก | ๊ณ ๊ธ ๋ณดํธ๋ก ์ก์ธ์ค ์ฌ์ดํธ๋ฅผ ๋๋ ํน์ ๋๊ตฌ ๊ฒฝ๋ก | ๊ด๋ฆฌ์๊ฐ์ด ๋๊ตฌ๋ฅผ ์ค์นํ์ง ์๋ ํ ๋น์ ํด์ |
ํ: ์์ํ๊ธฐ ์ฌ์ฉ ๊ฐ๋ฅํ ์๋์ฐจ-Grab ์ค์ ํ๊ณ ์๋์ผ๋ก ํผ๋๋ฅผ ํ
์คํธํ๋ฉด์ ๊บผ์ง๋๋ค. ๊ฒฐ๊ณผ์ ๋ง์กฑํ๋ฉด, ์ผ๊ณ ์์คํ
์์
์ ์๋์ผ๋ก ํ ์ ์์ต๋๋ค.
์ฐธ๊ณ : curl-impersonate ๋๊ตฌ๋ ๊ณ ๊ธ ๋ด ๋ณดํธ๋ฅผ ์ฌ์ฉํ๋ grabber ์ก์ธ์ค ์ฌ์ดํธ๋ฅผ ๋์ต๋๋ค. ํน์ ์ฌ์ดํธ๊ฐ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํํ์ง ์๋ ๊ฒฝ์ฐ,์ด ๋๊ตฌ๋ฅผ ์ค์นํ๋ ๊ฒ์ ๋ํ ๊ด๋ฆฌ์์๊ฒ ๋ฌธ์ํ์ญ์์ค.
์๊ฐ ํํฐ
์ด ์ค์ ์ ์ฌ์ดํธ๊ฐ ๋๋ฌด ์งง๊ฑฐ๋ ๋๋ฌด ์ค๋ ๋ ๋น๋์ค๋ฅผ ๊ฑด๋ ๋ธ ์ ์์ต๋๋ค.
| ์ค์นํ๊ธฐ | ๊ทธ๊ฒ์ ๋ฌด์์
๋๊น? | (์ฃผ) |
|---|
| Enable ๋ด๊ตฌ ํํฐ | ์ง์ ๊ฐ๋ฅํ ํํฐ๋ง์ ์ผ๊ฑฐ๋ ๊บผ์ง | ์ผ๊ด๋ ๋น๋์ค ๊ธธ์ด๋ฅผ ์ํ๋ค๋ฉด |
| ๋ถ ๋ด๊ตฌ ์ด | ์ด ๋ง์ ์ด๋ณด๋ค ์งง์ ๋น๋์ค ๊ฑด๋๋ฐ๊ธฐ | 60๋ ์์ฃผ ์งง์ ํด๋ฆฝ์ ํผํฉ๋๋ค |
| ์ต๋ ๋ด๊ตฌ ์ด | ์ด ๋ง์ ์ด๋ณด๋ค ๋ ๊ธด ๋น๋์ค๋ฅผ ๊ฑด๋ | 3600 (1 ์๊ฐ)๋ ๊ทน๋จ์ ์ผ๋ก ๊ธด ๋น๋์ค๋ฅผ ํผํฉ๋๋ค |
๋ชจ๋ธ ๊ด๋ จ ํํฐ
์ด ์ค์ ์ ๋ชจ๋ธ ํผ๋์ ํนํ ์ ์ฉ (ํนํ ํน์ ๊ณต์ฐ์ ์ฐ๊ฒฐ ๋ ํผ๋).
| ์ค์นํ๊ธฐ | ๊ทธ๊ฒ์ ๋ฌด์์
๋๊น? | (์ฃผ) |
|---|
| Enable Model ๊ด๋ จ ํํฐ | ํ์ฑํ ํ ๋, performer์ ์ด๋ฆ์ด ์ค์ ๋ก ์ ๋ชฉ, ์ค๋ช
, ๋๋ ํ๊ทธ์ ๋ํ๋๋ ๋น๋์ค ๋ง ๊ฐ์ ธ์ต๋๋ค | ์ด๋ฆ * -- performer's name ํ์ ์์
๋ ๊ฐ์ด ์๋ ๋์์ ๋ฐฉ์ง |
ํ: ์ด ํํฐ์์ด, ๋ชจ๋ธ ํผ๋๋ ๊ฒ์ ๊ฒฐ๊ณผ ํ์ด์ง์ ๋ํ๋๋ ๋น๋์ค๋ฅผ ๊ฐ์ ธ์ฌ ์ ์์ง๋ง ๋น์ ์ด ์ฐพ๊ณ ์๋ ๊ณต์ฐ์์ ์๋ฌด๊ฒ๋ ์์ต๋๋ค. ์ด ํํฐ๋ฅผ ํ์ฑํํ๋ฉด ๋ชจ๋ธ ํผ๋์ ์ ํ์ฑ์ ํฌ๊ฒ ํฅ์์ํต๋๋ค.
์ผ๋ฐ ์์
์ฒ์์ผ๋ก Grabber๋ฅผ ์ค์ ํ๋ ๋ฐฉ๋ฒ
- ์์ฃผ ๋ฌป๋ ์ง๋ฌธ ๊ฐ์ ธ์ค๊ธฐ ์ค์ ๋จ๋ฉด๋ ๋ฐ ์ธํธ ๊ธฐ๋ณธ ํฌ์คํธ ์ํ ์ผ๋ก ๊ด๋ จ ๊ธฐ์ฌ. ์ด๊ฒ์ ๋น์ ์ด ์ฌ๋ ์ ์ ์์
๋ ๋น๋์ค๋ฅผ ๊ฒํ ํ ์ ์์ต๋๋ค.
- ์์ฃผ ๋ฌป๋ ์ง๋ฌธ Thumbnail ์ค์ ์น์
๋ฐ ํ์ฑํ Thumbnails๋ฅผ Locally ๋ณต์ฌยท
- ์์ฃผ ๋ฌป๋ ์ง๋ฌธ ์๋ ๋งค์นญ ์น์
๋ฐ ํ์ฑํ ๋ชจ๋ธ ๋งค์นญยท ๋ฒ์ฃผ ์ผ์นยท ๊ผฌ๋ฆฌํ ์ถ์ถยท
- ์์ฃผ ๋ฌป๋ ์ง๋ฌธ ์์ธ ํ์ด์ง Enrichment ์น์
๋ฐ ํ์ฑํ Enrichment ์ฌ์ฉ. 10 ์ด์ timeout๋ฅผ ๋จ๊ฒจ๋์ญ์์ค.
- ์ด๋ฆ * ์๋์ฐจ ๋ชจ๋ธ ํ์ฌ ๋นํ์ฑํ.
- ์์ฃผ ๋ฌป๋ ์ง๋ฌธ Cron ์ค์ ์น์
๋ฐ ํด๊ฐ ์ฌ์ฉ ๊ฐ๋ฅํ ์๋์ฐจ-Grab ํ์ฌ ์์น
- ์ด๋ฆ * ์ค์ ์ ์ฅยท
- ์ค์๋ ๊ธธ ์ ํ ์ ๋ณด ํ์ด์ง๋ ์๋ํ๋ ํก๋ น์ ๊ฐ๋ฅํ๊ฒ ํ๊ธฐ ์ ์ ์๋์ผ๋ก ์์
์ ์๋ํ๋ ๋ช ๊ฐ์ง ํ
์คํธ ํผ๋๋ฅผ ๋ง๋ญ๋๋ค.
์ฑ๊ณต: ํ
์คํธ ํผ๋๊ฐ ์ข์ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํ๋ฉด์ด ํ์ด์ง๋ก ๋์๊ฐ์ Auto-Grab์ ํ์ฑํํ๊ณ ์ํ๋ ์ผ์ ์ ์ค์ ํฉ๋๋ค.
์๋ํ๋ Grabbing ๋ฐฉ๋ฒ
- ์์ฃผ ๋ฌป๋ ์ง๋ฌธ Cron ์ค์ ์ด๋ฆ *
- ๊ธฐํ ์ฌ์ฉ ๊ฐ๋ฅํ ์๋์ฐจ-Grabยท
- ์ค์นํ๊ธฐ ๋ฐ ๋น ์ต๋ ํผ๋ ํฉ๋ฆฌ์ ์ธ ๋ฒํธ (10 ~ 20).
- ์ค์นํ๊ธฐ Cron ๊ฐ๊ฒฉ ๋ถ ์๋ก์ด ์ฝํ
์ธ grabbed (60 ๋ถ์ ์ข์ ์์)์ ์ํ๋ ๋ฐฉ๋ฒ.
- ์ด๋ฆ * ์ค์ ์ ์ฅยท
์งง์ ๋๋ ๊ธด ๋น๋์ค๋ฅผ ํํฐ๋งํ๋ ๋ฐฉ๋ฒ
- ์์ฃผ ๋ฌป๋ ์ง๋ฌธ ์๊ฐ ํํฐ ์ด๋ฆ *
- ๊ธฐํ Enable ๋ด๊ตฌ ํํฐยท
- ์ด์ ์ต์ ์ง์ ์๊ฐ์ ์
๋ ฅํ์ญ์์ค (์๋ฅผ ๋ค์ด,
60 1 ๋ถ ๋์). - ์ด์ ์ต๋ ์ง์ ์๊ฐ์ ์
๋ ฅํ์ญ์์ค (์๋ฅผ ๋ค์ด,
3600 1 ์๊ฐ ๋์). - ์ด๋ฆ * ์ค์ ์ ์ฅยท
์๋ก์ด ์ฌ์ฉ์๋ฅผ์ํ ํ
ํ:- ์์ ์ํ. Pending์ ์์
๋ ๋น๋์ค๋ฅผ ์ค์ ํ์ฌ ์ฌ์ดํธ์ ๋ํ๋๊ธฐ ์ ์ ๊ฒํ ํ ์ ์์ต๋๋ค. Active๋ก ์ ํํ๋ฉด ํผ๋ ๊ตฌ์ฑ์ ์ ๋ขฐํฉ๋๋ค.
- ํ์ง ์ธ๋ค์ผ ์ฌ์ฉ ์ธ๋ค์ผ์ ์๋ฒ๋ก ๋ณต์ฌํ๋ฉด ์์ค ์ฌ์ดํธ๊ฐ ๋ณ๊ฒฝ๋๊ฑฐ๋ ์คํ๋ผ์ธ์ผ๋ก ์งํ๋๋ ๊ฒฝ์ฐ ํ์๋ ์ด๋ฏธ์ง๋ฅผ ๋ฐฉ์งํฉ๋๋ค.
- automating์ ์์ ์ํํ์ญ์์ค. ๋ช ๊ฐ์ง ํผ๋๋ฅผ ์ค์ ํ๊ณ ์๋ cron์ ์ผ๊ธฐ ์ ์ ์๋์ผ๋ก ์คํํ์ญ์์ค. ์ด๊ฒ์ ์์น ์๋ ์ฝํ
์ธ ๋ฅผ ๊ฐ์ง ๋น์ ์ ์ฌ์ดํธ๋ฅผ ํฌ์ํ์ง ์๊ณ ๋ฏธ์ธ ์กฐ์ ํ ์ ์์ต๋๋ค.
- Model ๊ด๋ จ ํํฐ๋ฅผ ์ฌ์ฉํ์ญ์์ค. ์ด๊ฒ์ ๊ทน์ ์ผ๋ก ๋ชจํ ๊ธ์ ์์
ํ์ ์ง์ ๊ฐ๋ํฉ๋๋ค.
- ๊ฐ์ง ํต๊ณ๋ฅผ ํ์คํํ์ญ์์ค. ์ฌ์ดํธ๊ฐ ์ ํ์ ์ผ๋ก 500 ~ 5000 ์ ๋ง์ด์๋ ๋น๋์ค๊ฐ์๋ ๊ฒฝ์ฐ ๊ฐ์ง ํต๊ณ ๋ฒ์๋ฅผ ์ผ์น์ํต๋๋ค. ๋งค์ฐ ๋์ ์ซ์๋ ์์ฌ์ค๋ฌ์ด ๋ณด์ธ๋ค.
๋ฌธ์ ํด๊ฒฐ
๋ณ๊ฒฝ์ ์ ์ฅ๋์ง ์์ต๋๋ค.
๋น์ ์ด ๋ณธ: ์ค์ ์ ์กฐ์ ํ๊ณ ์ ์ฅ์ ํด๋ฆญํ์ง๋ง, ํ์ด์ง๋ฅผ ๋ค์๋ก๋ ํ ๋ ๊ฐ์ ๋ฐ์ ํฉ๋๋ค.
๊ทธ๊ฒ์ ๊ณ ์น๋ ๋ฐฉ๋ฒ:
- ์ฌ์ดํธ๊ฐ ๋ฐ๋ชจ ๋ชจ๋์์ ์คํ๋๋ ๊ฒฝ์ฐ ํ์ธ (ํ์ด์ง ์๋จ์ ์ค๋ ์ง ๋ฐฐ๋๋ฅผ ์ฐพ์ต๋๋ค).
- ๋ฐ๋ชจ ๋ชจ๋์์๋ ๊ด๋ฆฌ์์๊ฒ ์ฐ๋ฝํ์ฌ ๋นํ์ฑํํ์ญ์์ค.
- ๋ธ๋ผ์ฐ์ ์บ์๋ฅผ ์ญ์ ํ๊ณ ํ์ด์ง๋ฅผ ๋ค์๋ก๋ํ์ญ์์ค.
์๋ํ๋ grabbing์ ๋ฌ๋ฆฌ์ง ์์ต๋๋ค
๋น์ ์ด ๋ณธ: Auto-Grab์ ์ฌ์ฉํ์ง๋ง ์๋ก์ด ๋์์์ด ์์
๋์ง ์์ต๋๋ค.
๊ทธ๊ฒ์ ๊ณ ์น๋ ๋ฐฉ๋ฒ:
- ์ ํ์ธ ์ฌ์ฉ ๊ฐ๋ฅํ ์๋์ฐจ-Grab ํ์ธ ๋ฐ ์ ์ฅ.
- ํผ๋ ํ์ด์ง์์ ์ ์ด๋ ํ๋์ ํ์ฑ ํผ๋๋ฅผ ์ค์ ํ๋์ง ํ์ธํ์ญ์์ค.
- ๊ด๋ฆฌ์์ ๋ฌธ์ํ์ฌ ์์ ๋ ๋ฐฐ๊ฒฝ ์์
์ด ์๋ฒ์ ์คํ๋๋๋ก ํฉ๋๋ค.
Source ์ฌ์ดํธ๊ฐ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํํ์ง ์์ต๋๋ค.
๋น์ ์ด ๋ณธ: ์์
์ ์ฌ์ฉ๋๋ ํผ๋๋ ์ด์ 0 ๊ฒฐ๊ณผ๋ฅผ ๋ฐํ.
๊ทธ๊ฒ์ ๊ณ ์น๋ ๋ฐฉ๋ฒ:
- ๋ ๋ณด๊ธฐ cURL ์ด๋ Cron ์ค์ ์น์
์์ 60 ์ด.
- ์ผ๋ถ ์ฌ์ดํธ ๋ธ๋ก ์๋ํ ๋ ์ก์ธ์ค. curl-impersonate ๋๊ตฌ๋ฅผ ์ค์นํ๊ณ ์ค์ ์์ ๊ฒฝ๋ก๋ฅผ ์
๋ ฅํ์ฌ ๊ด๋ฆฌ์์๊ฒ ๋ฌธ์ํ์ญ์์ค.
- ์์ค ์ฌ์ดํธ๋ ๋ ์ด์์์ ๋ณ๊ฒฝํ ์ ์์ต๋๋ค. ์์ฃผ ๋ฌป๋ ์ง๋ฌธ ๊ณต๊ธ ์
์ฒด ์ฌ์ดํธ๊ฐ ํ์ฌ ์ง์๋๋ ๊ฒ์ ๋ณผ ์ ์๋ ๊ฐ์ด๋.
๋น์ ์ด ๋ณธ: ๋น๋์ค๋ ์์
ํ์ง๋ง ๋๋ฝ ๋ ์ค๋ช
, ํ๊ทธ, ๋๋ ๊ณต์ฐ์ ์ด๋ฆ์
๋๋ค.
๊ทธ๊ฒ์ ๊ณ ์น๋ ๋ฐฉ๋ฒ:
- ํ์ธํ๊ธฐ Enrichment ์ฌ์ฉ ์์ธ ํ์ด์ง Enrichment ์น์
์์ ์ผ์ง๋๋ค.
- ๋ ๋ณด๊ธฐ Fetch ํ์์์ ์์ค ์ฌ์ดํธ๊ฐ ์๋ตํ๋ ๋๋ฆฐ ๊ฒฝ์ฐ.
- ์ด๋ฆ * ์๋ ์ถฉ์ ํ๊ทธ ยท Enable ๊ผฌ๋ฆฌํ ์ถ์ถ ํ๋ถํ ๋ฉํ๋ฐ์ดํฐ
๊ด๋ จ ํ์ด์ง
| - ์ฐํ | ๊ทธ๊ฒ์ ์ฌ์ฉํ ๋ |
|---|
| Grabber ํผ๋ | ํค์๋ ๊ฒ์ ๋ฐ ์ง์ URL ํผ๋ ์์ฑ ๋ฐ ๊ด๋ฆฌ |
| ๋ชจ๋ธ ํผ๋ | ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ํน์ ๊ณต์ฐ์์ ๊ด๋ จ๋ ํผ๋๋ฅผ ๋ง๋ค๋ ค๋ฉด |
| RSS ํผ๋ | RSS ๋ฐ ์์ ํผ๋์์ ๋น๋์ค๋ฅผ ๊ฐ์ ธ์ฌ |
| CSV ๊ฐ์ ธ์ค๊ธฐ | ํธ๋ํฝ ํํธ๋๊ฐ ์ ๊ณตํ๋ CSV ํ์ผ์์ ๋๋ ์์
๋์์ |
| Grabber ์ญ์ฌ | ์์
ํ๋์ ๊ฒํ ํ๋ ค๋ฉด ์ฑ๊ณต๊ณผ ์คํจ ์๋ฅผ๋ณด๊ณ ์ฑ๋ฅ |
| ๊ณต๊ธ ์
์ฒด | ์ธ๋ถ ์ฌ์ดํธ๊ฐ ์ง์๋๋ ๊ฒ์ ๋ณผ ์ ์์ผ๋ฉฐ ๊ฐ ๊ธฐ๋ฅ์ ๊ฐ์ถ ๊ธฐ๋ฅ |
| 1 ๋ง์ | ์์
๋ ๋์์์ด ์ง์ ๋ ์ ์๋ ๋ฒ์ฃผ๋ฅผ ๊ด๋ฆฌํ๊ธฐ ์ํด |
| ๋ชจ๋ธ ๋ฒํธ: | ๋ชจ๋ธ ํผ๋ ๋ฐ ์๋ ๋งค์นญ ์ฌ์ฉ์ performer ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ฅผ ๊ด๋ฆฌํ๋ ค๋ฉด |
์ต๊ทผ ์
๋ฐ์ดํธ: 2026-02-22 ยท
๊ฐ์ด๋ ๋ฒ์ : 1.0 ๋ถ