RSS 본문을 완벽하게 추출하는 방법 – FiveFilters 활용법
RSS 피드를 활용해 블로그나 뉴스 콘텐츠를 자동화하려고 할 때, 가장 문제되는 부분은 ‘본문’을 제대로 가져오는 일이죠.
이번 글에서는 본문을 완전하게 추출할 수 있도록 도와주는 도구 FiveFilters Full-Text RSS에 대해 소개합니다.
1. 설치 전에 필요한 준비물
먼저 몇 가지 사전 준비가 필요합니다. 웹호스팅 계정이 있어야 하며, PHP 7 이상을 지원하고 cURL 기능이 활성화돼 있어야 합니다.
도메인 또는 서브도메인도 필요하고, FTP 클라이언트도 있어야 합니다. 일반적으로 FileZilla 같은 프로그램이나 저는 cPanel을 활용합니다.
그리고 FiveFilters Full-Text RSS 설치 파일이 필요합니다. 처음엔 GitHub에서 다운로드하려 했지만, 공식 GitHub 저장소에는 전체 소스가 없고, 사이트별 설정 파일만 존재하더군요.
결국 본체는 Bitbucket에서 제공되고 있었습니다.
2. 무료냐 유료냐, 오래된 버전이냐 최신이냐
고민이 생기기 시작했습니다. 무료 공개버전은 10년도 넘은 오래된 버전이고, 최신 서버 환경과는 충돌 가능성도 있어요.
PHP 버전 차이, HTML 구조 변화, SSL 인증서 적용 여부 등 여러 이유로 오류가 발생할 수 있죠.
FiveFilters 정식 설치 버전은 75유로(한화 약 12만 원)이며, 1년간 업데이트 지원이 포함됩니다. 이후에도 설치한 버전은 계속 사용할 수 있어요.
개인적으로는 오래된 무료 버전보다, 최신 유료 버전을 쓰는 것이 더 안정적이라는 판단이 들었습니다.
참고로, 본문 추출만 필요하다면 Mercury Web Parser, Readability.js 같은 대안도 있으니 고려해볼 만합니다.
FiveFilters의 핵심 기능
| 기능 | 설명 |
|---|---|
| 최신 PHP 호환 | PHP 8까지 무리 없이 작동 |
| site_config 자동 업데이트 | 여러 사이트의 본문 추출 규칙 포함 |
| 웹 UI 제공 | 테스트 및 설정 변경이 쉬움 |
| API 연동 | makefulltextfeed.php 제공, 노코드/파이썬 연동 가능 |
| 디버깅 도구 내장 | 추출 실패 시 원인 분석 기능 포함 |
설치 후 사용법은 간단합니다.
https://yourdomain.com/rss/makefulltextfeed.php?url=원본RSS주소
이렇게 주소를 호출하면 됩니다.
왜 필요한가요? 제 사용 목적은요!
- 파이썬 자동화로 본문을 저장하고 후처리하고 싶을 때
- 뉴스나 블로그 콘텐츠 큐레이션 자동화를 구축하고자 할 때
- 수익형 블로그나 자동 포스팅 시스템을 만들 때
저는 테스트 페이지에서 FiveFilters 설치 후 실제로 테스트를 해보았는데, 이미지까지 본문 전체를 잘 가져오더군요. 만족스러웠습니다.
3. Innoreader와의 조합, 완벽하지는 않다
Innoreader는 키워드 기반 RSS 구독 도구로 활용도가 높지만, 본문 추출에서는 아쉬움이 있습니다. 필터링 기능은 유료로 제공되고, 콘텐츠의 일부만 가져오는 한계가 있죠.
최적의 구성은 무엇일까?
| 도구 | 역할 | 무료 여부 | 단점 |
|---|---|---|---|
| Innoreader | 키워드 기반 RSS 수집 + 필터링 | 무료(제한적), 유료 기능 있음 | 본문 추출 기능 부족 |
| FiveFilters | 본문 추출 성능 뛰어남 | 유료(75유로) | 무료버전은 구버전 |
결론: 어떤 조합이 맞을까?
| 당신의 목표 | 추천 조합 |
|---|---|
| 돈을 들이지 않고 본문 추출 자동화 | RSSHub + Mercury Parser |
| 적당한 비용으로 고효율 시스템 | Innoreader Free + FiveFilters 유료 |
| 전문 자동화 및 수익화 시스템 구축 | Feedly Pro + FiveFilters 혹은 자체 파서 |
제 경우는 “완전 자동화”가 아니라 “반자동화”가 목표입니다.
큐레이션 과정에는 사람의 개입이 필요하다고 보며, 그 외 수집·추출·정제는 도구로 자동화하겠다는 전략입니다.
정리하자면, 본문 추출이 잘 안되는 경우엔 그건 과감히 포기하거나, 내가 직접 개입하는 것으로 기준을 잡고 있습니다.
관련 태그
RSS, 본문추출, FiveFilters, Full-Text RSS, 블로그자동화, 콘텐츠큐레이션, 노코드툴