Фетчер Readbird
Readbird — читалка новостей и RSS. Во многих лентах только анонс, поэтому, когда читатель открывает статью, наш сервер скачивает эту одну страницу и показывает текст статьи в приложении — ту же страницу, которую читатель иначе открыл бы в браузере.
Что он скачивает
Только страницы статей из лент, на которые подписаны наши читатели, или ссылки, которые читатель сохранил. Он не ходит по ссылкам, не обходит сайты и не качает страницы, о которых никто не просил.
Большинство запросов — это читатель, открывший статью. Приложение может заранее подгрузить несколько статей незадолго до того, как читатель их, скорее всего, откроет, — не больше 20 за 10 минут на устройство.
Скачанная статья кэшируется, поэтому другие читатели той же статьи новых запросов не создают.
Что он уважает
noarchive / nocache (meta robots или X-Robots-Tag): текст показывается читателю, но не хранится. noindex: текст не попадает в поиск.
Платный доступ не обходится: если страница нам недоступна, читатель получает ссылку, чтобы открыть её на вашем сайте.
User-Agent
Mozilla/5.0 (compatible; Readbird/1.0; +https://readbird.app/bot)
Проверка (Web Bot Auth)
Запросы подписаны HTTP Message Signatures (RFC 9421, tag "web-bot-auth", Ed25519). Заголовок Signature-Agent указывает на readbird.app; наши публичные ключи опубликованы здесь: https://readbird.app/.well-known/http-message-signatures-directory
Связь
Проблемы с нашим фетчером или хотите, чтобы он не заходил на ваш сайт? Напишите нам: support@readbird.app