User-agent: *
Allow: /
Allow: /free-scan
Allow: /news/
Allow: /blog/
Disallow: /api/