东京的早晨，贾瀞雯在酒店房间里被电话铃声吵醒。

    窗外是阴天，灰蒙蒙的云压得很低。

    “贾总，出事了。”电话那头是林薇，声音很急，“技术团队发现，我们爬虫抓取日本网站的成功率突然暴跌。

    昨晚还是正常的，今早跌了百分之七十。”

    贾瀞雯立刻清醒：“什么原因？”

    “对方屏蔽了我们的IP段。”林薇说，“很多网站返回403禁止访问。

    我们查了一下，这些网站都加入了日本本地搜索引擎协会，应该是他们联合起来抵制我们。”

    贾瀞雯坐起来，打开笔记本电脑。

    林薇已经把测试数据发到她邮箱。

    打开一看，触目惊心：之前能正常抓取的几千个网站，现在大部分无法访问。

    她拨通技术部电话，接电话的是留守北京的李明。

    “李明，日本那边的情况你知道了？”

    “刚看到。”李明语气沉重，“我们被集体屏蔽了。

    对方通过rObOtS协议和IP封锁双重手段，把我们挡在外面。

    这是有组织的抵制。”

    “能绕过吗？”

    “可以换IP，但对方如果持续更新黑名单，成本很高。”李明说，“而且这不是技术问题，是商业问题。

    他们联合起来，摆明了不让我们进日本市场。”

    贾瀞雯挂了电话，看着窗外发呆。

    来日本之前，她想过竞争，但没想过会这么激烈。

    对方不是一家公司，而是整个行业联合起来。

    她立刻订了最近一班回国的机票。

    飞了三个多小时，从东京回北京。

    降落时已经是下午，她没回家，直接转机去杭州。

    到横店时是晚上，陈浩在别墅等她。

    书房里，陈浩听完她汇报，沉默了一会儿。

    “意料之中。”他开口，“我们进日本市场，动了本地公司的奶酪。

    他们联合抵制是正常反应。”

    “那怎么办？”贾瀞雯问，“硬碰硬？继续换IP抓？”

    陈浩摇头：“硬碰硬成本太高，而且会落下话柄——外国公司强行抓取日本网站内容。

    我们需要更聪明的办法。”

    “什么办法？”

    “迂回合作。”陈浩在白板上画了个图，“不和大公司正面冲突，而是找中小网站联盟。

    那些被大公司忽视的个人站长、地方性网站，他们需要流量，需要曝光。

    我们可以和他们谈内容授权，光明正大地抓取。”

    贾瀞雯眼睛一亮：“你是说，绕过行业协会，直接和网站所有者合作？”

    “对。”陈浩点头，“大公司可以联合抵制，但中小网站有自己的利益。

    我们提供流量，他们提供内容，这是双赢。

    只要我们能说服足够多的中小网站，就能积累足够的内容库，然后逐步扩大。”

    他顿了顿：“而且这样更符合当地法律。

    授权抓取，比强行爬取更有理有据。”

    贾瀞雯思考着这个方案。

    听起来可行，但执行起来会很复杂。

    “怎么找到这些中小网站？”

    “先从个人站长论坛入手。”陈浩说，“日本也有类似我们的站长社区。

    林薇应该有这方面的资源。

    还可以找网站托管-->>

本章未完，点击下一页继续阅读