百度百科屏蔽谷歌-必应等搜索引擎防止内容被抓取训练AI

近日，百度百科对谷歌和必应等主流搜索引擎实施了屏蔽，此举旨在防止这些搜索引擎及其它爬虫工具未经授权抓取平台内容，用于人工智能模型的训练。

根据百度百科的相关文件显示，当前只有百度搜索、搜狗搜索、中国搜索Chinaso、YYSpider以及宜搜搜索EasouSpider等少数搜索引擎被列入白名单，允许抓取其页面内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器中的Yisouspider以及其他所有搜索引擎的爬虫，都被百度百科明确禁止抓取平台上的资料。

尽管360搜索并未在此封禁列表中单独提及，但百度百科的政策是屏蔽所有未在白名单内的爬虫，因此360搜索和其余搜索引擎同样受到限制。

然而，这种防范措施很大程度上只能规避合规行为，难以杜绝恶意行为，因为仍有许多爬虫会通过不同方式持续抓取数据，并将这些内容用于AI训练中。