所有的爬虫走开：
<meta name="robots" content="noindex">
不要爬这个链接：
<a href="privatepage.html" rel="nofollow">私有链接</a>