爬虫抓取与链接页面关联:nofollow 作用及元机器人标签的使用 沈阳网站优化系统招聘

发布时间 - 2026-02-02 05:53:59    点击率:

爬虫通常会爬行其已访问的页面内的链接页面。

有时,您可能希望阻止链接的网页与您的网站关联,或者不从当前页面对其进行爬网。在这种情况下,您可以将该值作为 rel 属性传递:

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code class="hljs language-html" lang="html"><span class="hljs-tag"><<span class="hljs-name">a</span> <span class="hljs-attr">href</span>=<span class="hljs-string">"https://example.com"</span> <span class="hljs-attr">rel</span>=<span class="hljs-string">"nofollow"</span>></span> </code></pre></p>

然而,谷歌宣布,从 2025 年开始,他们只是将此视为提示,而不是规则。因此,使用链接页面只会向暗示您不希望被抓取;  可能会也可能不会决定按照您的意愿行事。

如果您不希望爬虫程序跟踪您的任何链接,您可以在您的元机器人标签上使用一行来指示它们:

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code class="hljs language-html" lang="html"><span class="hljs-tag"><<span class="hljs-name">meta</span> <span class="hljs-attr">name</span>=<span class="hljs-string">"robots"</span> <span class="hljs-attr">content</span>=<span class="hljs-string">"nofollow"</span>></span> </code></pre></p>

结构化数据

您可能已经看到有时搜索结果页面如何以特殊格式显示结果。例如,如果您在  上搜索“意大利面食谱”,结果页面将显示特殊卡片,其中包含指向不同食谱页面的链接:

  上的搜索结果卡示例

谷歌和大多数其他搜索引擎使用网页中提供的结构化数据来检索数据以显示此类特殊功能。

用于编写结构化数据的词汇表大多与 中定义的词汇表类似。但是,您应该查阅搜索引擎的文档以查看其接受的确切格式。如果您正在针对  进行优化,则可以使用  的丰富结果测试来测试和验证您的结构化数据。

现在,让我们看看如何使用网页上的结构化数据向  提供有关其内容的正确信息。

如果我们的网页是菜谱页面,您可以使用以下以 JSON-LD 格式编写的结构化数据来提供菜谱的名称、作者、评级和其他相关数据:

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code class="hljs language-html" lang="html"><span class="hljs-tag"><<span class="hljs-name">html</span>></span>   <span class="hljs-tag"><<span class="hljs-name">head</span>></span> <span class="hljs-tag"><<span class="hljs-name">title</span>></span>Italian Pasta Recipe<span class="hljs-tag"></<span class="hljs-name">title</span>></span> <span class="hljs-tag"><<span class="hljs-name">script</span> <span class="hljs-attr">type</span>=<span class="hljs-string">"application/ld+json"</span>></span><span class="javascript"> { <span class="hljs-string">"@context"</span>: <span class="hljs-string">"https://schema.org/"</span>, <span class="hljs-string">"@type"</span>: <span class="hljs-string">"Recipe"</span>, <span class="hljs-string">"name"</span>: <span class="hljs-string">"Italian Pasta Recipe"</span>, <span class="hljs-string">"author"</span>: <span class="hljs-string">"Jane Smith"</span>,

<span class="hljs-string">"image"</span>: <span class="hljs-string">"https://cdn.pixabay.com/photo/2016/12/26/17/28/food-1932466_960_720.jpg"</span>, <span class="hljs-string">"description"</span>: <span class="hljs-string">"An easy Italian pasta recipe."</span>, <span class="hljs-string">"aggregateRating"</span>: {   <span class="hljs-string">"@type"</span>: <span class="hljs-string">"AggregateRating"</span>,   <span class="hljs-string">"ratingValue"</span>: <span class="hljs-string">"4.5"</span>,   <span class="hljs-string">"reviewCount"</span>: <span class="hljs-string">"123"</span>,   <span class="hljs-string">"bestRating"</span>: <span class="hljs-string">"5"</span>,   <span class="hljs-string">"worstRating"</span>: <span class="hljs-string">"3"</span> }, <span class="hljs-string">"prepTime"</span>: <span class="hljs-string">"PT30M"</span>, <span class="hljs-string">"totalTime"</span>: <span class="hljs-string">"PT1H"</span>, <span class="hljs-string">"recipeYield"</span>: <span class="hljs-string">"4"</span>, <span class="hljs-string">"nutrition"</span>: {   <span class="hljs-string">"@type"</span>: <span class="hljs-string">"NutritionInformation"</span>,   <span class="hljs-string">"calories"</span>: <span class="hljs-string">"430 calories"</span> } } </span><span class="hljs-tag"></<span class="hljs-name">script</span>></span>   <span class="hljs-tag"></<span class="hljs-name">head</span>></span>   <span class="hljs-tag"><<span class="hljs-name">body</span>></span>   <span class="hljs-tag"></<span class="hljs-name">body</span>></span> <span class="hljs-tag"></<span class="hljs-name">html</span>></span> </code></pre></p>

页面加载速度

页面加载速度是为用户提供更好的用户体验的主要方面之一。

谷歌在2018年进行的一项调查发现,当页面加载时间从1秒变为3秒时,跳出概率增加了32%,而当页面加载时间从1秒变为5秒时,跳出概率增加了90%。

由于页面速度对用户体验的重要性,谷歌开始将其作为其排名算法中的排名因素。现在,提高的页面加载速度是您的网页在  结果页面上排名更高的原因。

虽然网页加载速度很快很重要,但让用户感觉加载速度很快也很重要。您必须减少某些内容在页面上显示的时间,以吸引用户的注意力,而其他内容则在后台加载,以使用户感觉您的页面加载速度更快。

  是衡量网站性能的绝佳工具。其性能分数不仅仅基于完美网络条件下的实际页面速度。它会考虑您的网站在糟糕的 3G 连接上的表现。是一个很好的工具,用于测量实际用户的页面加载时间。

您可以使用多种方法来提高网页的加载速度:

移动友好性

当大多数在线内容都采取移动优先的方法时,谷歌也采取了行动,将网页的移动友好性纳入其排名算法中。

适合移动设备的网站可以为移动用户提供更好的用户体验。当通过手机访问网络的用户数量达到历史最高水平时,改造网络应用程序以更好地服务移动用户应该是理所当然的事情。

您可以采取三项主要措施来使您的网站更加适合移动设备。

使用响应式设计

将您当前的设计转换为响应式设计,对现有代码库的影响最小。

您可以通过设置新的视口元标记并调整 CSS 使其更灵活地适应不同的屏幕分辨率,从而使您的网页设计具有响应能力。

使用动态设计

动态设计在检测到所请求内容的用户代理类型后,向移动和桌面用户提供不同的 HTML 内容。与响应式设计相比,它需要更多的努力来实现,因为它需要为移动和桌面用户以不同的方式呈现页面。

使用移动子域

某些 Web 应用程序为移动用户使用单独的子域。通常,子域的名称类似于 或 。这种方法需要更多的时间和精力来实施。对于中小型网站,通常不建议使用此方法,特别是如果您没有两个不同版本的网站。

综上所述

虽然担心 SEO 似乎不属于网站开发人员的工作描述范围,但我希望本文能让您相信考虑 SEO 是向客户提供完整的 Web 应用程序的必要条件。

虽然本文提到了网络开发人员应该关注的 SEO 最重要的方面,但其他几个技术因素也在排名算法的决策中发挥着作用。

作为网络开发人员掌握 SEO 的下一步是研究更多技术性 SEO 实践,并使用它们使您的网站排名在搜索结果页面的顶部。

感谢您的阅读!


# 爬虫抓取与链接页面关联:nofollow 作用及元机器人标签的使用  # 爬虫抓取与链接页面关联  # nofollow 作用及元机器人标签的使用  # 您的  # 加载  # 您可以  # 结构化  # 搜索结果  # 用户提供  # 开发人员  # 如果您  # 词汇表  # 应用程序  # 您不  # 增加了  # 是一个  # 几个  # 很好  # 让我们  # 也在  # 最重要  # 但我  # 将其  # 网站页面优化的方法  # 广州企业网站推广技巧  # 大良网站建设  # 嘉定区seo培训  # 泰莱地区网站推广价格  # 上饶营销推广整合  # 广州建设网站手机  # 枣庄营销推广性价比高  # 唐山网站建设高端  # 青浦网站优化软件  # 养殖论文网站建设  # 美丽寮步网站建设价钱  # 揭阳建设大型网站  # 微博品牌营销推广费用  # 岗位模型网站建设流程表  # 鄂州网站推广报价  # 武清商城网站建设哪家好  # 推广公众号的营销号推荐  # seo企业优化顾问方案  # 上海SEO学习励志视频 


相关栏目: 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571


相关推荐: 广州百度推广时段如何选择才能更高效?,沧州泊头建设网站  重庆谷歌SEO,谁做得好?让我们一探究竟,南通网站建设总部在哪里  想知道西安哪些大学值得报考?武书连2025年西安高校排名前十解读来啦   深圳SEO生产工艺,打造高效搜索引擎优化解决方法,吴中企业网站优化找哪家  江北新区,创新驱动,打造高质量发展新引擎,长沙搜狗seo方法  SEO学费多少钱?揭秘SEO培训的投资价值与回报!,郴州网站推广多少钱一个  福建百度推广中心消息提醒在哪?详细指南解析,临汾日报网站建设  微信这五个功能设置错啦!三个该关却开着,两个该开却关着?   广州百度推广佣金到账时间及优化建议,fb营销推广怎么做的呢  SEO站外优化策略:提升网站排名的关键因素,遵义公司网站推广  介绍云南SEO黑帽教程,如何避免被搜索引擎惩罚,抖音电击器seo  武汉SEO公司代理,助力企业网络营销,提升品牌影响力,魏则西后seo前景  SEO管家:为您的网站保驾护航的智能SEO助手,网站推广作用有哪些类型  黄石SEO优化行业费用介绍,介绍优化背后的成本与价值,新浪博客seo 广告  福建百度推广怎么收费标准案例分析,抖音餐饮营销活动推广  SEO优化,打造高效网站,提升企业竞争力,娄烦seo优化怎么样  鞍山SEO外包,快速入门的秘诀与策略,大连正规网站seo报价  广西广电(600936):为全资子公司广电网络科技公司提供70亿担保进展   广州百度推广限流,企业如何应对营销挑战,庐阳区网站建设  安徽SEO优化攻略,精准定位,提升网站流量与排名,受欢迎的江苏谷歌seo  如何通过百度推广优化广州地区配图效果,商丘网站建设技术公司  淘宝SEO优化介绍,掌握关键词布局,助力店铺流量提升,网站的页面布局优化  刘雨峰SEO介绍,介绍高效搜索引擎优化之路,南平seo公司优选20火星  SEO已经成为数字营销的核心,如何利用SEO提升网站流量和转化率,含山网站优化推广  以用户体验为核心,打造SEO新境界,seo基础入门知识大全  抖音人气爆棚捧红众多网红,想走红容易却也难?且看这位   合肥SEO招商加盟,开启您的成功之旅,商丘广告推广营销宣传  广州百度推广费用解析,了解推广开销,精准营销从此开始,创意营销推广方案策划ppt  微信收款语音播报怎么设置?学会再也不用担心收不到钱啦   柳州提升SEO策略,如何让您的网站在竞争激烈的市场中脱颖而出,天津网站建站优化  涿州SEO优化,提升网站在搜索引擎中的排名,让您的业务腾飞,忻州关键词网站优化  南京生态项目手册印刷,如何设计生态园区宣传册?   探索未知,小旋风SEO源码背后的秘密武器,seo如何做关键词排名  广州医疗行业如何通过百度推广提升竞争力,洛阳工业品营销推广  广州百度推广律师,助力企业法律服务的高效选择,汽车网站建设免费分析  包头谷歌SEO营销公司助力企业国际化发展,seo分类和特点  探索南丰SEO优化公司的奥秘,聊城网站建设工程管理  收到这类微信官方短信要小心!点开链接后果不堪设想?   衡阳神马SEO优化方法,助力企业腾飞,打造网络营销新格局,抖音seo稳定排名多少  SEO元素-提升网站排名的核心要素,推广分成网站有哪些  广州个人如何做好百度推广,营销推广的描述怎么写  百度SEO新手指南,掌握关键词布局,提升网站排名,西宁seo抖音优化招聘  抖音SEO排名引流方法,如何让你的短视频轻松霸屏!,沁阳网站自然优化多少钱  广州百度推广目标,助力企业精准营销,软文营销的广告推广  广州百度推广贵吗?一文带你了解百度推广的费用与价值,辽宁互联网网站建设包括  娄底淘宝SEO优化,打造电商新篇章的关键策略,深圳布吉营销推广  福建百度推广开户渠道公司怎么样?全面解析优势与服务,济南楼盘营销推广  揭秘广州百度推广渠道商的坑,企业不可忽视的隐患,知识城建设办网站  拉萨抖音SEO公司,助力企业抖音营销的得力助手,seo教育推广引流  从四大层面看水滴筹合并轻松筹的可能性