蜘蛛中间件 — Scrapy 2.5.0 文档
推荐人政策的可接受值¶
或者是到 子类-自定义策略或内置策略之一(参见下面的类)。
或标准W3C定义的字符串值之一,
或特殊 .
字符串值
类名(作为字符串)
(默认)
"no-referrer"
"no-referrer-when-downgrade"
"same-origin"
"origin"
"strict-origin"
"origin-when-cross-origin"
"strict-origin-when-cross-origin"
"unsafe-url"
class scrapy.spidermiddlewares.referer.DefaultReferrerPolicy[源代码]¶
“降级时无引用”的变体,加上如果父请求正在使用,则不发送“引用”。 或 方案。
警告
Scrapy的默认引用策略-就像 "no-referrer-when-downgrade" ,W3C推荐的浏览器值-将从任何 对任何 URL,即使域不同。
"same-origin" 如果要删除跨域请求的引用者信息,可能是更好的选择。
class scrapy.spidermiddlewares.referer.NoReferrerPolicy[源代码]¶
https://www.w3.org/tr/referer-policy/referer-policy-no-referer
最简单的策略是“无引用”,它指定不将引用信息与从特定请求客户机发出的请求一起发送到任何源站。标题将完全省略。
class scrapy.spidermiddlewares.referer.NoReferrerWhenDowngradePolicy[源代码]¶
https://www.w3.org/tr/referer-policy/降级时没有referer-policy
“降级时不引用”策略将完整的URL以及来自受TLS保护的环境设置对象的请求发送到可能值得信任的URL,以及来自不受TLS保护的客户端的请求发送到任何源站。
另一方面,来自受TLS保护的客户端对不可能可信的URL的请求将不包含引用者信息。将不发送引用HTTP头。
如果没有另外指定策略,这是用户代理的默认行为。
注解
“降级时不引用”策略是W3C推荐的默认策略,主要Web浏览器使用该策略。
但是,它不是Scrapy的默认引用者策略(请参见 )
class scrapy.spidermiddlewares.referer.SameOriginPolicy[源代码]¶
https://www.w3.org/tr/referer-policy/referer-policy-same-origin
“同一来源”策略指定,当从特定请求客户端发出同一来源请求时,删除作为引用的完整URL作为引用信息发送。
另一方面,跨源请求将不包含引用者信息。将不发送引用HTTP头。
class scrapy.spidermiddlewares.referer.OriginPolicy[源代码]¶
https://www.w3.org/tr/referer-policy/referer-policy-origin
“来源”策略指定,在从特定请求客户机发出相同的来源请求和跨来源请求时,仅将请求客户机来源的ASCII序列化作为引用信息发送。
class scrapy.spidermiddlewares.referer.StrictOriginPolicy[源代码]¶
https://www.w3.org/tr/referer-policy/referer-policy-strict-origin
“严格来源”策略在发出请求时发送请求客户端来源的ASCII序列化:从受TLS保护的环境设置对象发送到可能值得信任的URL,从不受TLS保护的环境设置对象发送到任何来源。
另一方面,来自受TLS保护的请求客户端对不可能可信的URL的请求将不包含引用者信息。将不发送引用HTTP头。
class scrapy.spidermiddlewares.referer.OriginWhenCrossOriginPolicy[源代码]¶
https://www.w3.org/tr/referer-policy/跨来源引用策略来源
“跨源站时的源站”策略指定,当从特定请求客户机发出相同的源站请求时,剥离用作引用的完整URL作为引用信息发送,而在从特定请求客户机发出跨源站请求时,仅将请求客户机源站的ASCII序列化作为引用信息发送。请求客户端。
class scrapy.spidermiddlewares.referer.StrictOriginWhenCrossOriginPolicy[源代码]¶
https://www.w3.org/tr/referer-policy/跨来源时引用策略严格来源
“跨来源时严格来源”策略指定,当从特定请求客户端发出同一来源请求时,剥离用作引用的完整URL作为引用信息发送,并且在发出跨来源请求时,仅将请求客户端来源的ASCII序列化作为引用信息发送:
从受TLS保护的环境设置对象到可能值得信赖的URL,以及
从非TLS保护的环境设置对象到任何源站。
另一方面,来自受TLS保护的客户端对不可能可信的URL的请求将不包含引用者信息。将不发送引用HTTP头。
class scrapy.spidermiddlewares.referer.UnsafeUrlPolicy[源代码]¶
https://www.w3.org/tr/referer-policy/referer-policy-unsafe-url
“不安全的URL”策略指定一个完整的URL,被剥离用作引用,与来自特定请求客户端的跨源请求和同一源请求一起发送。
注意:保险单的名称不是谎言,它是不安全的。此策略将泄漏从受TLS保护的资源到不安全源的源和路径。仔细考虑为可能敏感的文档设置此类策略的影响。
警告
不建议使用“不安全URL”策略。
2024最新激活全家桶教程,稳定运行到2099年,请移步至置顶文章:https://sigusoft.com/99576.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。 文章由激活谷谷主-小谷整理,转载请注明出处:https://sigusoft.com/91991.html