[南开大学]20秋学期《网络爬虫与信息提取》在线作业-1

admin

资料来源：谋学网（www.mouxue.com）-[南开大学]20秋学期（1709、1803、1809、1903、1909、2003、2009 ）《网络爬虫与信息提取》在线作业
) o9 v" ?( B& |. x% w  w试卷总分:100    得分:100
" E  y0 x8 M# }5 I4 j$ ?: G4 w第1题,()是Scrapy官方开发的,用来部署、运行和管理Scrapy爬虫的工具
1 N4 F0 w3 O. ~: G# X& V# m) QA、Scrapyd
B、ScrapyDeploy
9 F3 {8 N+ n8 Z: c: L* `% b! g0 fC、Deploy
D、Scrapy_Deploy
正确资料:


第2题,当爬虫创建好了之后,可以使用"scrapy()" 命令运行爬虫。
A、startup
B、starwar
0 _5 H& ^, O" f. _0 d/ aC、drawl
D、crawl
正确资料:


' F* f$ k/ K0 N( s3 U第3题,在Scrapy的目录下,哪个文件负责存放爬虫的各种配置信息?()
+ G8 k2 @+ t; D, k" \3 g- q- \A、spiders文件夹
4 Q, M3 E0 _! t- b$ k5 WB、item.py
+ @: e8 N7 C  AC、pipeline.py
D、settings.py
正确资料:


; c  a3 D% Q6 ?第4题,使用UI Automatorr根据坐标来滑动桌面的操作是得到相应控件后使用命令()
A、swipe
  O' @) C( x1 W, a4 j( oB、move
/ j7 F2 s6 L! t0 M' PC、scroll
D、fly
9 x- B+ }( K1 f; _正确资料:
/ y: |" a: Y: L* \6 z
: h) l1 r2 l6 g5 Z0 V
/ d" R1 Y/ P: y  c资料来源：谋学网（www.mouxue.com）,windows中创建定时任务的命令为
A、task
' ?% e. O! c% R- q5 ^! ?B、schtasks
C、createtasks
D、maketasks
$ w9 D8 n0 [2 m: C& M正确资料:

; o5 M% ~6 B( B' J3 X8 i3 g9 V7 u. ^
7 R9 m, [6 [7 R' ^* ^第6题,MongoDB中数据存储的形式类似于()
A、列表
* l4 Z  B% q/ ~6 r7 VB、元组
! Y+ t7 F9 O0 I! K8 U5 O5 m% jC、字典
' J' N3 _  t% w; C1 kD、集合
正确资料:
) k* e: S( J# l$ _

1 I  v' t  @  e" J3 \  X( Y第7题,requests中post请求方法的使用为requests.post('网址', data=data)中的data为()
: m" S, e9 ~% m# }: E0 D) `A、列表
B、元组
C、字典
6 E$ p9 z6 L. E0 ~7 ~D、集合
) v9 R, ~% S) {  p6 ~5 K4 {正确资料:


第8题,Python中把列表转换为集合需要使用##函数
A、set
, X/ T* P* P2 j; [' R' t: _B、list
0 g7 G$ D8 @' N# j6 Q( C: JC、convert
D、change
正确资料:
1 Y3 L3 c8 k# E$ Y" s. u; S
% b$ y# s1 q% e7 d
第9题,使用了RedisSpider作为爬虫的父类以后,爬虫会直接监控()中的数据,并不读取start_urls中的数据。
& b. A" T, H. @& O# K% RA、Redis
. l3 H+ _( ?, F+ o4 C' w8 T4 B+ @B、RedisSpider
C、Spider
$ ?# I# j% f$ U3 P. d6 U& P4 y- AD、MongoDB
正确资料:

% O: U" P- W; |5 C5 `( @! W
资料来源：谋学网（www.mouxue.com）,在Mac OS下安装MongoDB使用命令() install mongodb
A、brew
* _2 c. p/ w2 ^( Z# ^: _B、apt-get
4 U' e5 o& g& i8 qC、sudo
/ }0 S1 K; \9 D" D* ?/ qD、apt
正确资料:
8 N% V' C3 r: @* g0 o( f1 Y

, C8 \9 ^; h4 N3 \# V第11题,当需要把Python里面的数据发送给网页时,应先将其转换成()
: O: u, K9 o( ^6 y3 \: f# e( r1 |A、Json字符串
" Q; g4 D# c% C' [B、GET
C、POST
D、Request
0 A; e0 V9 r/ F3 n, i1 R. K% b. p正确资料:
8 O2 F+ A* M& ^/ i" ^

( `# \: q* B0 Z4 y) w( J' A资料来源：谋学网（www.mouxue.com）,服务器端记录信息确定用户身份的数据是
) @0 A6 L' [& m( kA、session
B、cookies
C、moonpies
' X8 L9 [( W% x4 M  W8 @2 D0 G7 wD、localstorage
正确资料:
! I6 T5 f& p; g( [0 w8 d

第13题,下列说法错误的是()
3 h- T$ v. P4 D4 \A、小程序的请求极其简单，基本上没有验证信息
B、用Python来请求小程序的后台接口从而获取数据，比请求异步加载网页的后台接口要复杂很多。
C、如果目标网站有微信小程序，那么一定要优先调查能否通过小程序的接口来抓取数据。
D、小程序的反爬虫能力比网页版的低很多。使用小程序的接口来爬数据，能极大提高爬虫的开发效率。
正确资料:
8 y+ B; o# H; V; v: f
" e7 ?% a2 E& m& h4 D8 N9 Y
第14题,下面Python代码输出为():
def default_para_trap(para=[], value=0):para.append(value)return paraprint('第一步:{}'.format(default_para_trap(value=100)))print('第二步:{}'.format(default_para_trap(value=50)))
A、第一步:[100]
5 K4 U6 a1 d1 [( \4 @第二步:[100,50]
. U( G$ L% r5 J: sB、第一步:[100]
第二步:[50]
/ C/ @2 o' G8 l- p/ CC、第一步:[100]
2 n2 N9 p& `& C* [* d+ p/ k0 _( L6 h第二步:[]
: M+ z# \  J# Z2 U3 G+ K4 SD、第一步:[100]
第二步:[100]
正确资料:
. _9 v  s! ?& e# P. R0 C% v

资料来源：谋学网（www.mouxue.com）,在Scrapy的目录下,哪个文件负责存放爬虫文件?()
9 Z/ x+ m1 b' i7 E: x3 FA、spiders文件夹
: T# l" P) F: N8 k  A0 E$ t  \B、item.py
  Q2 K8 p2 Z6 S: IC、pipeline.py
) g3 G( {& I, |1 w* aD、settings.py
0 y6 y4 `% a. q9 c3 k. f8 H' A正确资料:
; I! L% a' Z% N3 S" [
- z# f5 f5 |0 d4 c# ?
2 Y  N0 E$ v& S% [9 x% S- l9 Q/ R第16题,xpath中extract方法返回值类型是()
2 v- c, Q' l  bA、列表
/ J9 T  X( V- v4 PB、元组
C、字典
4 N2 }4 E* K# a6 m, B* TD、集合
7 _) n* v; z; L3 v% w, [正确资料:


第17题,参数headers=(),把请求头添加到Scrapy请求中,使爬虫的请求看起来像是从浏览器发起的。
1 Q1 |1 V. [9 j5 v9 Z% I% u# a/ OA、HEADER
2 b; p4 }* `& f9 aB、HEADERS
/ ~2 z; N+ r& T' TC、HEAD
D、BODY
正确资料:


7 b- B, \2 g: z' u. x第18题,Python中Object=(1, 2, 3, 4, 5),则Objcet是()
A、列表
B、元组
5 w% W" S# G! BC、字典
D、集合
' M. {1 @- l4 z4 |( V3 f正确资料:
5 x# j1 l8 V* `6 C
- ~8 K% n" N( X5 q% ?) U2 ^
" N1 Y0 o& B1 b; T9 [$ P第19题,在Scrapy的目录下,哪个文件负责定义需要爬取的数据?()
A、spiders文件夹
B、item.py
$ v6 f! A5 [" n' o$ O: SC、pipeline.py
. B/ ^* Z+ r+ X$ q/ FD、settings.py
正确资料:
: S; |  B  {/ v) t9 T2 P4 [4 Q: T* I$ X* q
' s1 j0 D# J* L: Q0 W  }
资料来源：谋学网（www.mouxue.com）,Scrapy中使用Xpath获得的结果调用了.extract方法,结果以()形式生成
+ L6 @0 C) c, _0 m! xA、列表
5 I2 S6 d* O, G! n0 lB、元组
C、字典
D、集合
正确资料:
- P- s  j3 F) C, ]+ X
+ I3 l# y( `: n% d1 B$ N
第21题,Python中的容器有()
A、列表
B、元组
C、字典
D、集合
* X2 v$ o: |7 p. W9 i正确资料:,B,C,D
) B9 `& J3 F5 S5 d1 P9 B

第22题,使用Selennium获取网页中元素的方法有
! `3 _% t& k5 n% }6 |* F$ R' Y& [A、find_element_by_name
B、find_element_by_id
C、find_elements_by_name
% b& z- u+ t! O6 S# f% ?6 JD、find_elements_by_id
6 i; d. N' J5 d' z正确资料:,B,C,D
8 v9 F$ f1 a% @$ _, n
* k. H8 f% d' B  N) r
1 J! `; H# X' N' B! G第23题,一个可行的自动更换代理的爬虫系统,应该下列哪些功能?
9 _5 M  W) [6 a7 |A、有一个小爬虫ProxySpider去各大代理网站爬取免费代理并验证，将可以使用的代理IP保存到数据库中
B、在发现某个请求已经被设置过代理后，什么也不做，直接返回
C、在ProxyMiddlerware的process_request中，每次从数据库里面随机选择一条代理IP地址使用
" K% N; L4 L4 x% O* }: FD、周期性验证数据库中的无效代理，及时将其删除
正确资料:,C,D


! [5 U& |  @% }1 l( J第24题,下列关于在IOS上配置charles的说法正确的是()
' Y. u& z8 f  k6 y, \# XA、不同ios设备之间会有比较大的差别，所以配置的时候需要找到对应的安装证书的入口。
) n2 r% N: V" VB、手机和电脑需要在同一个局域网下。
C、HTTP代理可以使用"自动"选项。
# n8 L7 W9 @5 nD、安装好证书以后，打开iOS设备上的任何一个App，可以看到Charles中有数据包在流动
8 Z/ h  b' J- _# j正确资料:,D
- G$ m+ X& z. Z

, E6 `9 g$ A) x资料来源：谋学网（www.mouxue.com）,下列说法错误的是()
A、mitmproxy的强大之处在于它还自带一个mitmdump命令。这个命令可以用来运行符合一定规则的Python脚本，并在Python脚本里面直接操作HTTP和HTTPS的请求，以及返回的数据包。
5 g, @8 E- d, @' \& E, uB、命令行中执行mitmdump -s parse_request.py即可运行python 脚本
C、使用python可以自定义返回的数据包，如 response.headers，就是返回的头部信息
- O1 Y5 R* M0 Z- r; g: t( A& BD、如果返回的是JSON类型的字符串，python无法进行解析。
正确资料:

% r9 n( f! \+ A0 V! e
( G* G4 p0 l* d5 n9 E- y第26题,以下HTTP状态码表示服务器本身发生错误的是
' H; A! p) s: G( C; fA、400
B、503
C、302
- q( M% X3 @9 |. \" f8 \D、500
  p  P7 n3 B) [  g# U正确资料:,D
, Q0 m/ ?2 d# w4 ]$ a
" N% _6 ^! _. g
第27题,Python中哪种容器生成后可以修改内容
) }$ A- T8 Z' S. mA、列表
B、元组
2 d% z" M9 O$ e& ]7 I5 y( t: iC、字典
( b4 i4 H: J' U1 h: GD、集合
3 X  A' `& F: ?; w. f) o2 n2 z正确资料:,C,D


第28题,以下HTTP状态码表示服务器没有正常返回结果的是
, ^% A& e& f+ d. eA、200
8 T" F: @! q# ^7 SB、301
/ v, ^; @: n- D5 a5 @4 sC、404
D、500
正确资料:,C,D
1 h5 \  o9 C! Y& q( w  s
! K6 }0 n* N3 B8 W) N
: h. {2 ]/ e- o0 g6 j; l( z/ }+ }第29题,如果目标网站有反爬虫声明,那么对方在被爬虫爬取以后,可以根据()来起诉使用爬虫的公司
A、服务器日志
- @$ Y0 T. P9 E7 l. sB、数据库日志记录
: e! P# g) N; f" @C、程序日志记录
, F, t; ]8 z! C9 Z+ QD、服务器监控
正确资料:,B,C,D

: H$ L7 F4 H" U: M. i
3 ^$ \: d7 J# u. d/ v7 k& C资料来源：谋学网（www.mouxue.com）,requests中post请求方法的第二个参数可以为()
4 C: Q1 z) I; `) }! xA、字典
7 g5 {( G- P( jB、列表
% N0 p8 E: q6 j2 b2 H# w- JC、json数据
D、字符串
. k& z5 l( k3 o! ]+ n) e7 }5 R正确资料:,C
+ w" v3 U1 C( y$ x* W$ `4 P- O
8 w  b5 T( {' ^. j
; b$ D( ?$ j6 O& p0 _. Y第31题,process_spider_output(response, result, output)是在下载器中间件处理完成后,马上要进入某个回调函数parse_xxx()前调用
3 ~& z5 N9 J, y4 `( y# QT、对
F、错
% {8 s, v  C( \4 @( j: R- N+ j正确资料:F


第32题,需要登录的网站一般通过GET请求就可以实现登录。
1 d5 N4 ~& X( j' c5 xT、对
/ Z+ n6 v  q# p+ G1 F- xF、错
正确资料:F
9 W4 V8 E4 S- u6 i7 |3 O4 n

3 \( d6 T" C" H' ?第33题,Python中相比于findall方法,search方法对于从超级大的文本里面只找第1个数据特别有用,可以大大提高程序的运行效率。
# ^$ P& E( r' Z- |  \) g  d! AT、对
F、错
+ w/ X" c$ d' e4 _% E# ]更多资料下载：谋学网（www.mouxue.com）
  }7 C" \4 r) G
8 K! s/ ^; I. [- L# V; t7 _
$ }3 H2 b% o2 m& E; q7 U! e/ p第34题,UI Automator Viewer与Python uiautomator可以同时使用
T、对
F、错
正确资料:F

- ^9 l  |8 q- |7 m; Q
# [' g7 e& w9 J) X( D4 J7 J- d3 H第35题,device.sleep()方法是使用UI Automatorr关闭屏幕的命令
& f' H0 p% Q. U5 i$ Y- U% b3 TT、对
F、错
更多资料下载：谋学网（www.mouxue.com）

* U! Q8 D% K; k
1 k  t! x5 [. Q3 {& W第36题,在发送请求时需要注意requests提交的请求头不能与浏览器的请求头一致,因为这样才能隐藏好自己达到获取数据的目的
: z  p1 t' g( G5 bT、对
F、错
正确资料:F

) }2 g: U' I/ O6 p
第37题,mitmproxy的强大之处在于它还自带一个mitmdump命令。这个命令可以用来运行符合一定规则的Python脚本
7 ^% N4 i1 k" nT、对
F、错
' b( f. H6 q- _' P. n更多资料下载：谋学网（www.mouxue.com）

: y' y  B; o1 J
3 |& n) J- l, f5 h& E+ t第38题,MongoDB是一个关系数据库产品
& r  ~5 B  a1 G. n% P6 z" dT、对
F、错
( L0 e3 I, j! D8 Z! k6 a正确资料:F
% {) m0 }: x1 |$ d. T
0 B/ I( x( H7 J* N7 y6 K3 W2 h& |
第39题,Python正则表达式中".*?"是非贪婪模式,获取最短的能满足条件的字符串。
! T' B1 Y, ?$ `4 z2 X3 M( ST、对
. S* {6 I2 [$ @8 r9 V7 |F、错
' [9 W1 y4 E0 c' L( L更多资料下载：谋学网（www.mouxue.com）

" _4 v( c- k& C& }/ Y; H4 f0 x+ }/ V
+ b: x8 f; m0 ~第40题,Charles能截获HTTP和HTTPS的数据包,如果网站使用websocket就可以截获。
T、对
F、错
! l6 G  _/ j6 J' x* ?  Z  P正确资料:F
' E4 J: X5 P0 [: \. i( t& T1 S

第41题,Charles和Chrome开发者工具相比,只是多了一个搜索功能。
T、对
F、错
正确资料:

8 s  o2 d7 ~! s3 n  H, x( V
; G  _; b- W7 G( g4 `( t+ m第42题,爬虫中间件的激活需要另外写一个文件来进行
4 R' o8 p  E  u3 p9 `- V$ e! HT、对
0 B& q$ c8 s3 R! Z, H+ Q; VF、错
正确资料:F


/ m4 H8 Z/ J' R9 R1 J% I第43题,Cookies一般包含在请求头Headers中
  ^( y# h% }  {1 VT、对
6 l# y8 V  t' i' WF、错
更多资料下载：谋学网（www.mouxue.com）
8 r, J$ S& ?0 S& {. l

* M1 c6 }- q7 W1 B" A; G6 u第44题,已经创建好的Scrapy爬虫*.py文件可以直接通过Python来运行
' q0 @1 k: U' S: ]8 W6 G. Z  B1 Z9 aT、对
6 H8 t  {/ C; U  Y6 lF、错
正确资料:F

5 O; Y, }. F% u$ Q
& B+ @3 U( `7 c# m第45题,如果目标网站本身就是提供公众查询服务的网站,那么使用爬虫是合法合规的。
T、对
& B4 S) Q# L' x# J7 w& b$ [6 M" c: d. WF、错
7 X6 ~3 M7 q8 @0 e" S9 Q/ |, L% ?更多资料下载：谋学网（www.mouxue.com）
' d) J1 M9 x& x' y

第46题,Redis中使用lrange读取数据后数据也会删除
% l1 O0 E: T" w' b* nT、对
F、错
正确资料:
1 b" d; L6 G+ m# G' |

第47题,开源库pytesseract的作用是将图像中文字转换为文本。
! }9 v# `9 \. y% _7 F% Y3 fT、对
' o  l& b4 v; P5 R% w3 _! c% R0 PF、错
更多资料下载：谋学网（www.mouxue.com）


* C/ v4 w- A1 s8 I  ]5 Q" ]第48题,Scrapy每一次发起请求之前都会在这里检查网址是否重复。因此如果确实需要再一次爬取数据,在Redis中把这个Key删除即可。
T、对
F、错
更多资料下载：谋学网（www.mouxue.com）
5 N- ?4 f8 V, x! I* M5 Z4 P/ L. L

+ S% M: v" C# n9 I- f7 Y: l' z/ U第49题,"curl http://爬虫服务器IP地址:6800/cancel.json -d project=工程名 -d job=爬虫JOBID"该命令的作用是启动爬虫
9 Y4 S" O1 j# V3 X' ?' H: ?2 h* vT、对
* s: N# t. h+ X) ~( LF、错
正确资料:
+ r; }) Q" H% v5 y: H) U9 ?( o# H
% m& W$ e3 F& r
! J+ Q3 C, E3 B0 j  q. m, u. }资料来源：谋学网（www.mouxue.com）,中间人爬虫就是利用了中间人攻击的原理来实现数据抓取的一种爬虫技术
T、对
F、错
正确资料:



! H1 G; L1 D/ t3 A/ }1 H


. |1 ]) t% I1 D% ^" V
/ M! [1 u& x7 @& N  A
! l! i2 f7 ^* Q! C# y! A3 v
0 F2 @% T6 B9 I- Z
& g/ p8 O$ y- ^( p* `

6 v0 x$ [! p, C3 ^- P; S8 C

' @7 c; K% `" N  d

97662099

抄的资料都满分，会不会老师怀疑

vfdhjdg56vy

老师告诉我的蛮不错！

alkfsiol

谢谢，满分