|
|
22秋学期（高起本1709-1803、全层次1809-2103）《网络爬虫与信息提取》在线作业-00003
% c( T' p, o- X试卷总分:100 得分:100
7 l# L! @; I. A% G8 q1 I( _3 H一、单选题 (共 20 道试题,共 40 分)
. F. M7 H' i( v+ @: z1.Scrapy自带的待爬队列是(); S. O$ E# e+ C( U- g
A.deque
) r" n6 E# o5 P- Y& EB.queue
2 U) _# K: a# d" |& ?5 |C.list
- K6 g( @" A# _7 sD.lqueue
0 Q2 h" v1 N. m* E+ i2 J资料:. T, v5 q2 ]) e
7 I( H5 z. _/ z. a$ k
2.Python正则表达式模块的findall方法提取内容包含多个,则返回结果的列表中会包含()
- h2 p; F' a: w9 y: cA.列表! [. k r: N7 E8 j( _6 d$ @( h
B.元组% I% U- r$ C" W' P0 T" H( e4 A
C.字典
0 \2 D. K |2 m6 b" U0 ?, a/ YD.集合8 E5 t3 N h; |( C
资料:
5 {. J [" ]2 [) I) z' L! ~) K/ j3 X) r5 l# R
3.Redis是一个开源的使用()语言编写
1 d- U1 B( W. `9 W I/ K1 TA.ANSI C1 `6 J8 v, q9 |; J j: ~
B.C++3 s* s) P$ E" q
C.JAVA
% b! M' O, r) q* RD.Python% [/ t+ ?6 p2 `- W" m! a, N
资料:
1 c, ^ L1 B+ Z$ P1 v. C5 }' P" i8 ~6 b+ x
4.Python写CSV文件需要哪个方法(): S$ k% t) m9 O% s" [
A.CSVWriter
$ K! j |2 J% ^5 s9 t; o0 hB.CsvWriter2 o; O, M' L/ E3 D* B% [7 D0 Y0 J
C.DictWriter
: ?4 E1 u5 _# J E- L2 f3 FD.FileWriter
9 d/ D' `( D7 x+ h6 z资料:
2 r( M) L: u8 | h9 S H: `5 k7 n5 v& S% J. x9 T
5.使用Xpath构造属性值包含相同字符串的路径采用()方法
# o0 T# p @$ d9 f3 [/ _& ~8 K: SA.contain* ?7 w- I: G% r" `+ D) Q/ w$ s
B.contains" W4 q" p# `7 G" ` a; j; p, H
C.include9 U5 M3 \2 ^9 |& O1 c4 x; d( @
D.includes9 a! j5 b* d [6 }2 Y. Y
资料:
8 f* D+ F7 X y% |- \7 b( P
9 T, ^( O7 a g ~+ i! A4 O6.以下关于Charles的说法正确的是( )
@1 l2 v. Z$ t$ Q! A4 hA.Charles是一个跨平台的HTTP抓包工具，可以截取HTTP或者HTTPS请求的数据包
# z3 X1 F F$ \2 ]B.Charles有Windows 32/64版和Linux 64 版，但是目前还没有对Mac OS进行有效的支持。( E: d8 [* M- f! R
C.Charles上面滚动的数据就是目前计算机发起的数据包。单击工具栏上面的黄色笤帚图标，可以清停止抓包。
5 h, U3 o- `" {9 xD.在Charles启动时，系统自带浏览器的部分HTTP流量不会经过Charles。 x0 G: m+ a. Q( V
资料:- W* Q S4 `; v0 T2 H
0 h1 m& n( d! D f
7.Redis中写数据到列表中,使用关键字()
% E& G5 f$ d# m7 G( qA.push
! ^7 t3 E! m: C) o4 T) \( PB.append
# ^5 f s, O5 L2 o: z; kC.lpush3 s4 C3 i2 R, T9 M9 J
D.lappend
& w! |+ m+ Z% J4 ]资料:* B% p1 S1 b% Y' l
7 J" z5 U5 m4 H6 w) K" j
8.打开终端,输入(),屏幕上会出现Python的路径
. o1 N4 F5 l, ]* S3 NA.python path9 t8 m" [- {/ F# Q8 F; }7 A
B.path python' L1 g0 }; A/ I4 P4 Y
C.which python
. P# s3 I0 b9 B* S* wD.python which
% A- m& A- M' W+ K7 J资料:, h" j( l. V" F8 [
! t0 m4 I( s3 \0 R5 Y' k& l3 @9.Python中跳过本次循环应用关键字()) q; y, U9 N8 S0 v" H2 }# P+ z* b4 w
A.break4 b: Z0 @- S- m; i& ?3 h! o
B.continue% E5 x& F; Z/ b1 P! J
C.exit4 B9 O" L2 K$ {3 R: f- |
D.return
. ~0 M# I3 l2 T0 T资料:
7 N5 ^% I% w8 p; `9 h I/ J1 K# f. G& M% {
10.Chrome的开发者工具中哪个选项可以查找到cookies
: ]$ V" w! V! Y8 P8 HA.Elements
, k% j8 V9 Y5 p( R1 v, Q: \B.Sources! F+ C' t0 x5 M
C.Network* [ t" ], ^3 G2 _2 g+ ~4 m, ~
D.Peformance
1 T4 h' z8 S8 m9 g" [资料:+ m* E# r, T$ s7 E, J
' W, R4 M# e D! r# c. e' |11.下列哪项不是HTTP的请求类型()/ W% E6 x1 ~. J
A.GET5 a4 E: `/ J3 |: T
B.POST3 v. T Q; u" F! e
C.PUT
# g# M# A1 t; U1 A2 R0 V9 s) sD.SET) N( y, ?- M) L9 g( C& K
资料:
8 O1 x& I& d! A, v9 [4 k( x
, }5 o' p( x8 i12.通常使用()工具来模拟浏览器进行爬虫请求
4 V2 Z* u/ p' T- S# C* MA.Selenium6 X5 P6 J* N$ V/ x" x* {
B.Chrome
. K( Q! h; }3 N+ t2 ?" zC.ChromeDriver
9 L' c* q- c; \" \! b& Y! s) H6 R/ OD.WebDriver5 a# @6 h+ T' i2 ]' d4 y. @2 D
资料:
: c. X t' b2 B, U( ^4 `2 Z5 j( {" g
7 X$ u ~7 w+ J6 W; Z13.chrome默认打开开发者工具的快捷是$ [3 E" r h; J) q" B
A.F5- Q3 Z/ M3 m6 O8 K3 L
B.F11" V q0 s4 I! H& w
C.F12
/ U: t+ k+ o; X& r- zD.F2, J# @. w( M' E! q, q& p
资料:3 q/ [( N3 l$ {; T! y5 n4 z2 M% F
9 }! @( ~0 X2 i( K5 Z' N. R14.Python中专门用来处理图像的第三方库是
1 q8 O) R9 E. O4 a/ W; GA.lxml1 K8 O d) w' [2 t
B.Pillow
& E# n! f6 m9 n- J$ J! E! ]; y0 ~- dC.beautifulsoup
* g' Y% Y E8 }, hD.pytesseract9 B- }9 L1 N& f2 G2 I0 h
资料:
) t* C* T( Y; N" m
# h' l/ l9 ~6 w: F7 d" X V2 |15.要想让Scrapy结合Redis,应该对Scrapy爬虫请求的调度算法进行修改,以下哪种修改不能完成这一任务?()) F" L4 S, e, \. x/ m4 k3 j
A.队列
* w+ v, v+ p6 q ?; V1 hB.栈4 F y( z- q }" \4 d" v
C.上锁
/ L' I- g7 M4 @) O0 {D.优先级队列
0 N1 y1 H& W1 q$ ~资料:: b3 h* Q- ^% q$ Y2 u8 Q/ S
9 P* y) V/ _9 p$ H6 A$ V
16.以下表示请求资源重定向的HTTP状态码为
* q2 Y) b. c0 F$ v. C$ \. J$ hA.200" V, @, l+ d T! R5 o
B.3015 J6 S8 H& X5 G3 p$ f7 X0 Z
C.404
. m) O d' m* v# ^$ CD.500* Y% n# P& P- i' M) H( A7 X& l) L
资料:3 s; v& }1 [6 T" A
$ y& D2 w! u z' x7 Z+ T
17.请问按哪个键可以打开Chrome自带的开发者工具()
: p& h* z5 E) ?A.F10$ H* t; _2 w4 \3 k3 ^; D- j0 P# q1 h
B.F1/ V8 O5 Y! E1 Y0 `! ]: Y2 d
C.F11: b/ R. [& \0 w
D.F128 `1 j+ K( Q* h! H6 i1 m" J5 Y) G3 h
资料:' d8 p* T8 E4 c! u' k, V
4 j- P# ~' N: V: a5 D
18.如果使用Python的数据结构来做类比的话,MongoDB中库相当于一个()9 A2 D8 C' t1 {2 A
A.列表$ [) y( W" |, U" c* w
B.元组( u1 I6 K- h- u) n/ f# u
C.字典* c- g6 t' [4 F( R9 k
D.集合: M2 o( y9 A t. f* h; O0 D! O
资料:3 |6 v9 \1 W' l$ k; ^" {1 k) ]
. O4 G: k4 d" O8 z. Z6 B) }$ O
19.执行下面代码,结果为(): name_list = [] if name_list and name_list[100] == '张三': print('OK')+ D2 ?5 I: K, v0 u Q
A.程序报错6 v+ K8 m0 [ L4 O
B.OK4 ?& \1 B/ O* J8 q" z' d+ g
C.NULL
5 I4 I$ }" W8 } S- D. X' m) h6 m$ @0 iD.无输出
) w/ S8 J6 T- o$ L ^, T$ `1 d' @4 }资料:8 D* e Y( m( V4 o
' G+ _3 f& U1 Y" g g' _
20.使用UI Automatorr判断元素是否存在的操作是得到相应控件后使用命令()
7 ?% ?/ K7 w; V! Y0 @& r1 ^2 [A.exist
4 d: w: h) o4 d6 e8 D kB.exists6 @" i( k% ~+ m& G7 n; t
C.isnull1 [) s7 Q. d7 [9 m0 g* L( u2 B
D.contains
* ?9 k0 `" p- U2 N. R资料:9 T' q# k2 }5 d4 N3 C( p# X
/ I6 t$ J- ]# i( f, r% U二、多选题 (共 10 道试题,共 20 分)" [9 W9 e1 j _+ v% _, H3 E0 L
21.为了解决爬虫代码本身的错误引起的异常,可以采用下列哪些方法
* q$ s/ y/ j" G4 JA.仔细检查代码0 V/ x& |3 r8 F- M/ {+ C
B.开发爬虫中间件
2 V2 y/ O! f& I# A& N) S$ _C.开发下载器中间件
' F K( ^* H6 y# h. C# MD.等待
0 c* r& `' _' I6 W* Q资料: p5 u2 T5 Q+ Q5 j; t
( Z4 y7 I4 @/ i$ N. V! Y
22.使用BeautifulSoup对象后可以使用()来查找内容
8 M! I8 n4 t% R+ }# P1 {2 D" q6 hA.find_all
/ P/ t4 h# d, h) Y( m: iB.find
2 _( k$ P y- r3 ^1 d. M$ E8 XC.search9 M- C( I: v8 g3 C, T d
D.search_all
5 |' O) L: |- [8 r% J资料:1 q Y+ L0 p( ^+ p
" I% W% x* u3 d3 u: {/ T4 T
23.MongoDB中获取名字为set1的集合的语句为()
* `; c" d2 l- N i2 B$ hA.database.set1" t) Z6 N! P) K2 @/ v$ q
B.database('set1')
0 }& L7 \% k2 k( ^3 D2 a/ R7 ^+ GC.database['set1']# [1 U% J( d6 |. i) i% Y; w
D.database{'set1'}! H5 ?, ^4 t$ s) a0 p: _$ i
资料:C' ^- x2 ^: G- [, i, r
) z( w" g& Y4 j3 C
24.以下哪些可以独立成为Python编译器()
6 c4 |' j0 ^9 ~9 w% F$ W; FA.Pycharm2 P2 F/ G( ]7 G6 H; x6 t4 o
B.IDLE# @ ]7 q. U8 {. S" {' V
C.Eclipse* e- a+ g1 ]4 Q8 ]
D.Visual Studio 2010- ^, P: f; ~2 [8 i6 ?3 m
资料:& G+ B" ]6 l" x4 |: B
; T5 K- R, H8 e0 `+ G
25.使用Selennium获取网页中元素的方法有
% l* H: @! H/ Q8 ? gA.find_element_by_name
( L7 h! j1 T1 P. j7 z& k" E9 ~# MB.find_element_by_id2 [8 P# }' F/ O0 N: M9 T
C.find_elements_by_name
( |* K/ |* C3 l, w0 {6 zD.find_elements_by_id# V" @* {" q/ f3 {/ V. [! p
资料:CD% ^/ \: q2 B% t" F2 w) {6 R G6 s3 c4 {
' i" _9 s& B Q: a7 I( F* B26.下列关于在IOS上配置charles的说法正确的是()
, e# ]& b& e7 U9 \! V% ~4 K0 TA.不同ios设备之间会有比较大的差别，所以配置的时候需要找到对应的安装证书的入口。
5 k. o& ?0 M* N2 x) ], q2 t+ I+ yB.手机和电脑需要在同一个局域网下。 f3 n2 s; ~3 z" r; R, C
C.HTTP代理可以使用"自动"选项。
8 s, ~# h" | I& w6 ^1 q/ Q4 wD.安装好证书以后，打开iOS设备上的任何一个App，可以看到Charles中有数据包在流动
4 z- a3 T; P- e% ^5 s资料:' a$ s0 Y R$ Z! e# k6 W* ^
" D! g) @2 u; [2 P$ f5 Q6 e27.网络爬虫的用途有()* k& _1 y# _ d& y' v9 y3 i! @ y
A.收集数据
* i$ ?6 l/ N3 Y( v! e) v' j2 QB.尽职调查0 f; [' w- ~; o8 |* N. ^
C.提高流量, E) m0 {' ~* e' T9 Y F' m
D.攻击服务器
- E' x+ H: w0 M L资料:C. m( C. h2 T( y0 l5 `
( a8 e) }' @( f. f1 q. I
28.PyMongo删除操作有()
+ K [ s& u0 w/ a5 X" O# `: GA.delete
, m1 z; W2 u5 t, A) J! e5 zB.delete_all" |7 R7 t* W1 s1 m
C.delete_one- q# ^" d+ `# G& e
D.delete_many
% v+ u9 q8 i' @% v; T0 b7 B资料:
: p! U: t1 l# W8 Q$ k, _; V/ H( S' ?1 I3 T3 j; W7 t) D& }
29.PyMongo更新操作有()/ h( X( ^$ w) i O5 `
A.update& | o1 ^( r) `/ m5 G8 k, f# ?
B.update_all' J. t) H) C9 B+ c1 H! w4 d$ [
C.update_one% C: _0 z% x; ]8 ^
D.update_many
8 F* ]% {+ `9 w/ |8 c" Z资料:
5 P- B; c! A2 ~5 ^- ]
! n4 r$ r Z* s* _: R; U# S30.BS4可以用来从()中提取数据/ x" o5 i4 x% X, t
A.HTML: w- P- B$ S/ x: h7 }
B.XML7 g s( Q7 Z- X9 ]) d; K. z
C.数据库2 m) T$ v0 b5 O! g7 L( }
D.JSON
. m# w% v. |% X e资料:
6 L: ~( v( L* v4 A. x C( h/ j1 ]
1 @ Y1 C! I. O4 _- \0 C8 O% G2 C三、资料来源：谋学网（www.mouxue.com） (共 20 道试题,共 40 分)* C; W( [% h; T' v) T
31.在charles中使用CTRL+F搜索,JSON里面的中文是可以直接搜索到的。
+ \/ S. [5 I" e) T" j$ [$ l资料:错误5 ~$ m" {5 H! Q) r: t' ~! [" s3 D
1 K6 D# X' H7 v1 n5 t2 x' i
32.使用UI Automatorr操作实体键的命令为device.press.实体按键名称()
4 L/ X* u! d- m1 R# j资料:正确! x% h6 B; k' X- S+ t
3 m8 i- E5 s0 \1 i2 d! k
33.代理中间件的可用代理列表一定要写在settings.py里面
! w2 z) Z$ B9 X% s4 ^资料:错误
8 B& k; L8 J, G, \4 f9 [' ~; d8 c5 x5 g& `
34.引用中间件时后面的数字代表的是中间件的执行顺序,例如 'AdvanceSpider.middlewares.ProxyMiddleware': 543 中的543
9 W U7 O) j; D, C! a# @资料:正确
4 F' ]9 R Q/ G% C9 v) V8 }; O& N% y. j: {" B y! \
35.如果把网络上发送与接收的数据包理解为快递包裹,那么在快递运输的过程中取出查看更改里面的内容,就是类似抓包的过程0 g7 g, s( a6 a8 T' ]% F0 e
资料:错误9 L3 V' O0 d4 ~4 n4 k1 m5 m
/ B `5 X6 N4 L& ^+ q4 Y36.对Charles设置代理时,Ip可以设置为127.0.0.1,端口为8888.' J# z( z q* m* m. d/ H' u
资料:正确3 Q9 \$ c1 k& {7 h. i
; j7 S9 H7 v0 R5 {
37.Scrapy每一次发起请求之前都会在这里检查网址是否重复。因此如果确实需要再一次爬取数据,在Redis中把这个Key删除即可。& Q2 v9 j' s4 y2 R: \8 i- H- C- z+ Y a
资料:正确+ Z4 m! ]6 K. N u
. {$ b! S0 k' k4 g) x* }" y38.使用异步加载技术的网站,被加载的内容可以在源代码中找到% f; K: _, V- V. e' ~
资料:错误
: \' e- [/ G }! b4 O1 ]4 [0 f, h* J7 Y: n4 m! T9 M' E& @
39."curl http://爬虫服务器IP地址:6800/cancel.json -d project=工程名 -d job=爬虫JOBID"该命令的作用是启动爬虫
( L% b0 t+ P! ]' d. e资料:错误% e3 Z8 i& R7 {2 f% K
- s2 J# O/ \* J6 y4 x2 K/ u3 q" P2 j- e40.Redis中使用lrange读取数据后数据也会删除
0 N& M5 \) o4 k" |+ m: m/ G资料:错误
G4 @' w5 V- u3 T8 v
5 y2 e4 n$ L8 z* L! F8 q4 \41.在Ubuntu下若要运行Redis可以使用CMD进入解压以后的文件夹并运行命令redis-server.exe redis.windows.conf启动Redis! E6 M& Q% P9 o) I" D$ U
资料:错误; N ^5 |9 i1 ?1 e/ r! }: A% X
* c) S5 Y+ E! ]- A5 A
42.需要登录的网站一般通过GET请求就可以实现登录。, I. Z! H2 U& v1 d' ]) _& z5 o, a
资料:错误 o" e" q- u _6 E1 Z( t
- B- K s( x$ U7 ~
43.爬虫中间件的激活需要另外写一个文件来进行
4 p7 v' V; ^/ J* \( L资料:错误
9 s( `& O+ T) a% i( ~* a( n
5 t2 a- x! X5 B) A3 J% o1 {: W44.requests中post请求方法的使用为requests.post('网址', data=data)* J; Y5 ~& ^+ g4 @; ]& O; e
资料:正确
8 }: c2 S9 n1 }% ?$ s& P) N
6 ]9 ^; M: ]8 K5 [2 m o; g45.数据抓包就是中间人爬虫的一个简单应用。所以使用Charles也是一种中间人攻击
3 U5 U8 [ x: d; ?资料:正确- s% i; R, N" t
0 t" @: F0 H) ^2 g46.数据在MongoDB中是按照"库(Database)"-"集合(Collections)"-"文档(Document)"的层级关系来存储的。0 {% H" R' `( p" e! E4 C
资料:正确+ A3 i% f$ X1 X# J! y# v. l" x2 ]0 z
& H; a d2 G1 D. T9 r47.如果目标网站本身就是提供公众查询服务的网站,那么使用爬虫是合法合规的。6 P% w' i# A. ^* k
资料:正确
6 e$ @) ]3 e; L: j. }) r( |/ K& Z. }6 q- d; `! ~5 h, k
48.HTTP状态码中303状态码明确表示客户端应当采用POST方法获取资源, }' \! `3 L0 I2 T w8 a7 O
资料:错误" v3 }9 z* J1 w3 m v7 w3 V
4 `$ _% d) Q# J( z4 r
49.MongoDB是一个关系数据库产品
( y! A" W, b5 \3 f# G' F6 t资料:错误3 c) @3 z( ]( Y* X- D& w, `$ e
' j* t9 g1 |7 W8 M4 }+ Q, D50.HTTP状态码302与307完全同义。
4 E. v/ t" ]& U- y4 p1 g+ U资料:正确
' Y7 r. r8 Y) P6 o: F3 M9 ]4 E0 V7 _, K6 k n
6 ], I! ?2 @0 z; s; \( [1 o* P5 B
& t3 k2 M6 E* [, b5 h- H9 N4 z; \
/ `' V6 z- ]/ {$ m3 s6 S6 _: m
$ g3 D4 r% c6 J( I" t7 I
. ?0 P7 Y+ d" v; p7 a$ E' m) `9 S
2 w6 ]& w g; j( a% Y% \6 X, D
0 B4 c: n! c+ j! I$ _$ X8 }& K) W7 ?6 u
! O& _* ]0 z, J+ _0 M, p& L8 ]4 y) f3 u/ ~7 c; @
$ j- k6 h/ s0 o# \# |. q1 Q1 R8 p' ~2 M# w% p C+ x
|
|
IP卡
狗仔卡
发表于 2023-1-12 23:12:42
微信登陆 
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
显身卡
发表于 2023-1-13 08:03:22
客服一
