[南开大学]20春学期《网络爬虫与信息提取》在线作业-1（资料100分）

admin

资料来源：谋学网（www.mouxue.com）-[南开大学]20春学期（1709、1803、1809、1903、1909、2003）《网络爬虫与信息提取》在线作业
试卷总分:100    得分:100
3 e* D* D  O) c" }' W- M第1题,浏览器用来记录用户状态信息的数据叫
A、session
B、cookies
3 O" |2 I0 L6 V" ^2 w- IC、moonpies
D、selenium
正确资料:

' O  Q: n8 Z  n1 F
" R% A& I- q& [5 o$ J* [, Y第2题,()是一个传递信息的通道。它负责将爬取博文列表页获取到的信息传递给负责爬取正文页的方法中。
* |. N: M* T  q) m3 b- ]* ]A、meta
7 T& H$ l  K; N+ G9 U5 oB、head
C、header
3 v( a4 _, J$ a9 ]D、body
1 G! E, n" P/ M: ^# M正确资料:
% @6 l* J  P$ J
. K2 z7 F( j8 [& l! U! v
1 X9 T( M7 M+ `第3题,如果使用Python的数据结构来做类比的话,MongoDB中集合相当于一个()
A、列表
' F# Z/ w, Q: Q0 k0 i, lB、元组
C、字典
D、集合
  y6 b$ B* s7 j, X6 l% @$ V) }; F正确资料:
. m# K' h7 u& I) b. B

第4题,下列关于mitmproxy的安装说法错误的是()
A、对于Mac OS系统，使用Homebrew安装mitmproxy，命令为：brew install mitmproxy
; V" N4 R$ R) Y2 nB、在Ubuntu中，要安装mitmproxy，首先需要保证系统的Python为Python 3.5或者更高版本
C、在windows系统中无法使用linux的命令，只能通过下载安装包来安装
D、UBUNTU中执行命令 sudo pip3 install mitmproxy 进行安装
1 I9 Q5 d& s, S" R正确资料:


+ R% u% S* P# L) N; o; k资料来源：谋学网（www.mouxue.com）,()是Scrapy官方开发的,用来部署、运行和管理Scrapy爬虫的工具
A、Scrapyd
2 O5 D6 E! M& }) d* N; k* z7 r/ bB、ScrapyDeploy
9 `6 A  o- ?1 R0 @C、Deploy
" ~' I: V( k; L, a" \D、Scrapy_Deploy
正确资料:
# V4 A; V3 n; v! B, \& U( L

4 ~) y3 H! }' ]8 q第6题,PyMongo中逻辑查询表示大于的符号是()
A、$gt
& \% i" a( M  a7 C- p2 }7 FB、$lt
C、$gte$$lte
" l; n( ~2 t# {+ L8 `+ m正确资料:
& C% d- C. `/ H, M
5 @& K4 b7 h, W9 P' a2 r! h
& \2 {% z" p7 }3 S2 b第7题,Python中把列表转换为集合需要使用##函数
# _% j% ~, a6 `( p6 n; ^3 b! K8 M* @% U8 I1 wA、set
& i- s) k. N* AB、list
C、convert
1 r5 K( }3 h. v% dD、change
正确资料:

2 O$ r. W! t' s2 K; T
第8题,Redis中往集合中添加数据,使用关键字()
1 N/ z; H; C* j9 X, yA、sadd
B、add
+ A  O# o) F7 ~" jC、append
* T9 x% I  ~3 ~6 @" i5 SD、sappend
正确资料:


( f& |) D$ G: u8 G  Q第9题,下面Python代码输出为():
def default_para_without_trap(para=[], value=0):if not para:para = []para.append(value)return para
print('第一步:{}'.format(default_para_trap(value=100)))print('第二步:{}'.format(default_para_trap(value=50)))
A、第一步:[100]
6 Q0 ~, D3 O' j8 B第二步:[100,50]
. u/ K! p- D: L/ X9 A+ b7 BB、第一步:[100]
/ `: J3 K8 ?9 [6 V第二步:[50]
+ L# r$ `1 F, l9 ZC、第一步:[100]
$ Q& Z# F$ W9 `9 m第二步:[]
D、第一步:[100]
8 }; n3 K( t/ m' B6 [/ @第二步:[100]
, W% K  ?0 w/ [! ]1 E3 C正确资料:
" u' ?) A. X$ L- m2 I
3 t2 n( a5 `: @( W: ?9 y
! c1 k: ?0 k9 D9 k. S1 i资料来源：谋学网（www.mouxue.com）,Python写CSV文件需要哪个方法()
A、CSVWriter
B、CsvWriter
, X" K# h0 l) O- GC、DictWriter
D、FileWriter
7 \8 Z) i' q; K& ?! S( c1 m正确资料:
! J% A" B1 J! ~. W% ?

第11题,使用python定制mitmproxy,下面的语句请求的是()。{req.headers["User-Agent"]}
0 n# W* ]. l+ w' K  `+ P- S; m) Y- R4 DA、headers
B、文本内容
; Z5 X. y; x) _C、目标网站
D、user-agent
正确资料:
8 `2 a0 Y* k( o% V

% f! \  i4 ~# \5 x: A1 ]! W& b资料来源：谋学网（www.mouxue.com）,Python中若定义object=[1, 2, 3, 4, 5],则print(object[:3])输出()
A、12
B、123
; K; Z+ ]0 D* @* l6 y7 j' x* `C、23
/ f+ k' U3 z* s2 a  o( UD、234
- N. E  r) G$ W0 K) T$ {; \; p7 H正确资料:
6 ]. T, C' s9 w

第13题,当需要把Python里面的数据发送给网页时,应先将其转换成()
+ R  w4 E+ u" g& ], u) d" c0 lA、Json字符串
9 C+ U/ o; b: _7 f: o0 uB、GET
C、POST
+ {2 `0 M) U9 O. y9 f* OD、Request
: p  W# m/ I7 t( `* O. X正确资料:
, Z: E2 w8 ~8 n3 S2 |8 d$ W

第14题,以下表示请求资源找不到的HTTP状态码为
A、200
' i8 @2 o/ F. O  xB、301
5 ~  `9 k* e) CC、404
D、500
- \3 `4 G/ j$ Z4 m6 ]正确资料:
2 J9 k" W" g1 S' E2 M, `

' }7 J' Q% Y1 {9 l3 o资料来源：谋学网（www.mouxue.com）,Redis若要进入交互环境,需要打开终端输入()
$ r, }$ m1 o$ z3 |, V0 qA、redis-cli
B、redis
6 y: Q9 C2 s) H" G1 hC、redis-cmd
D、redis-start
; M/ M; [! H! b7 r正确资料:

6 Y' E  j2 Y3 D9 y
. }* M7 `" q' m第16题,Scrapy_redis是Scrapy的"()",它已经封装了使用Scrapy操作Redis的各个方法
( ~: P, E, E2 E9 }4 TA、组件
B、模块
C、控件
D、单元
正确资料:
2 s7 Q! Z3 R( x) o* x. p

第17题,xpath中extract方法返回值类型是()
A、列表
. r" }  o0 @  b$ g! c' NB、元组
! n$ Z$ Y3 Q, K6 W1 A( S% e% M$ |C、字典
D、集合
3 Q- W  @0 d2 r5 \" t& e* b" j正确资料:
$ U; d' t9 ], {2 r
: Z9 _/ h  L3 G$ v( X' a. Q
第18题,下列哪项不是HTTP的请求类型()
6 D+ R7 l( E& \- D' _A、GET
* m  @2 n% r1 s9 dB、POST
C、PUT
. V7 u* \& R4 Y" S! DD、SET
, r, s" P, Y' c$ `) {3 A5 v% v正确资料

/ {8 W4 }# \7 J% R  s% G+ m
/ ?) Q/ m$ _+ f" V- V! V8 t5 R. M第19题,请问按哪个键可以打开Chrome自带的开发者工具()
A、F10
6 d% w' _+ M5 }1 x4 H8 TB、F1
( \( u( A" A" d: s4 P. LC、F11
D、F12
正确资料
7 ^- J9 x- @9 k

# H1 u" \7 Y& O. C" _) J4 ~  f资料来源：谋学网（www.mouxue.com）,以下哪个HTML标签表示定义 HTML 表格中的行()
A、ul
" w' L: R- C* k- l" @B、li
C、tr
D、td
正确资料:
5 G( R2 v6 x2 e8 l, Y* g

第21题,Python中一个函数可以有()个return语句
A、0
B、1
C、多个
2 L2 b4 l/ f; {4 vD、2
/ c$ b0 F; F& A+ M3 x9 d+ o正确资料:,B,C,D
2 a. G2 e, o% e( z) [9 V9 `+ c
' a& t$ F; \  R! Y
第22题,最常见的HTTP请求类型有()
A、GET
B、POST
/ B7 y' I0 H% y: tC、SEND
D、RECEIVE
正确资料:

* V- X# s3 w3 u& j: r2 P; U: P+ Y
& [8 H+ J1 M5 C5 X第23题,自动填充验证码的方式有
A、手动识别填写
B、图像识别
C、打码网站
D、浏览器自动识别
正确资料:
+ X% J& e' [( |) N
' d, H& C8 D' g5 s
. U9 P1 \1 L% b3 |! T/ j  D- O第24题,下列关于在IOS上配置charles的说法正确的是()
, D2 `6 V0 V6 O0 rA、不同ios设备之间会有比较大的差别，所以配置的时候需要找到对应的安装证书的入口。
B、手机和电脑需要在同一个局域网下。
C、HTTP代理可以使用"自动"选项。
D、安装好证书以后，打开iOS设备上的任何一个App，可以看到Charles中有数据包在流动
8 B% R8 f6 i% u) P5 M正确资料:,D

- i) Z1 k; S; t( a9 J
+ U6 F( g. x8 l& x: n1 Q' u- H: S7 L资料来源：谋学网（www.mouxue.com）,Python中()与元组由类似的数据读取方式
A、字符串
% W# F. }1 E5 j; Y* z$ ~B、列表
C、字典
D、集合
正确资料:

6 k/ k! U3 G; |$ r8 a3 z* A9 t/ y
第26题,Python中有哪些实现多线程方法()
A、multiprocess.dummy
" i2 p) _4 l6 C# tB、threading.Thread
8 V4 p7 O( M% Q+ N' AC、process
# e8 H% _( z9 V" ND、PyMongoDB
正确资料:,B
. Q3 y1 h# r( N7 Z

第27题,要使用tesseract来进行图像识别,需要安装两个第三方库
A、requests
B、beautifulsoup
C、Pillow
D、pytesseract
1 O5 z, b' k4 h0 D' l. b正确资料:,D

3 A3 u/ y5 V7 _+ d( p! |
第28题,BS4可以用来从()中提取数据
9 B2 v' B* q. M7 K. `' L  Q, cA、HTML
# J. t" Y1 v- p" kB、XML
$ [! n9 ]- R, M7 \6 S0 _C、数据库
D、JSON
正确资料:,B
# A8 B% F7 X* p' T: E1 w; a
# N6 F5 f* W: d/ ^1 W
* c8 @; G' _; c" D: D: i第29题,Python中()容器有推导式
A、列表
- o# F& ?8 U' o. c4 `! N  C% DB、元组
+ Q1 N* A" I% f% j/ T; Q- |! {) U6 [1 XC、字典
D、集合
正确资料:,C,D
; m$ G/ x0 t$ S% I" j7 d2 q" M' f

资料来源：谋学网（www.mouxue.com）,Redis中的值可以支持()
# ?# W# R) X! h, W) wA、列表
B、哈希
& P( s( j# c2 _3 j! C2 ?. a6 rC、集合
D、有序集合
正确资料:
% W: |, M8 H: L* t: z) s& H. n/ j/ w
6 p" X+ V" Z1 x, C$ y+ R# L
: Z8 Z; B6 @' M, [7 y- V& j/ V第31题,MongoDB在频繁读写方面优于Redis
1 u5 B4 l$ {( Y5 m/ L+ o* _T、对
2 l! A* m' m6 E2 u5 [$ q5 cF、错
. o0 F* R3 e1 ^% d# h4 j: a) U3 Y正确资料:
$ }! A$ b2 o4 F! Z
1 y# x* t) M2 E% l9 v
5 y" S$ d+ x, V( K- v; Q第32题,Redis的集合与Python的集合一样,没有顺序,值不重复
T、对
F、错
$ J& w1 {/ ?& J$ L9 ^# s# d' l' j正确资料:
: p2 r- M) U5 y5 v. [) I' i6 i
1 @) K* p. @# T5 L4 \# ~0 f* Z
2 Q  K! `- k( a第33题,插入数据时,MongoDB会自动添加一列"_id",也就是自增ID,每次自动加1
T、对
5 ~( _& j5 G  ~/ E+ VF、错
正确资料:F


第34题,Python中写CSV文件的writerow方法参数为包含字典的列表类型
T、对
/ T! p! Y0 z3 z5 H' G) YF、错
正确资料:F
& j- M. O+ a9 ~# K* v

) n) l% P0 d5 O9 ^3 T) O& f. ^$ O第35题,在MacOS下若要运行Redis可以运行解压以后的文件夹下面的src文件夹中的redis-server文件启动redis服务
- y: L. I1 }6 b. b2 X* T0 n0 csrc/redis-server
  W0 Z6 s* u# y- P5 FT、对
3 M$ q. K' c: o$ G' xF、错
! A( s% w  G2 L2 m) V+ C0 y- [正确资料:F

( H* }! h3 Z/ M
( m) t: {; A8 q0 P+ W6 @7 N7 |第36题,Selenium必须加载对应的webdriver才能模拟浏览器访问
: B% H/ j$ ]% oT、对
2 ^; ]/ z" r4 J1 p8 X8 G6 lF、错
8 X# O2 E+ q6 S" A& a2 _# {8 b更多资料下载：谋学网（www.mouxue.com）

" \; N( J  W2 [
第37题,数据抓包就是中间人爬虫的一个简单应用。所以使用Charles也是一种中间人攻击
T、对
: W3 ?3 e2 W0 e0 ?) @8 V' ?F、错
! d2 n& j7 o2 _+ H更多资料下载：谋学网（www.mouxue.com）


2 W- O& o: T+ I* c, T第38题,网站返回的Headers中经常有Cookies,可以用mitmdump脚本使用print函数把Cookies打印出来。
" Z4 E6 d3 [' NT、对
8 E; q. Z4 R  B' B0 cF、错
正确资料:F
0 e  o! ?* n8 B! l- \

( ?, g: [; I' z4 i第39题,Python中列表生成以后还可以往里面继续添加数据,也可以从里面删除数据;
T、对
8 F& g( B) \, c9 ^& n, p% `' nF、错
) V  q" a& y6 f; }" z! L+ b更多资料下载：谋学网（www.mouxue.com）
* `6 W3 e0 ?6 E7 I' E
4 b: M* m3 z( m' M: Z& T
第40题,charles配置中,安装完成证书以后,在设置中打开"关于本机",找到最下面的"证书信任设置",并在里面启动对Charles证书的完全信任。
T、对
F、错
( m$ l. K- x7 H正确资料:
2 t' t' A- Q2 N2 ~

第41题,如果通过爬虫抓取某公司网站的公开数据,分析以后发现这个公司业绩非常好,于是买入该公司股票并赚了一笔钱。这是合法的。
  d4 N$ K! z8 ~8 ET、对
. d+ C2 N! Z% B  z& vF、错
更多资料下载：谋学网（www.mouxue.com）
- y+ K) Z3 \, q  L% U

! o  Q; G% c; C第42题,在中间人攻击中,攻击者可以拦截通信双方的通话,并插入新的内容或者修改原有内容
4 m+ u% I5 a4 k. ]  |. eT、对
F、错
正确资料:


第43题,在Linux的终端使用apt-get命令安装一系列依赖库时,其中如果存在有已经安装的库,会覆盖掉之前的库重新安装
  F3 Z- d& e, Q1 Y( a6 F' MT、对
: H8 u' D/ m3 mF、错
正确资料:F

) L9 h- d& x  `  K. @. h0 p; P
第44题,MongoDB是一个关系数据库产品
- e: m( D: J' x! l6 N! \8 N4 u/ NT、对
* Y) C$ V+ O# f" a; g" }1 ]F、错
4 `+ E/ ~4 V7 q5 t5 L正确资料:


第45题,Python中条件语句在使用or连接的多个表达式中,只要有一个表达式为真,那么后面的表达式就不会执行。
T、对
1 K8 o7 `3 N$ b3 y8 o' m  }+ CF、错
2 x+ Z- n/ [/ M( ~* u8 b更多资料下载：谋学网（www.mouxue.com）


, Y6 P, ^4 z+ g# H/ |1 x6 i+ M& S第46题,robots.txt是一种规范,在法律范畴内
T、对
8 x- a4 W! u1 jF、错
0 i0 j1 a9 _( g$ a: l; l正确资料:F
  X0 _6 ^! B1 \- z$ o, S% v- g

第47题,当运行爬虫代码后,出现"Forbidden by robots.txt"提示后,说明当前时间段被爬取的网站无法访问。
, x* R- R" j7 XT、对
# q9 q( F( O& D0 EF、错
正确资料:F

. a) {) T" M2 c: Y2 x0 v- A
3 \$ g' l+ V$ p* u& ]第48题,process_spider_output(response, result, output)是在下载器中间件处理完成后,马上要进入某个回调函数parse_xxx()前调用
+ b2 k- E: ?9 I- q8 F0 \; x$ N! U8 fT、对
F、错
" L* D1 Y2 t& P% `& t3 [正确资料:

5 Z& B. a9 M3 }! t- A0 |
. Z! d9 q# W% j' W第49题,MongoDB支持对查询到的结果进行排序。排序的方法为sort()。它的格式为:
handler.find().sort('列名', 1或-1或0)
; }' B3 I- `8 A% j7 K7 N* XT、对
F、错
8 g/ F. A6 ~! `( u* f% u/ @正确资料:

) q1 s5 u; `! Q; T7 C
2 _7 w! i/ |+ i6 s, |- }( l3 o资料来源：谋学网（www.mouxue.com）,当使用Scarpy创建爬虫时,当爬取网易云音乐首页信息时,scrapy genspider的第二个参数直接输入"163.com"就可以了
T、对
( X, ~: {; ]: c6 FF、错
' s$ r; B$ q* O/ \- K- h正确资料:F

( F& N" {3 f7 ?3 ~5 `

. ]! i3 a/ Q$ r$ B: `' _
" C& e1 [' N  t) a# p" q
, A, H7 {: p4 Q# w1 c1 V3 r. y- `
4 I' [% e, p& l6 W) v

9 k6 H$ b6 Q. V6 r/ \5 A3 S! c" L
2 j2 A* a3 v5 x: n$ e, y6 f

! p8 P; ^( H) k( B4 _4 d





# y6 M4 N) I4 \) n# j' M: B


1 S7 y2 l% F* ^: h- p7 }5 ]: [- K7 S
% f# Z, }0 N& s2 j5 Z! c. U( c
# O2 u% F7 F" L! P
4 z+ O) Y1 s7 f

& v% u% @! z+ v( a- N
) @0 E9 i1 S5 l: x8 G" M+ C