收藏本站 劰载中...网站公告 | 吾爱海洋论坛交流QQ群:835383472

node.js学习笔记之koa框架和简单爬虫练习

[复制链接]
9 a) c+ q( f3 Y& j& a1 @

Koa -- 基于 Node.js 平台的下一代 web 开发框架

% v% q/ K3 |. Y' O

koa是由 Express 原班人马打造的,致力于成为一个更小、更富有表现力、更健壮的 Web 框架。 使用 koa 编写 web 应用,可以免除重复繁琐的回调函数嵌套, 并极大地提升错误处理的效率。koa 不在内核方法中绑定任何中间件, 它仅仅提供了一个轻量优雅的函数库,使得编写 Web 应用变得得心应手。开发思路和express差不多,最大的特点就是可以避免异步嵌套。koa2利用ES7的async/await特性,极大的解决了我们在做nodejs开发的时候异步给我们带来的烦恼。

/ S7 c4 v* e! J: p" u

英文官网:http://koajs.com

/ @) C% ?# H* c

中文官网:http://koajs.cn

2 _+ L) l9 f6 K/ m( E' L" Y

1.koa

, x( @3 a' c) z2 e7 V4 a$ E

安装koa包: npm i -S koa@latest

0 ]0 r" t3 ?3 q

引入: const koa = require("koa");

实例化对象: const app = new koa; 8 g, U: W* e2 Q4 d( F% p# f6 @7 u

通过实例操作,专门用于客户端请求的函数叫做中间件,使用use()注册

8 o# K# }) y( t5 y

use()函数中必须使用异步 async; use可是调用无数次;

8 K: W9 Q, g J% d& c

其中有两个参数:

+ _6 x' Y ?& U. p

a)ctx: 上下文环境,node的请求和响应对象,其中不建议使用node原生的req和res属性,使用koa封装的requset和response属性

) V* R( I8 W0 A; u$ O" `

b)next: next(),将本次控制权交给下一个中间件。

# \! l$ H! c0 M& A, l& T

最后一个中间件使用next()无意义,执行完控制权返回上一层,直至第一个。

3 G) W! s3 e! ]( Z' T; B

1. next参数的使用demo

' S; p* N n* H$ r/ q: p
`const Koa = require(``"koa"``);` ' {0 Z. D5 i q+ X, o( u/ i8 ~ `const koa =` `new` `Koa();` / n! [* `( N2 {: B& k0 J! {. X" O6 i `//中间件1` $ a$ ?* R/ H# ` `koa.use(async (ctx, next) => {`& J" ^+ R' R, j2 ]: h `console.log(``"1 , 接收请求控制权"``);` 7 i0 b4 K% n z. A( a' `. ~- s$ h `await next();` `//将控制权传给下一个中间件` 7 Q; k" H% M2 B! X0 C4 h `console.log(``"1 , 返回请求控制权"``);`- {/ u# B! z; {3 N) | `});` `//将中间件注册到koa的实例上` ! U) o+ I, B" m7 k `//中间件2` # K& \# J+ b! u1 m `koa.use(async (ctx, next) => {`+ `' ~7 z) @: |5 }7 N* z `console.log(``"2 , 接收请求控制权"``);`' h+ ~/ p- |9 r% Y+ A8 A) ~ await next();`0 M3 ~# ^4 j' J% Q6 ^, C `console.log(``"2 , 返回请求控制权"``);` 8 H/ _. Y6 P/ K' |; l `});`2 i6 u# J4 Y3 X! L, p" a `//中间件3`; b9 u0 s1 D, a( |: j `koa.use(async (ctx, next) => {`4 x' [4 \7 W) d4 I `console.log(``"3 , 接收请求控制权"``);`: ^. b" Y4 o; E/ T7 `6 C0 O$ [4 z `console.log(``"3 ,返回请求控制权"``);` & H% {2 J8 c3 j* |! { `});`$ N, y, B% F* G( K/ \( A8 Q `koa.listen(3000, ()=>{` , z7 a& ^; N' Y% B% j9 e4 l, C( a `console.log(``"开始监听3000端口"``);` 3 |1 L( A) d$ l" W. T6 F `});`
9 c; g; f% G# z6 Z& L' `% X; M- g

注:当中间件中没有next(),不会执行下面的中间件

( x1 M5 _$ G! O

访问localhost:3000的效果图;

4 p5 ^: N( y5 F! T* r, R- W4 `
* u1 P( y2 c/ z8 p$ w% Y

注:会有两次操作是因为图标icon也会请求一次

5 Q J3 t6 C) e6 `

2.ctx参数的使用demo

' d$ H- U7 w) O. U' w- X3 ~% T5 D5 v
`const Koa = require(``"koa"``);` ; ?8 f! k( w, s0 b6 C+ y& l `const koa =` `new` `Koa();`& X* E" o' I6 R% G `koa.use(async (ctx, next)=>{` z2 H6 t6 `5 I& O* e% v: I `ctx.body =` `"body可以返回数据,"``;`8 R% E% E# j3 [" f' _3 e% c2 G `ctx.body +=` `"可以多次调用,"``;` 9 g; A% F+ H2 P3 N `ctx.body +=` `"不需要end()"``;`* C4 t# }0 j1 W `});`7 B) W W4 J+ Y5 P `koa.listen(3000, ()=>{`5 _1 O7 k! {3 E$ g `console.log(``"监听开始"``);`5 |% n: }0 \8 A' G8 x1 d0 e5 \! V `});`
; f4 b6 F0 v! N {9 @5 a

效果:

7 ?1 [1 I! m+ t# F
; s" ?$ c9 X1 G' m( o, V7 t' g

ctx.url ,ctx.path ,ctx.query ,ctx.querystring ,ctx.state ,ctx.type

5 c2 g* H0 A5 q n! Q ~* C
`const Koa = require(``"koa"``);`. l5 y9 _ s1 s2 e* M `const koa =` `new` `Koa();` ) h9 P0 O8 P; _% |& I" q, I `koa.use(async (ctx, next)=>{`1 z# V: Z* l8 Z/ ^6 c! J" P `ctx.body = ctx.url;`# h1 ~& V, y) v) d `ctx.body = ctx.path;`: `8 Q3 k+ D7 f* V3 {' x7 T3 \ `ctx.body = ctx.query;` # R) e- q2 @: T9 ?5 S3 N- T; R `ctx.body = ctx.querystring;`. }; s6 f8 L/ g# a `});` / E* h! B6 a1 f7 ~ `koa.listen(3000, ()=>{` / f* L" v3 r/ S( s5 A6 f3 D/ Q `console.log(``"监听开始"``);`% }$ ^2 x5 }5 u: f `});`
3 k" {, {6 c$ n3 Y& ^8 g

访问http://localhost:3000/path?name=sjl&age=18为例,效果图:

! F1 N8 Y3 x! h

1. url: 整个路径

# j! z# W9 R( H
" D9 s' e$ o) Z8 g& A

2. path: 非查询部分

# t( T- ^. e# W# c) p# P% N
& m, u' S. Z. ]8 z: f$ v

3. query: 将查询部分转为JSON对象

' f# t$ @% {, E( B- X! m- m
( c& Y; u% t9 s# }8 [

4. querystring: 将查询部分转为字符串

) N+ ] p* t+ F& l
. ^( W* r B# e8 t" l9 F. s

5. ctx.state ,ctx.type 表示状态吗和类型

; H$ j3 P1 \ d

2.简单爬虫练习

! u: {6 ?( F8 E# f

安装request,cheerio模块

1 w' A, `; E2 n: `- d
`npm i -S request: 请求模块` : Y( b! O7 ~9 l, g8 l+ @+ B `npm i -S cheerio: 抓取页面模块(JQ核心)`
1 U+ F5 Z+ t4 g t2 M

抓取网页数据案例(随机网页)

& W3 l2 f9 |" z: Y% L) C/ Y
`//导入模块`7 v, h9 A& |* l3 p* T `const request = require(``"superagent"``);` `//导入请求模块`7 o0 W8 t& f% W' D `const cheerio = require(``"cheerio"``);`% A. @3 r( a8 c, B7 F" I `const {join} = require(``"path"``);`! C+ F/ z, H# P/ \! t `const fs = require(``"fs"``);` ; T) [2 a, P, `! Z* { `let arr = [],` `//存放数据`" T8 |; r/ s2 y6 J `reg = /\n|\s+/g,` `//replace中使用`% ^- ~5 W4 ^+ J# V1 `+ O2 }! K `url =` `"[https://www.shiguangkey.com/course/search?key=%E5%89%8D%E7%AB%AF/](https://www.shiguangkey.com/course/search?key=%E5%89%8D%E7%AB%AF/)"``;` ( z) B2 P5 P% Y6 m `request` " I& `' }( E' c1 K* I/ F8 P `.get(url)`7 W9 C9 K1 O: J- {( w% G+ @6 n+ X `.end((err, res) => {` ! M/ G' C: X. m. p `const $ = cheerio.load(res.text);` `//把字符串内的标签当成dom来使用` 2 ~: m3 P6 U/ x+ w5 M0 ^! t `$(``".course-item"``).each((i, v) => {`! m3 \1 ~6 i u% f7 ~( a& Q( ] `// v当前进来的dom,根据网页的布局结构来找到准确的dom节点`- l6 H1 ~& N1 k% r, F/ V `const obj = {`& _6 `! Q' G2 B" y `imgSrc : $(v).find(``"img"``).prop(``"src"``),`- l* v; c$ r& H! L c `price : $(v).find(``".fr span"``).text().replace(reg,` `""``),` P/ M `* P& _8 H8 [ `total : $(v).find(``".item-txt"``).text().replace(reg,` `""``),` % n3 I4 c6 \0 c, n `href : join(url + $(v).find(``".cimg"``).prop(``"href"``))`! k) D9 w/ A3 d n `};`3 h- @, W+ h7 j# r- {* t$ b! W+ d( w `console.log(join(url + $(v).find(``".cimg"``).prop(``"href"``)));` `//拼接`; {3 u; I0 X, g. W2 u `arr.push(obj);` `//把对象放进数组里`' C- g. V1 Z2 t' ]9 L `});`% y/ L5 \0 q/ z9 j `fs.writeFile(``"./sjl.json"``, JSON.stringify(arr));` `//将爬到的数据写入文档中` ; K$ ^2 t8 Q$ y5 b2 U2 ` `});`
0 {2 z1 v/ D4 C5 i( }& g

以上就是本文的全部内容,希望对大家的学习有所帮助

0 K! R. ~8 y1 _& I6 a4 w : `6 M& K' l! z2 G. ]% q- e, m" [, z( @& `6 _, a: |" W; j : ^ r4 I& C; L4 b" `% o0 q1 j) k' F. ^& }- U3 M( P
回复

举报 使用道具

相关帖子

全部回帖
暂无回帖,快来参与回复吧
懒得打字?点击右侧快捷回复 【吾爱海洋论坛发文有奖】
您需要登录后才可以回帖 登录 | 立即注册
邢雷
活跃在2026-4-7
快速回复 返回顶部 返回列表