nodejs高并发如何处理?

Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境。 Node.js 使用了一个事件驱动、非阻塞式 I/O 的模型。下面我们来看一下nodejs的高并发如何处理。

nodejs如何处理“高并发”请求?

针对每个并发请求,服务端给请求注册一个激发事件(I/O),并给一个回调函数(这个过程没有阻塞新的连接请求)。按顺序执行事件处理(I/O),处理完成后执行回调函数,接着执行下一个事件处理(I/O)。

事件处理(I/O)原理?

事件处理(即异步I/O处理)是由node工作线程去执行的(nodejs底层的libuv是由多线程的线程池并行I/O操作),且主线程是不需要等待返回的,只要发出指令后就可以执行其他事件,所有操作完成后执行回调。

nodejs高并发大流量的设计实现,控制并发的三种方法:

eventproxy、async.mapLimit、async.queue控制并发

Node.js是建立在Google V8 JavaScript引擎之上的网络服务器框架,允许开发者能够用客户端使用的语言JavaScript在服务器端编码。

nodejs高并发大流量的设计实现:

原理:非阻塞事件驱动实现异步开发,通过事件驱动的I/O来操作完成跨平台数据密集型实时应用,传统的server 每个请求生成一个线程, nodejs是一个单线程的,使用libuv保持数万并发

用eventproxy、async.mapLimit、async.queue控制并发:

1.用eventproxy实现控制并发

var EventProxy = require('eventproxy');

const most = 5;//并发数5
var urllist = [....];//待抓取url列表,100个

function foo(start){
    var ep = new EventProxy();
    ep.after('ok',most,function(){
        foo(start+most);//一个批次任务完成,递归进行下一批任务
    });
    var q=0;
    for(var i=start;i<urllist.length;i++){
        if(q>=most){
            break;//最多添加most个任务
        }
        http.get(urllist[i],function(res){
            //....
            res.on('end',function(){
                ep.emit('ok');//一个任务完成,触发一次ok事件
            });
        });
        q++;
    }
}
foo(0);

2.使用 async.mapLimit 控制并发
var async = require('async');

//模拟一组连接地址
var urls = [];
for(var i = 0; i < 30; i++) {
    urls.push('http://datasource_' + i);
}
console.log(urls);

// 并发连接数的计数器
var concurrencyCount = 0;

// 并发抓取数据的过程
var fetchUrl = function (url, callback) {
    // delay 的值在 2000 以内,是个随机的整数
    var delay = parseInt((Math.random() * 10000000)  10);
    concurrencyCount++;
    console.log('现在的并发数是', concurrencyCount, ',正在抓取的是', url, ',耗时' + delay + '毫秒');
    setTimeout(function () {
        concurrencyCount--;
        //抓取成功,调用回调函数
        callback(null, url + ' html content');
    }, delay);
};

//使用 async.mapLimit 来 5 个并发抓取,并获取结果
async.mapLimit(urls, 5, function (url, callback) {
    fetchUrl(url, callback);
}, function (err, result) {
    //所有连接抓取成功,返回回调结果列表
    console.log('final:');
    console.log(result);
});

3.使用async.queue 控制并发

"use strict"
var http = require('http');
var cheerio = require('cheerio');
var URL = require('url');
var path = require('path');
var fs = require('fs');
var async = require('async');

var baseUrl = "http://cnodejs.org/";
var targetUrl = "http://cnodejs.org/";
var stime = new Date();

function sGet(url,callback){
  var chunks = [];
  http.get(url,(res)=>{
    if (res.statusCode != '200') {
      callback({message:"抓取失败,状态码:"+res.statusCode,url:url});
      return;
    }
    res.on('data',(chunk)=>{
      chunks.push(chunk);
    });
    res.on('end',()=>{
      callback(null,Buffer.concat(chunks).toString());
    });
  }).on('error',(e)=>{
    callback({message:"抓取失败",url:url,err:e});
  });
}

sGet(targetUrl,(err,data)=>{
  if (err) {
    console.log(err);
    return false;
  }
  var $ = cheerio.load(data);
  var anchors = $("#topic_list a.topic_title");
  console.log('共'+anchors.length+'个任务');

  const most=5;//并发数
    //创建队列并指定并发数
  var q=async.queue(function(url,callback){
    var filename = path.basename(url)+'.txt';
    sGet(url, (err, data)=> {
      if (err) {
        callback(err);
        return false;
      }
      fs.writeFile('./html/' + filename, data, function (err) {
        if (err) {
          throw err;
        }
        callback(null,filename);
      });
    });
  },most);

  q.drain = function() {
    console.log('任务全部完成,共耗时:'+(new Date()-stime)+'ms');
  }

  anchors.each(function(){
    var url = URL.resolve(baseUrl,$(this).attr('href'));
    q.push(url,function(err,filename){
      if (err) {
        console.log(err);
        return;
      }
      console.log("finished:"+filename);
    });
  });
});

以上就是nodejs高并发如何处理?的详细内容,更多请关注易知道|edz.cc其它相关文章!

推荐阅读

    记一次服务端系统性能优化

    记一次服务端系统性能优化,在线,设备, 首先简单介绍一下业务场景,物联网设备,关注公众号,免费领取环保袋。12月8号,也就是昨天上午,突然接

    如何免费注册appid

    如何免费注册appid,右下角,应用程序,如何免费注册appid1.打开Appstore2.任意点开一个免费应用程序,并点击下载。3.从弹出的对话框中,选择“

    服务端渲染基础

    服务端渲染基础,服务端,客户端,什么是渲染一般而言大家提到“渲染”,可能会说:“凡是从服务器返回的 HTML 页面,均算作是服务端渲染。”这可

    手机s|手机steam账号注册

    手机s|手机steam账号注册,,手机s这个是升级版的意思 S=Super 是升级版,配置提升,外形基本不变.比如iPhone5s和iPhone5.手机steam账号注册

    金蝶kis记账王注册码

    金蝶kis记账王注册码,,1.金堞kis专业版注册机怎么破解金蝶kis专业版v10.0 正式破解版/softdown/50487.htm1、先解压金蝶kis专业版10.0注册