简要咨询咨询QQ网站导航网站搜索手机站点联系我们设为首页加入收藏 

nodeJs爬虫获取数据简单实现代码

来源:易贤网   阅读:1301 次  日期:2016-07-15 14:19:07

温馨提示:易贤网小编为您整理了“nodeJs爬虫获取数据简单实现代码”,方便广大网友查阅!

这篇文章主要为大家详细介绍了nodeJs爬虫获取数据简单实现代码,感兴趣的小伙伴们可以参考一下

本文实例为大家分享了nodeJs爬虫获取数据代码,供大家参考,具体内容如下

var http=require('http');

var cheerio=require('cheerio');//页面获取到的数据模块

var url='http://www.jcpeixun.com/lesson/1512/';

function filterData(html){

  /*所要获取到的目标数组 

   var courseData=[{

    chapterTitle:"",

    videosData:{

      videoTitle:title,

      videoId:id,

      videoPrice:price

    }

  }] */

  var $=cheerio.load(html);

  var courseData=[];

  var chapters=$(".list-collapse");

  chapters.each(function(item){

    var chapterTitle=$(this).find(".collapse-head").find("label").text();

    var videos=$(this).find(".listview5").children("li");

    var chaptersData={

      chaptersTitle:chapterTitle,

      videosData:[]

    }

    videos.each(function(item){

      var videoTitle=$(this).find(".ml10").attr('data-lesson-name');

      var videoId=$(this).find(".ml10").attr('data-lesson-id');

      var vadeoPrice=$(this).find(".colblue").text();

      chaptersData.videosData.push({

        title:videoTitle,

        id:videoId,

        price:vadeoPrice

      })

    })

    courseData.push(chaptersData) 

  })

  return courseData

}

function printCourseInfo(courseData){

  courseData.forEach(function(item){

    console.log(item.chaptersTitle+'\n');

    item.videosData.forEach(function(item){

      console.log(item.title+'【'+item.id+'】'+item.price+'\n')

    })

  })

}

http.get(url,function(res){

  html="";

  res.on("data",function(data){

    html+=data

  })

  res.on('end',function(){

    var courseData=filterData(html);

    printCourseInfo(courseData)

  })

})

以上就是nodeJs爬虫获取数据的相关代码,希望对大家的学习有所帮助。

更多信息请查看网络编程
点此处就本文及相关问题在本站进行非正式的简要咨询(便捷快速)】     【点此处查询各地各类考试咨询QQ号码及交流群
上一篇:JavaScript 不支持 indexof 该如何解决
下一篇:jQuery表格插件datatables用法汇总
易贤网手机网站地址:nodeJs爬虫获取数据简单实现代码
由于各方面情况的不断调整与变化,易贤网提供的所有考试信息和咨询回复仅供参考,敬请考生以权威部门公布的正式信息和咨询为准!