java code代写 JAVA爬虫要求网络爬虫程序代写

JAVA爬虫要求

java code代写编写网络爬虫程序，首先要对目标站点进行页面分析。

参考页面：豆瓣任意电影页面

参考页面：豆瓣任意电影短评页面

使用Chrome浏览器的开发者模式观察页面。所有关键信息都以静态方式给出, 不需要模拟用户鼠标键盘行为与用户观察延时行为。我们可以直接解析。。。

编写网络爬虫程序，首先要对目标站点进行页面分析。

参考页面：豆瓣任意电影页面

参考页面：豆瓣任意电影短评页面

使用Chrome浏览器的开发者模式观察页面。所有关键信息都以静态方式给出, 不需要模拟用户鼠标键盘行为与用户观察延时行为。我们可以直接解析，通过发出Get请求得到的返回页面。

榜单页面可解析信息如下：总数，排行榜名称，排行榜排名，电影中文名，电影英文名，电影id,电影导演，电影主演，电影封面

电影详情页面可解析信息如下：电影id，电影中文名，电影别名，电影豆瓣评分，看过人数，想看人数，评分人数，5张海报图，条目分类，导演，主演，编剧，官方网站，豆瓣小站，上映时间日期，年代，语言，电影时长，影片类型，

制片国家和地区，简介，长评数量，短评数量。 java code代写

电影短评页面可解析信息如下：短评数量，每条短评。对于每条短评：短评 id,发布日期，上传用户，短评内容，短评评分，有用数。

通过轮询请求以上页面，我们可以获得几乎所有豆瓣电影公开的数据。

撰写时间：2018-2019/01

撰写人：栾兆威 / 计科 16

审核人：刘培强

版本：

修改时间：

修改人

使用任意浏览器（推荐火狐或者chrome）的开发者模式观察页面，不需要模拟用户鼠标键盘行为与用户观察延时行为，也不需要模拟登录，我们可以直接对网页进行解析，可以利用正则表达式。

解析榜单网页中每个电影的电影名，导演，主演，类型，评分，参与评价的人数，电影海报等；解析电影详细页面中的电影名，导演，编剧，类型，评分，上映日期，剧情简介等。并将上述电影详细信息和电影海报保存到电脑本地txt文档中或者数据库中。
解析每个电影详细页面中的短评、话题、影评，并保存到本地的txt文档中或者数据库中。
电影短评界面中的用户id，发布日期，短评分数，短评内容，好评差评比例。并保存到本地txt或者数据库中。
在这里自己要处理网站的反爬虫机制，怎样处理可以查阅资料。同时爬取内容时可以采用多线程，从而加快爬取速度。
利用JavaFX制作一个简单美观的图形用户界面（例如可以制作成一个关于电影的搜索引擎），用户可以通过此界面对电影进行类型分类，来选取自己想要的电影。拥有智能推荐功能，根据用户的需求可以进行模糊匹配，以此将合适的电影推荐给用户。
程序可以自动对短评进行词法分析，来判断他是好评还是差评，并统计不同评价的个数。