Java爬虫入门简介（一） —— HttpClient请求

数据是科研活动重要的基础。本系列博客将讲述如何使用Java工具获取网络的数据。

首先，我们讲述一下爬虫的基本原理。爬虫的基本原理很简单，就是利用程序访问互联网，然后将数据保存到本地中。我们都知道，互联网提供的服务大多数是以网站的形式提供的。我们需要的数据一般都是从网站中获取的，如电商网站商品信息、商品的评论、微博的信息等。爬虫和我们手动将看到的数据复制粘贴下来是类似的，只是获取大量的数据靠人工显然不太可能。因此，需要我们使用工具来帮助获取知识。使用程序编写爬虫就是使用程序编写一些网络访问的规则，将我们的目标数据保存下来。接下来，让我们开始从头搭建一个爬虫的案例。

一、环境的准备

这里的环境就是指开发环境，本博客将使用Java编写爬虫程序，因此，需要构建Java的编程环境。需要安装的软件包括（注意，我的电脑使用的是windows X64的程序，请选择对应的JDK版本，要使用8.0及以上）： 1、JDK 8.0: http://download.oracle.com/otn-pub/java/jdk/8u144-b01/090f390dda5b47b9b721c7dfaa008135/jdk-8u144-windows-x64.exe 2、IntelliJ IDEA: