这一篇网络爬虫的实现就要联系上大数据了。在前两篇java实现网络爬虫和heritrix实现网络爬虫的基础上，这一次是要完整的做一次数据的收集、数据上传、数据分析、数据结果读取、数据可视化。
需要用到
cygwin：一个在windows平台上运行的类unix模拟环境，直接网上搜索下载，并且安装；
hadoop：配置hadoop环境，实现了一个分布式文件系统（hadoop distributed file system），简称hdfs，用来将收集的数据直接上传保存到hdfs，然后用mapreduce分析；
eclipse：编写代码，需要导入hadoop的jar包，以可以创建mapreduce项目；
jsoup：html的解析jar包，结合正则表达式能更好的解析网页源码；
—–>
目录：
1、配置cygwin
2、配置hadoop黄静
3、eclipse开发环境搭建
4、网络数据爬取（jsoup）
——–>
1、安装配置cygwin
从官方网站下载cygwin 安装文件，地址：https://cygwin.com/install.html
下载运行后进入安装界面。
安装时直接从网络镜像中下载扩展包，至少需要选择ssh和ssl支持包
安装后进入cygwin控制台界面，
运行ssh-host-config命令，安装ssh
输入：no，yes，ntsec，no，no
注意：win7下需要改为yes，yes，ntsec，no，yes，输入密码并确认这个步骤
完成后会在windows操作系统中配置好一个cygwin sshd服务，启动该服务即可。
然后要配置ssh免密码登陆
重新运行cygwin。
执行ssh localhost，会要求使用密码进行登陆。
使用ssh-keygen命令来生成一个ssh密钥，一直回车结束即可。
生成后进入.ssh目录，使用命令：cp id_rsa.pub authorized_keys 命令来配置密钥。
之后使用exit退出即可。
重新进入系统后，通过ssh localhost就可以直接进入系统，不需要再输入密码了。
2、配置hadoop环境
修改hadoop-env.sh文件，加入jdk安装目录的java_home位置设置。
|
1
2
3
4
|
# the java implementation to use. required.
export java_home=/cygdrive/c/java/jdk1.7.0_67
|
如图注意：program files缩写为progra~1
修改hdfs-site.xml，设置存放副本为1（因为配置的是伪分布式方式）
|
1
2
3
4
5
6
|
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
|
注意：此图片多加了一个property，内容就是解决可能出现的权限问题！！！
hdfs：hadoop 分布式文件系统
可以在hdfs中通过命令动态对文件或文件夹进行crud
注意有可能出现权限的问题，需要通过在hdfs-site.xml中配置以下内容来避免：
|
1
2
3
4
|
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
|
修改mapred-site.xml，设置jobtracker运行的服务器与端口号（由于当前就是运行在本机上，直接写localhost 即可，端口可以绑定任意空闲端口）
|
1
2
3
4
5
6
|
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
|
配置core-site.xml，配置hdfs文件系统所对应的服务器与端口号（同样就在当前主机）
|
1
2
3
4
5
6
|
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
|
配置好以上内容后，在cygwin中进入hadoop目录
在bin目录下，对hdfs文件系统进行格式化（第一次使用前必须格式化），然后输入启动命令：
3、eclipse开发环境搭建
这个在我写的博客 大数据【二】hdfs部署及文件读写（包含eclipse hadoop配置）中给出大致配置方法。不过此时需要完善一下。
将hadoop中的hadoop-eclipse-plugin.jar支持包拷贝到eclipse的plugin目录下，为eclipse添加hadoop支持。
启动eclipse后，切换到mapreduce界面。
在windows工具选项选择showviews的others里面查找map/reduce locations。
在map/reduce locations窗口中建立一个hadoop location，以便与hadoop进行关联。
注意：此处的两个端口应为你配置hadoop的时候设置的端口！！！
完成后会建立好一个hadoop location
在左侧的dfs location中，还可以看到hdfs中的各个目录
并且你可以在其目录下自由创建文件夹来存取数据。
下面你就可以创建mapreduce项目了，方法同正常创建一样。
4、网络数据爬取
现在我们通过编写一段程序，来将爬取的新闻内容的有效信息保存到hdfs中。
此时就有了两种网络爬虫的方法：
其一就是利用heritrix工具获取的数据；
其一就是java代码结合jsoup编写的网络爬虫。
方法一的信息保存到hdfs：
直接读取生成的本地文件，用jsoup解析html，此时需要将jsoup的jar包导入到项目中。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
|
package org.liky.sina.save;
//这里用到了jsoup开发包，该包可以很简单的提取到html中的有效信息
import java.io.file;
import org.apache.hadoop.conf.configuration;
import org.apache.hadoop.fs.fsdataoutputstream;
import org.apache.hadoop.fs.filesystem;
import org.apache.hadoop.fs.path;
import org.jsoup.jsoup;
import org.jsoup.nodes.document;
import org.jsoup.nodes.element;
import org.jsoup.select.elements;
public class sinanewsdata {
private static configuration conf = new configuration();
private static filesystem fs;
private static path path;
private static int count = 0;
public static void main(string[] args) {
parseallfile(new file(
"e:/heritrix-1.12.1/jobs/sina_news_job_02-20170814013255352/mirror/"));
}
public static void parseallfile(file file) {
// 判断类型
if (file.isdirectory()) {
// 文件夹
file[] allfile = file.listfiles();
if (allfile != null) {
for (file f : allfile) {
parseallfile(f);
}
}
} else {
// 文件
if (file.getname().endswith(".html")
|| file.getname().endswith(".shtml")) {
parsecontent(file.getabsolutepath());
}
}
}
public static void parsecontent(string filepath) {
try {
//用jsoup的方法读取文件路径
document doc = jsoup.parse(new file(filepath), "utf-8");
//读取标题
string title = doc.title();
elements descelem = doc.getelementsbyattributevalue("name",
"description");
element desce = descelem.first();
// 读取内容
string content = desce.attr("content");
if (title != null && content != null) {
//通过path来保存数据到hdfs中
path = new path("hdfs://localhost:9000/input/"
+ system.currenttimemillis() + ".txt");
fs = path.getfilesystem(conf);
// 建立输出流对象
fsdataoutputstream os = fs.create(path);
// 使用os完成输出
os.writechars(title + "\\r\\n" + content);
os.close();
count++;
system.out.println("已经完成" + count + " 个!");
}
} catch (exception e) {
e.printstacktrace();
}
}
}
|
以上这篇hadoop中实现java网络爬虫(示例讲解)就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持快网idc。
原文链接：http://www.cnblogs.com/1996swg/p/7368277.html
相关文章
- ASP.NET本地开发时常见的配置错误及解决方法？ 2025-06-10
- ASP.NET自助建站系统的数据库备份与恢复操作指南 2025-06-10
- 个人网站服务器域名解析设置指南：从购买到绑定全流程 2025-06-10
- 个人网站搭建：如何挑选具有弹性扩展能力的服务器？ 2025-06-10
- 个人服务器网站搭建：如何选择适合自己的建站程序或框架？ 2025-06-10
