明盘500找大佬帮我用C或Java写一个爬虫工具

屁眼儿 · 发表于 2020-5-1 18:17:11

学校的作业，要求不用任何library库，尤其是web/http/html-related库，所有代码都要自己写。

这是需要抓取的网站：http://comp3310
(去掉)
.ddns.net:7880
纯HTML页面，没有CSS也没有JS。

代码需要返回以下信息：
1. 所有URLs的总数波阔error和redirects
2. 网站中html页面和非html页面的总数（如图片）
3. 最大和最小的html页面和他们的大小
4. 最旧和最新的html页面
5. 所有404 RULs的list
6. 所有重定向的RULs
7. 站点外的URLs以及这些链接是否有效

夏生啊 · 发表于 2020-5-1 19:00:09

有轮子不让用，老师失了智

Mr. · 发表于 2020-5-1 20:18:04

C#的话可以做，JAVA其实也不难

yinux · 发表于 2020-5-1 20:22:00

Python可以吗

屁眼儿 · 发表于 2020-5-1 18:20:28

yinux 发表于 2020-5-1 18:20

Python可以吗
不行啊，只能是C或者Java，并且不用任何外部库

Kimiato · 发表于 2020-5-1 18:21:45

不用外部库写有点麻烦啊

ByteCat · 发表于 2020-5-1 18:20:00

用csharp或java还不让用第三方库写爬虫……我把头给你拧下来……如果用java可以用okhttp之类的库的话我考虑一下

揽月 · 发表于 2020-5-1 18:22:40

HttpConnection这些能用不？

JOSH · 发表于 2020-5-1 18:22:54

水逼~ 不用库写个毛线

屁眼儿 · 发表于 2020-5-1 18:24:22

揽月发表于 2020-5-1 18:24

HttpConnection这些能用不？
这是外部库吗？如果是Java自己的库应该可以的

		自动登录	找回密码
密码			立即注册