我想从网页的数字序列中提取链接，如下所示：
http://example.com/page001.html
http://example.com/page002.html
http://example.com/page003.html
...
http://example.com/page329.html
我想要的输出是一个文本文件，其中包含从这些页面上的链接收集的URL：
http://www.test.com/index.html
http://www.google.com
http://www.superuser.com/questions
明确地说，我不想下载页面，我只想要链接列表。
Windows软件是个主意，但Linux也可以。我所能想到的就是用Xidel写一个很长的批处理脚本，但是遇到错误时它并不是很健壮。Curl可以下载页面范围，但是随后我需要以某种方式解析它们。
感谢Enigman让我走上正确的道路。我创建了一个Perl脚本，该脚本从文件中读取URL并吐出与$ site中存储的字符串匹配的链接：
use warnings;
use LWP;
$site = "twitter.com";
my $browser = LWP::UserAgent->new;
my @ns_headers = (
'User-Agent' => 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36',
'Accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Language' => 'en-GB,en;q=0.8',
);
open (URLLIST, 'urls.txt');
while (<URLLIST>) {
chomp;
print "# $_\n";
my $response = $browser->get($_, @ns_headers);
die "Can't get $_ -- ", $response->status_line
unless $response->is_success;
my @urls = $response->content =~ /\shref="?([^\s>"]+)/gi ;
foreach $url(@urls) {
if ($url =~ /$site/) {
print("$url\n");
}
}
}
close(URLLIST);
为了生成URL列表，我制作了一个批处理脚本：
@echo off
for /l %%i in (0, 15, 75) do @echo http://www.example.com/page_%%i.html
Perl脚本只是在出现错误时停止，我更喜欢。对其进行修改以继续进行将是微不足道的。由于某些网站不喜欢任何看起来像机器人的东西，因此从Chrome剥夺了用户代理和接受数据的权限。如果您打算扫描不属于您的网站，请尊重robots.txt并设置自定义用户代理。
如果您想使用代码来执行此操作，则可以使用LWP :: Simple或Mechanize模块在Perl中进行操作。
使用LWP :: Simple模块从网页中查找所有链接后，可能会有以下内容：
假设您对使用Perl的命令行解决方案感到满意。这在Windows和Linux平台上均相同。无需多做修改就可以从命令行中将URL作为参数进行解析。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句