登录 | 地图 欢迎访问【UZ导航】
当前位置:网站首页 > 推荐 > Admin > 正文

用一个示例简单讲一下网站采集的的过程

admin 2020-09-15 51 浏览 0 评论

随着时代的发展,社会越来越信息快速化,所以信息更新非常的迅速,这让很多站长在更新自家的网站信息时,显得太浪费时间,该怎么办呢?那就是通过采集将别家的信息录入到自家网站的数据库中,这样做可能对网站的优化会有一定的影响,但这不是我们今天讨论的话题,今天就用一个示例简单讲一下网站采集的的过程
我们先来看下面的一个实例,这是客户的网站要求采集太平洋网站的新闻,代码如下图所示(附说明):
<?php
header("content-type:text/html;charset=utf-8");//

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);//将为一个CURL会话设置选项。CURLOPT_URL参数是你想要的设置, 这是你想用PHP取回的URL地址,$url是这个选项给定的值
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);//如果有证书的https的,除去https里面的s,此句非常重要,不可删除,否则带有https的站点将无法打开
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//所获的内容不输出
$data=curl_exec($ch);//将页面的内容赋于$data,即$data就是我们打开网页后的内容代码
$data=iconv('gbk', 'utf-8',$data);//防止中文的乱码,做转码处理
curl_close($ch);//关闭cURL 会话
咱们先打开太平洋新闻网,然后查看网页源代码,找到要采集的信息内容,截图下图:

1.png

根据上面的代码,我们可以写一个正则表达:
$path = '#<i class="lpic"><a href="(.*?)" target="_blank"><img width="200" height="150" src="//www1.pconline.com.cn/images/blank.gif" (.*?)="(.*?)" alt=""> </a>
</i>
<dl><dt><a href="(.*?)" target="_blank">(.*?)</a></dt><dd><span class="des">(.*?)</span><p class="info"><span class="channel"><a href="(.*?)" target="_blank">(.*?) </a></span><span class="date">| (.*?)</span></p></dd></dl>#is'; preg_match_all($path,$data,$arr);//正则匹配,其中$path是匹配的规则,$data是想要匹配的内容,$datapath给定正则表达式 的匹配结果并且将它们以flag指定顺序输出到$arr中.
$array = array();//初始化一个数组
foreach($arr as $k=>$v){
if($k==3||$k==4||$k==5||$k==6||$k==9){ //想要的参数有哪些
$array[$k] = $v;}}
if(!empty($array)){
$array = array_values($array);//重置数组key,让数组的key从0开始计算,也可以不重置,但不要弄错
}
/*
其中
$array[0] 是信息的图片绝对地址的数组
$array[1] 是信息链接地址的数组
$array[2] 是信息标题的数组
$array[3] 是信息列表简介的数组
$array[4] 是信息时间的数组
Print_r($array);根据输入的数组信息就知道如何把数据添加到数据库了,然后根据url再采集信息里面的详细内容,以达到采集整条信息的完整性
*/

相关推荐

申请注册域名需要注意的几点
申请注册域名需要注意的几点

域名是网站三大要素中不可缺少的一项,而且也是最重要的一项,因为无论你的网站上放的内容是什么,有没有用,你的服务器空间是国内还是国外,客户首先要的是输入你的网址,...

17小时前 admin

.GAY域名正式开放注册
.GAY域名正式开放注册

新兴通用顶级域名.GAY正式开放注册购买,每年大约342元人民币,不过需要注意的是,.GAY域名禁止有反对/诋毁同性恋意识的站长注册使用。了解到,作为一个新上线...

1天前 admin

字节跳动VS百度,打造搜索引擎

近日,有关人士称,今日头条与抖音的母公司字节跳动已经进入了搜索引擎市场,并且上线竞价广告新模式。然而之前,字节跳动仅仅是在小范围内做测试,其广告大多是信息流,并非属于营销流。这相对来说,给予用户极大的...

网站SEO最新优化方法,7个网站SEO的核心技巧
网站SEO最新优化方法,7个网站SEO的核心技巧

如果你是一个企业主,你有建立企业官方网站的经历,在2-3年的运营过程中,我相信你至少做过一次网站改版,甚至是SEO策略的大调整。理由非常简单:当我们刚开始建立公...

2天前 admin

现在我最喜欢的独立博客程序是ZBLOG

段时间写过一篇文章《三个主流的独立博客系统,哪个才是适合你的?》,文章中主要介绍了EMLOG、ZBLOG和Wordpress,看了那篇文章的朋友都觉得羽度非凡个人更偏向ZBLOG程序,这一点确实没错,...

2898流量交换平台:相互之间交换流量达到共赢!

2898流量交换平台:相互之间交换流量达到共赢!2898站长资源平台流量交换功能上线已久,可是还是有很多站长对于流量交换/流量联盟还是不太理解或是一知半解的状态,今日小编就特意给大家普及下何谓流量交换...

WiFi的2.4GHz和5GHz有何区别,应该如何选择?
WiFi的2.4GHz和5GHz有何区别,应该如何选择?

大家在设置路由器WiFi的时候经常会看到2.4GHz5GHz或者双频合一几个选项,很多朋友对此存在疑惑,今天小编就来针对这个问题来为大家破解这个迷思。先讲讲区...

5天前 admin

域名注册+域名解析、备案方法
域名注册+域名解析、备案方法

想要制作一个网站,域名是必不可少的。每个网站都有独一无二的域名,那么新手该如何注册、备案域名呢?下面就跟大家科普下几个关于域名的常见问题。1.域名注册能够注册域...

6天前 admin

制作网站后台的流程
制作网站后台的流程

网上有很多网站后台制作流程但我比较赞同的一种做法是:一、网站规划阶段二、后台模块划分、网站模板、网站设计和版面设计三、数据库设计四、后台程序编码五、除错、改进、...

1周前 (09-20) admin

虚拟主机怎么搭建?如何建立虚拟主机?
虚拟主机怎么搭建?如何建立虚拟主机?

虚拟主机怎么搭建?如何建立虚拟主机?要知道搭建网站是有三个要素的,分别是域名+空间(服务器,虚拟主机,云等)+网页程序。具备网站三要素后如何让网站运行起来呢?当...

1周前 (09-19) admin

什么是服务器?它的作用是什么?
什么是服务器?它的作用是什么?

一、什么是服务器?维基百科写到服务器指:①一个管理资源并为用户提供服务的计算机软件,通常分为文件服务器(能使用户在其他计算机访问文件),数据库服务器和应用程序服...

1周前 (09-18) admin

取消回复欢迎 发表评论: