织梦58搜索引擎抓取收录页面的过程

日期:2015-12-02 / 人气: / 来源:

搜索引擎对网页的收录是一个复杂的过程,简单来说,收录过程可以分为:抓取、过滤、建立索引和输出结果。下面和大家简单说一下这几个步骤,让你可以清楚你的网页从你发布之后是如何被搜索引擎收录并获得相关排名的。

 

1、抓取

网站的页面有没有被搜索引擎收录,首先要看一下网站的蜘蛛访问日志,看一下蜘蛛有没有来,如果蜘蛛都没有抓取,那是不可能被收录的。蜘蛛访问网站的日志可以从网站的IIS日志里面看到,如果搜索引擎蜘蛛没有来呢?那么就主动向搜索引擎提交,搜索引擎会派出蜘蛛来抓取网站,这样网站才有可能被尽快收录。

如果你不会分析网站的日志也没有关系,这里推荐爱站SEO工具包,将网站的日志导入到这个工具之后,就能看到日志的分析,你能从中得到很到信息。

广度优先抓取:广度优先抓取是按照网站的树形结构,对一个的层进行的抓取,如果此层没有抓取完成,蜘蛛不会进行下一层的搜索。(关于网站的树形结构,会在后续的日志中进行说明,在没有发布文章之后,在此会添加连接)

深度优先抓取:深度优先抓取是按照网站的树形结构。按照一个连接,一直抓取下去,知道这一个连接没有再往下的链接为止,深度优先抓取又叫纵向抓取。

(注意:广度优先抓取,适用于所有情况下的搜索,但是深度优先抓取不一定能适用于所有情况。因为一个有解的问题树可能含有无穷分枝,深度优先抓取如果误入无穷分枝(即深度无限),则不可能找到目标结束点。所以,深度优先抓取策略很多时候是不会被使用的,广度优先的抓取更加的保险。)

广度优先抓取适用范围:在未知树深度情况下,用这种算法很保险和安全。在树体系相对小不庞大的时候,广度优先也会更好些。

深度优先抓取适用范围:刚才说了深度优先抓取有自己的缺陷,但是并不代表深度优先抓取没有自己的价值。在树型结构深度已知情况下,并且树体系相当庞大时,深度优先搜索往往会比广度优先搜索优秀。

2、过滤

网站的页面被抓取了并不代表一定会被收录。蜘蛛来抓取了之后,会把数据带回去,放到临时的数据库中,再进行过滤,过滤掉一些垃圾的内容或者是低质量的内容。

你页面的信息如果是采集,在互联网上有大量的相同信息,搜索引擎就很有可能不为你的网页建立索引。有时候我们自己写的文章也不会被收录,因为原创的不一定就是高质量的。关于文章质量的高低,我会在以后的文章中单独拿出一篇来和大家详细讨论。

过滤这一过程就是一个去掉糟粕的过程,如果你的网站的页面顺利通过了过滤这一过程,说明页面的内容达到了搜索引擎设定的标准,页面会就会进入建立索引和输出结果这一步。

3、建立索引与输出结果

这里,我们把建立索引和输出结果合在一起进行说明。

通过一系列的过程之后,符合收录的页面之后会建立索引,建立索引之后就是输出结果,也就是我们在搜索关键词后,搜索引擎展示给我们的结果。

当用户在搜索关键词时搜索引擎就会输出结果,输出的结果是有顺序排列的。这些结果排序是根据一系列复杂的算法来排定的。比如:页面的外链,页面与关键词的匹配度,页面的多媒体属性等。

在输出的结果中,还有一些结果是通过抓取之后直接可以输出的,没有经过中间复杂的过滤和建立索引等过程。什么样的内容和什么样的情况下才会发生的呢?那就是具有很强的时效性的内容,比如新闻类的。比如今天发生了一件特大事件,各大门户和新闻源快速发出了关于事件的新闻,搜索引擎会迅速对重大新闻事件作出反应,快速收录相关的内容。

百度对于新闻的抓取速度是很快的,对重大事件的反应也比较及时。但是这里还有一个问题就是,这些发布的新闻如果有低质量的页面会怎么办?搜索引擎会在输出结果之后,仍然对这一部分新闻内容进行过滤,如果页面内容与新闻标题不符,质量过低,那么低质量的页面还是会被搜索引擎过滤掉。

在输出结果的时候,搜索引擎会多多少少会对搜索结果进行人工干预,其中以百度为最严重,在百度很多关键词的自然搜索结果中被加入了百度太多自家的产品,而且很多是没有考虑用户体验的,这也是百度被大家诟病的原因之一,有兴趣的朋友可以百度一个词看一下搜索结果,是不是百度自家的产品占据了太多的首页位置。

作者:


现在致电 0898-688989 OR 查看更多联系方式 →

足球比分,足球直播,天下足球,足球新闻,恒大足球,足球推荐,足球比赛规则,皇冠足球

NBA,NBA直播,NBA新闻,NBA总决赛,NBA季前赛,NBA全明星,NBA季后赛,NBA球队,NBA常规赛

sagdfsgfsdw.com   caipfddhfe.com 027novi.com 0737asn.com 11ppssbb.com
163website.com      3gg3gg.com  365itnet.com 11fff163.com  0576seoer.com 
assignmentshooters.com wzhtfm.com  fygLq.com  0719houe.com xinsoa.com
jnrdbz.com   qkaoyan.com kuxunLu.com yihaiquan.com upm168.com
hongxiangweiye158.com minghuim.com  tianyajituan.com njnLzx.com ahdsdq.com
yh-ss.com   xuandianhk.com drguoLu.com  cahuadi.com  Laobudao.com
gcxcgz.com   huiyawL-hongkong.com Lukebeauty.com sunhotspring.com  sh-chemistry.com
jidiaopeixun.com 5008qq.com  mtv11.com hgyuLe888.com  hzjsxL.com
dxgLr.com cnroma.com  ykxinxingj.com jnkuanye.com shjianzhenqi.com
cnywfy.com huaqi6.com  mygs2002.com wqt0755.com cqbogao.com
gxsfdxjj.com pengchengprinting.com dddd120.com fj-crjy.com 123onLinepharmacies
xuqingxuan.com chuangguo1278.com xinyuanhuojia.com apatcomm.com  pfsLjx.com
evoip88.com 3hh3hh.com 188jbblove.com georgiajonesLive.com afdeutschLandashop
ahLongguan.com beitema.com suprashoescom.com bafangshiye.com bmdian.com
Loubanwang.com hongyuanshuma.com LisseurstyLe.com czyhsw.com Lxqqqw.com
yumosy.com pzpai.com dr-shettLes.com czhaihao.com susiyuan.com
Lun302.com hznf1069.com baobei20.com zippofire.com bngdhjkrf.com
taecyeonchina.com hfchuangtong.com chubaiLi.com sh-quanshun.com kjkjhkjt.com
yichangqa.com 024nbk.com hongxinzc.com Longhuajumprope.com gfjrkfuh.com
gfjrkfu99.com aomenyinheyL.com changchunLawyers.com mysucaiku.com lhwrew.com
drz77.com meigaomeigw.com sh-tyn.com yinxiangzhuLin.com lhasm.com
gatorade10k.com yinqitouzi.com shoujiguishu.com lhaefeqf.com lhasm11.com
spb168.com worLdtearain.com cdpjsc.com lhdfgsagfdaq.com lhasm99.com
bjzhjd.com zdkj888.com LLyyff.com 258top.com eawzh.com
jb028.com cp5747598.com cp4253256.com Lhcp3463989.com Lhcp375474.com
cp57683234.com cp876868.com cp87078876.com Lhcp089789.com Lhcp34634.com
Lhcp6768868.com hyagrochemicaLs.com iotecho.com whsafs.com dygwcL.com
txjzx.com 54djcLub.com sichuan-kaianLin.com seaono.com khkyy.com
kj138138.com kj428428.com kj9820323.com kj467642.com kaijiang138138.com
kjiasda.com kj139139.com dsdsdsgfds.com cc-suv.com Lovexxn.com
zuoxuanroujian5.com 0755boren.com wzLjwh.com zryxf.com LiLinjie.com
dingpayy.com bjyLfk.com ghostshan.com cdutcu.com  taopiane.com
ertyoq.com sdtayifa.com mxtxwh.com cumtxzgL.com Lyiptv.com
booke365.com zjdqsz.com shjdtm.com zaoyunzz.com ygdeco.com
huaLian-ceramics.com kyd028.com xdh-gz.com hn-wiremesh.com depindichan.com
bosiLaite.com xinxianjiuye.com xinruicctv.com wkwbms.com zjyxpump.com
srcjzs.com gyjc-sh.com bodaosy.com syjtgfj.com zysxfiLm.com
shunkepcb.com chrysman.com ycshinam.com dgLbjd.com jszyhs.com
xuyisheng8.com 5xiangxiang.com wxgxm.com wxkdj.com fsxxm.com
wxgwb.com wxgtf.com 00779977.com be1737.com twmagichouse.com
smartpspconverter.com cominschina.com  57caicai.com cucdy.com a66688.com
fqzLzy.com dyyfjt.com betterLi.com thjL58.com fzjjf.com
hg0088ch.com 615703.com batadae.com 0791drinks.com  tywjcc.com
cLubhousesj.com zzdsjc.com cdxzjd.com jurentiandi.com tjhyxyfg.com
shtxwjg.com hf5777.com hLjLexus.com szbz160.com Lfyueruyi.com
csposuiji.com whhwyd.com 971499.com 5557966.com 5559388.com
5557288.com  yaxinfenghui.com wjzp8.com zt-tractor.com 5552166.com
5551766.com 5552866.com txj8.com 5553566.com 5551966.com
asmlhw.com 322580.com 25878888.com chenggonghu.com cqLieyingcs.com
wuxi-hc.com scrptz.com yhydLy.com answersrun.com bet1663523.com
sx141319.com csbzds.com deLimader.com bjmcdz.com baipunet.com
qx37672.com bLryLc58378.com Lovenuofu.com qdhypnosis.com zqLifes.com
smtqqq.com jiahaomj.com hongyunfsj.com shoppviLL.com 158moLd.com
oLhand.com cnLongdi.com chengkaokd.com gxhuadie.com cpgsdhwfswht.com
cpbjkc.com cpsscp.com bjkcssc.com bjkcok.com bjkcpk.com
mmy11.com ddcpk.com shjyauto.com jinshujianqieji.com shfengying.com
jjbaoan.com xxrLt.com ccpgov.com dean110.com wangsdaystar.com
qhdyymy.com 88ms88ms.com hnspecialty.com cpdsgs888.com warm-holiday.com
yuandiannet.com cdbzfw.com a0j2.com hemicaL1.com tjhksj.com
tzzstoyota.com hdfk91.com 1stLivenude.com zxhyjz.com  szyyxcctv.com
fxautoea.com zL-seafood.com xinmaonongke.com  fzbaoheng.com  zhongruijy.com
yuLepk518.com meiouwei.com  ludaogou.com cp6768665.com cp6789929.com
cp668449.com cp56789555.com cp567868.com cp456889.com cp456883.com
cp668448.com cp23423.com cp23478.com cp23499.com cp23466.com
cp56733.com cp67833.com huifeng08.com xhdjck.com hbchuangLi.com
ecidcs.com aipaihunsha.com jingtr.com yfnLs.com wxcis.com
sxdyz.com dgcsphw.com LygongLue.com shequn888.com taoqins.com
accountsuzhou.com chinaxianzhi.com cqwhzb.com xzLfqj.com 0797Ltw.com
webmoshou.com zzLisen.com 9179188.com xshandong.com jiushenfang.com
ywgszs.com bennettbanner.com haiquanbengye.com pinkuw.com gzdieLan.com
Laweiphoto.com goLog-tex.com xtguoLian.com 6thpark.com channeLwinLtd.com
LbLcfc.com wiremesh-mh.com Lhsjhc.com xcbe88.com daaihuLian.com
qbd668.com foobos.com chinaLygL.com sheshi19du.com gztxjnet.com
hg07a.com fcpingan.com xxxsys.com  dwarkaart.com ahxzLg.com 
Lhgydy.com ahbzsjgc.com goLdLeaf-co.com dfjinyang.com  hbyckc.com
icebk.com cxdsgroup.com  aginow.com  hainingsoLar.com 8007008.com
hya888.com yirenLove.com bjswxj.com 1006478.com njLianbang.com
wLmqgq.com uedbe17.com uedbe16.com  qdhjsw.com bcbjx.com 
zibowankang.com 018pingce.com dfspjxc.com  dkLzq.com shbaixingfLoor.com
ksgoodhouse.com  chinaxiangran.com oyunkasam.com czsmxs.com  Lfjuanzhiwake.com
zksyzx.com  zhengfeishipin.com cdLjjyfs.com fssLL.com pn-yq.com
jsxrh.com dobecn.com itodm.com bscc99.com dLyuying.com
dsqian.com taobaoihy.com chinayinzhou.com uedbet41.com uedbet37.com
uedbet43.com uedbet17.com uedbet40.com uedbet46.com uedbet15.com
geiLixiaoshou.com sanfenghb.com  vivento-web.com niubeibeibeijing.com weiLang-china.com
zhenyouguqi.com 302059.com  Liang93.com huandanmei.com aoxiangfc.com
pzckc.com 023dibang.com 397095.com cs-daqing.com yuandayiyuan.com
wufenggangxs.com  tombstonebuy.com 91xiaoqiang.com cn-jienuo.com gzjued.com
jingshihai.com yuhuzhifu.com cz-deLai.com  Lksysy.com xzsmouLd.com
8987655.com   xiangzaozhi.com chuangtian-group.com 168ejia.com wnq365.com 
uedbet51.com hisunair.com 397205.com shhongyunwx.com ynjgzc.com
5566qj.com dekerL.com jianLivip.com moLLaji.com aisbei.com
xiandangaosudi.com qingmei520.com 55642.net m22y.net mcaq.net
997665.net 882375.net 776363.net hzwanfeng.net tangshihuagong.net
gfgreen.net aoohu.net shenbbs.net 0003c.com sxsy9.com
shenyangsteeL.com nbsanfeng56.com  Lianyins.com  zjL365.com mensao1.com
cmm2018.com  synet123.com Lf1234.com zhongyuanzhixiao.com guanfangwangzhan.net
sthybjgs.net szzhongchuang.net csszy.net 9981shop.com yuanzhongLu.com
mingshenms88.com whxinshengda.com 022zhongLiu.com topinterpretation.com ngitek.com
petadu.com napsuu.com zibojia.com Leztouch.com yumisto.com
yeLene.com kpdprofs.com juskune.com zoeqcmnt.com zenbyday.com 
xzrtL.com sddingyue.com ybavm.com jkqphow.com zxface.com
zurinoir.com Lefcbd.com yktLytf.com hapuhome.com femoLcom.com
yanapat.com oyesongs.com nLstec.com hnLyfireworks.com tjwanju.com
aiditongLian.com yongshunmenye.com jLfinery.com gfwdp.com dhocL.com
nanfanghangkfvh.com wenkudoc.com Lqbzjx.com jxzhengLian.com mmwuLiu.com
chuangxinchuchen.com  daxixiachuangtan.com zhengfengtooLs.com zanvisa.com fuyuanshanxie.com
pc0539nj.com dgaLm888.com jsjxzd.com ghdpgc.com dgrjzzs.com
jxyaofa.com  ccsssgL.com byjhuishou.com miaodemao.com ddsjbw.com
hbyyfy.com tianfa88w.com xjmingjiu.com mumingjiaju.com hhtdoor.com
dgdeyusj.com zggsbgg.com 345999com.com fengziwenhua.com shLf365.com
cnruidi.com bzgdLjq.com shrLbj.com shiyanxianghuaxia.com zhaomingdengju.com 
stiLLmanbLades.com  cnyxpx.com sitedesexegratuit.com  discake.com oinnia.com
gzhfmy.com cztcLight.com cctshz.com wanhuistone.com fsjssL.com
ksscps.com xzjfgm.com shtangwei.com gzjiufeng.com Lftongtai.com
fjqLk.com tLwjjx.com njzx123.com yiguanghuaLang.com newbornfLoor.com
ruijiwangLuo.com  zeshengcity.com tjxhgc.com freewwpLans.com nbLianmeng.com
jademenegueL.com gzpaiking.com egLencesenin.com dpqjrb.com faskefoods.com
dongLiandianzi.com mengjimanao.com 023yyjz.com hawaiicrs.com imssmartpower.com
moLLygeiger.com kaiyuandianti.com uiLs.net  100cms.net jxsxzp.com
Liangfengjj.com justonechem.com bbradar.com jinanguoyi.com caddude.com
bbhengda.com jiuhtx.com zhifansujiao.com tLyzhzs.com bLxxLj.com
wssfscc.com kaihuibaozhuang.com shengmingstone.com hnmindong.com achsz.com
Lhgydy.com 840155.com