robots.txt文件的写法

网站能不能被搜索引擎索引到,除了看有没有向搜索引擎入口提交、有否与其他站点交换链接等之外,还得看根目录底下的robots.txt文件有没有禁止搜索引擎的收录,这里摘录一些关于robots.txt文件的写法备忘。

什么是robots.txt文件
搜索引擎通过一种爬虫spider程序(又称搜索蜘蛛、robot、搜索机器人等),自动搜集互联网上的网页并获取相关信息。

鉴于网络安全与隐私的考虑,搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt,网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录,或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果该文件不存在,那么爬虫就沿着链接抓取,如果存在,爬虫就会按照该文件中的内容来确定访问的范围。

robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。

robots.txt文件的格式
User-agent: 定义搜索引擎的类型
Disallow: 定义禁止搜索引擎收录的地址
Allow: 定义允许搜索引擎收录的地址

我们常用的搜索引擎类型有:

google蜘蛛:googlebot
百度蜘蛛:baiduspider
yahoo蜘蛛:slurp
alexa蜘蛛:ia_archiver
msn蜘蛛:msnbot
altavista蜘蛛:scooter
lycos蜘蛛:lycos_spider_(t-rex)
alltheweb蜘蛛:fast-webcrawler
inktomi蜘蛛: slurp

robots.txt文件的写法
User-agent: *    这里的*代表的所有的搜索引擎种类,*是一个通配符 继续阅读

什么是robots.txt 及其使用用技巧及误区

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
   当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
   robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。
   语法:最简单的 robots.txt 文件使用两条规则:
   • User-Agent: 适用下列规则的漫游器
   • Disallow: 要拦截的网页
robots.txt使用误区
  
误区一:我的网站上的所有文件都需要蜘蛛抓取,那我就没必要在添加robots.txt文件了。反正如果该文件不存在,所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。
每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该做网站中添加一个robots.txt。   
误区二:在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取,这样可以增加网站的收录率。
网站中的程序脚本、样式表等文件即使被蜘蛛收录,也不会增加网站的收录率,还只会浪费服务器资源。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引这些文件。
具体哪些文件需要排除, 在robots.txt使用技巧一文中有详细介绍。   
误区三:搜索蜘蛛抓取网页太浪费服务器资源,在robots.txt文件设置所有的搜索蜘蛛都不能抓取全部的网页。
如果这样的话,会导致整个网站不能被搜索引擎收录。  
  
robots.txt使用技巧    继续阅读

恢复博客,庆祝一记

Tangkin 唐客. wp 重新恢复.一年来没再做更新. 因为空间问题,数据库文件丢失加空间关闭. 嘉佳的互联网环境就不多说了. 日后有空就在上面记录一下所见所闻所想.

国外设计类网站收集

发一些关于设计的东东 有空看看 :)

国外插画等形式美术网址
www.cquit.pt.vu/插画 摄影 等
www.lasperanza.com/
www.pileup.com/babyart/死亡娃娃
www.ewhite.com/index.html
www.celiacalle.com/
www.christinehaberstock.com/code/frameset.htm
www.claytonbrothers.com/
www.davegraphics.com/
www.debdrex.com/矢量插图
www.madreal.com/
dialspace.dial.pipex.com/town/walk/aeu91/rowan/
digitalart.org/综合艺术网站 有许多分类作品与连接 继续阅读

为官“六正”“六邪”

世人读书,都喜欢读开卷有益的书,更喜欢读既有益又有趣的书。西汉人刘向所著的《说苑》就是一部既启人心智,又趣味盎然的好书。人们评价此书可以急修身治国之务,启洞幽烛微之智,集诸子百家之说,汇先贤圣哲之论,抒警世策人之声,建平实通达之识。能够鉴往知今,继往开来。

作者刘向(公元前77年至公元前6年),原名更生,字子政,汉沛县人(今江苏沛县)。生前做过光禄大夫,是西汉末年著名的经学家、目录学家、文学家,著述很多。

刘向在《说苑·臣术》中谈到为官之道时,说,做大臣的是要掌握一定规则的。做事情不能专断,在原则问题上不能随便附和,不能随便打击同事抬高自己的地位,做事情要首先考虑对国家有没有好处等等。他据此把所有的官员分为12种,作为评判的标准,列为“六正”与“六邪。”

:D 六正:

一是,高瞻远瞩,防患未然,此为“圣”;

二是,虚心尽意,扶善锄恶,此为“良”;

三是,夙兴夜寐,进贤不懈,此为“忠”;

四是,明察成败,轻祸为福,此为“智”;

五是,克尽职守,廉洁奉公,此为“贞”;

六是,刚正不阿,敢争敢谏,此为“直”;

:evil: 六邪:

一是,安官贪禄,不务公事,此为“庸”; 继续阅读

做人之“十思”“九德”

十思,源于《贞观政要》之“君道”;九德,则出自《尚书》。
司马迁说“居今之世,志古之道,所以自镜也,未必尽同。”大意是:后世的人们认识历史上的事情,是作为一面镜子来看待,古今情形有所不同,但其根本的目的都是为了获得成功。十思九德,作为一种精神产品,在漫长的历史年代中受到上自在位皇帝、下至普通士人的推崇、重视,以至于规法、仿效,可见它的分量是很重的。这一点,当勿庸置疑。当然,时代发展至今,社会历史的内容已发生了根本性变化,但从管理学特别HR管理的借鉴角度看,仍然可以从中获得许多有益的启迪。

1、见可欲,则思知足以自戒:碰到自己所要迫切追求的东西,那就要考虑适可而止,以此来自律。
2、将有作,则思知止以安人:将要做某件事,那就要考虑到有必要时及时停止它,以使民众安定。
3、念高危,则思谦冲以自牧:时刻不忘高处不胜寒,那就要考虑谦虚做人,从而自我约束。
4、惧满溢,则思江海下百川:害怕自满,那就要有海纳百川般广阔的胸怀和度量。
5、乐磐游,则思三驱以为度:游乐的时候,那就要考虑到以三次狩猎为限度。
6、忧懈怠,则思慎始而敬终:恐怕懈怠的话,那就要考虑有始有终,慎重开始,认真结束。
7、虑垄蔽,则思虚心以纳下:担心受到蒙蔽,那就要善于虚心听取部下的意见建议。
8、想谗邪,则思正身以黜恶:忧虑谗邪影响,那就要考虑使自己行为端正,以去除自身不良的习性。
9、恩所及,则思无因以谬赏:想要给部属有所恩赐的好处,那就要考虑到不能没有缘由的乱用奖赏。
10、罚所及,则思无因怒而滥刑:要对某人有所惩戒,那就要考虑不能莫名发火,并滥用刑罚。

九德
1、宽而栗:宽大为怀,讲究原则。
2、柔而立:处世柔和,但有能力。
3、愿而恭:严谨恭敬,但不冷漠。
4、乱而敬:处乱不惊,做事谨慎。
5、扰而毅:外表柔顺,内心刚强。
6、直而温:性情率直,但很温和。
7、简而廉:不拘小节,简洁廉正。
8、刚而塞:外在刚健,内里充实。
9、疆而义:为人勇敢,有正义感。