二、从网页获取数据
以某网站首页（http://www.cntour.cn）为例，抓取首页首条信息（标题和链接），数据以明文的形式出现在源码中。在网站首页，按快捷键【Ctrl+U】打开源码页面，如图 3-2-1 所示。
图 3-2-1 源码页面
图 3-2-1 源码页面 （一）认识网页结构
网页一般由三部分组成，分别是 HTML（超文本标记语言）、CSS（层叠样式表）和 JScript
（活动脚本语言）。
1. HTML
HTML 是整个网页的结构，相当于整个网站的框架。带“＜”“＞”符号都属于 HTML 的标签，并且标签都是成对出现的。常见的 HTML 标签如下：
开始创建第一个 Web，打开记事本，输入：
输入代码后，保存记事本，然后修改文件名和后缀名为“Web.html”。运行该文件后的效果如图 3-2-2 所示。
图 3-2-2 运行效果
开始创建第一个 Web，打开记事本，输入：
输入代码后，保存记事本，然后修改文件名和后缀名为“Web.html”。运行该文件后的效果如图 3-2-2 所示。
图 3-2-2 运行效果 这段代码用到了网页制作的 HTML 语言，可自行修改代码中的文字，观察其变化。
2. CSS
CSS 表示样式，图 3-2-1 中第 11 行<link type=“text/css”>表示下面引用一个 CSS，在CSS 中定义了外观。
3. JScript
JScript 表示功能。交互的内容和各种特效都在 JScript 中，JScript 描述了网站中的各种功能。
如果用人体来比喻，HTML 语言建立了人的骨架，并且定义了人的嘴巴、眼睛、耳朵等要长在哪里。CSS 是人的外观细节，如嘴巴长什么样子，眼睛是双眼皮还是单眼皮，是大眼睛还是小眼睛，皮肤是黑色的还是白色的等。Jscript 则表示人的技能。
（二）网页的反爬虫机制
大部分的网站都有一个 robots.txt 文档，当然也有部分网站没有设定 robots.txt。对于没有设定 robots.txt 的网站，可以通过网络爬虫获取没有口令加密的数据，该网站所有页面数据都可以爬取。如果网站有 robots.txt 文档，就要判断是否有禁止访客获取的数据。
以某网站为例，在浏览器中访问如图 3-2-3 所示。返回代码的意思是禁止爬取任何数据。
