维基百科对大多数人来说已是再熟悉不过的了。我们使用维基百科就像在Google上搜索信息一样频繁。也许我们每个人都梦想着把维基百科下载下来，作为一种可以随时随地离线查询的免费信息资源。
想象一下你被困荒岛，孤立无援，随身只有一台锈迹斑斑的笔记本电脑。好吧，删掉“吉利根岛”的情节，来设想一个更加现实的无法与网络连接的环境。你大概有些头绪了吧？在这里介绍几种离线浏览维基百科的工具，相信你迟早用得上。
维基媒体基金会曾经基于这种需要，推出了一个离线版的维基百科。英文版的维基百科以CD光盘（或一个ISO镜像文件）的形式出版，包含了大约2000页的内容。但你得为此支付13.99美元。
我们之中喜欢免费资源的人们就不得不多花点工夫和网络流量了。不要灰心，以下4中免费工具可以帮助你下载维基百科。这样一来，无论何时何地你都可以体验知识带来的乐趣了。
I. WikiTaxi（适用于Windows）

所有已下载的页面都会保存在WikiTaxi数据库中。WikiTaxi利用压缩技术来缩小数据库的体积。例如，巨大的英文维基百科数据库经压缩后可以轻易地保存在一块8GB的记忆棒中。WikiTaxi无须安装，它本身就是一个可实行程序。下载数据的过程会显得有些漫长，因为你必须从维基百科的网站上下载包含维基完整内容的XML数据库（最大是英文维基的数据库，有3.5GB）。
将XML格式的数据库导入WikiTaxi Importer，获得适用于WikiTaxi的数据库，即可进行离线浏览。维基数据库每隔几周就要进行更新，你也得上网获取最新版本的数据库。
II. Zipedia（适用于Windows）

Zipedia是火狐浏览器上一款用于离线浏览的插件。Zipedia的官方网站上称这款插件是“穷人的选择”。但即使你以前没听说过它，Zipedia仍然值得你尝试一下。你同样需要下载维基百科的数据库。Zipedia无需借助任何外部数据库软件，只需配合火狐浏览器使用。这款插件适用于火狐浏览器2.0至3.0+各种版本。想离线搜索维基百科时，只要在浏览器地址栏键入wikipedia://wiki/加上你想查询的内容。
III. Wikislice（适用于Windows）

Wikislice是一款应用程序，可帮助用户收集整理指定主题和门类下的维基百科条目。Wikislice正如其名，帮助你下载最有用的一部分（slice）信息并且方便地进行离线浏览。Wikislice由一款在线工具个一个桌面软件组成。只要在搜索框中输入感兴趣的主题，Wikislice就会罗列出与之相关的信息，既可在线浏览也可下载。
Wikislice的使用步骤：
1.键入你搜索的条目，然后点击“GO”
2.页面上会显示此条目的详细信息和其他相关条目（可进行更小范围的搜索）
3.前5个页面显示前50个条目
4.如果页面少于2000个，就可以单独下载这部分维基百科
5.可以用Webaroo这款软件查看已下载的页面。Wikislice会检测你的电脑是否安装该软件，如果还未安装，则会提示你下载并安装。
Wikislice主页上提供了简单的幻灯片来指导我们使用：http://wikislice.webaroo.com/slideshow
IV. 口袋维基（适用于Windows，Linux和掌上电脑）

口袋维基是一部精心挑选，认真编辑的维基百科精 选集，它包含24000张图片和1400万单词，简直就是一部15卷的大部头百科全书（大英百科全书包含4000万单词和24000幅图片）。所有这些都 囊括在一个可免费下载的ZIP文档里。这款软件有一点与众不同，条目中的插图与文字一个不少，就像原汁原味的维基百科。但口袋维基并未收录全部的维基百 科，只包括了重要的条目以便随时作为参考。

目的
经过了11月初短暂的几天恢复之后，又访问不了Wikipedia了。其实我们可以想办法架设一个Wikipedia的本地镜像，反正自己私下看不犯法（真的么？）。

本文试图总结架设Wikipedia镜像的过程。

准备工作
首先需要安装Mediawiki软件，以及Mediawiki所依赖的软件，Apache，Php5，Mysql等，这里就不详细讲解了。对于懒人，有两个选择：

第一是安装Debian[1]，这样apt-get install mediawiki就可以完成软件的安装。

第二是下载VMWare Player[2]和一个预安装Mediawiki的虚拟机[3]。

其次需要安装Java[4]，因为导入数据的工具[5]是用Java实现的。

然后是硬盘，如果是英文wikipedia[6]，需要准备大概10G的空间，如果是中文[7]，需要1G左右的空间。注意Mysql数据库文件(典型的安装会使用/var/lib/mysql这个目录)所在的分区应具有足够的空闲空间。

最后，也是最重要的是，想办法下载wikipedia的数据文件，由于数据文件的网站[8]，和导入数据文件的工具及其使用说明[9]都被封锁，这个就得自己想办法，各显神通了。由于数据文件很多，记得我们需要的文件名字看起来像是：

enwiki-20061130-pages-articles.xml.bz2 [10]，
或zhwiki-20061130-pages-articles.xml.bz2 [11]

另外，在制作镜像的过程中，需要对Apache的配置[12]、Mysql的管理[13]和Php[14]有一个简单的了解。

假设我们想要镜像英文Wikipedia，那么准备工作完成之后，我们有一个安装好了Mediawiki，以及下面两个文件：

数据文件：enwiki-20061130-pages-articles.xml.bz2

导入工具：mwdumper.jar [5]

初始化Wikipedia
安装Mediawiki软件后，需要完成初始化配置。建立镜像的初始化的过程和安装一个新的Wikipedia没有什么不同。我们假设初始化使用以下的参数：

Mediawiki的URL：http://localhost/mediawiki

Mediawiki的安装目录：/var/www/mediawiki

Mediawkik的配置文件位于/var/www/mediawiki/LocalSettings.php

Mysql数据库为wikidb，用户wikiuser，密码123456

清空数据库
初始化过程不但建立了Wikipedia所需要的数据库Table，而且还加入了一些初始记录。为了导入Wikipedia的镜像数据，我们需要首先清空数据库的部分表格。

下面的内容基本参考自某人的镜像过程[15]：

$ mysql -p wikidb
Password: ******
mysql> delete from page;
mysql> delete from revision;
mysql> delete from text;
配置mysql
数据倒入过程会使用很长的SQL语句，以及生成大量数据库的Undo记录。所以需要事先对mysql数据库进行配置。先编辑/etc/mysql/my.cnf，在合适位置加上下面内容：

[mysqld]
max_allowed_packet = 128M
innodb_log_file_size = 100M

[mysql]
max_allowed_packet = 128M

重启动mysql
# /etc/init.d/mysql restart
导入数据
用下面的命令倒入数据，大概需要1天的时间才能全部导入完毕。导入完毕之后，这个Wikipedia镜像就可以使用了。

java -Xmx600M -server -jar mwdumper.jar –format=sql:1.5
enwiki-20061130-pages-articles.xml.bz2 | mysql -u wikiuser -p wikidb
可选：清空Undo日志
导 入过程不但会生成10G的数据库文件，也会生成大约10G的Undo log，检查你的Mysql数据库的日志目录(典型的值是/var/log/mysql)，及该目录所在的分区，注意不要把分区写满。导入过程中，我们如 果发现即将写满分区，可以用Mysql的管理命令清空Undo日志(需要用mysql超级帐号登入)。

$ mysql -u root reset master;

可选：修复数据
导入过程中可能会有一些数据表出错，包括pagelinks，templatelinks，page表，我们可以在导入数据完成后，用mysql的修复命令：

$ mysql -p wikidb
mysql> repair table pagelinks extended;
mysql> repair table page extended;
mysql> repair table templatelinks extended;

修复过程可能会很慢，耐心等待。

安装扩展项
此时，虽然可以访问Wikipedia，但很多页面的部分内容不能正常显示，这是因为Wikipedia依赖很多mediawiki的扩展项才能够正常工作，而这些扩展项默认不会安装。Wikipedia所需的全部扩展项详见官方文档[16]。

首先检查是否安装Subversion，然后需要突破封锁下载到mediawiki extensions。

$ svn co -r REVISION \
http://svn.wikimedia.org/svnroot/mediawiki/trunk/extensions \
~/extensions

其中REVISION是你所安装的Mediawiki软件对应的版本号，如果是mediawiki1.7，则将REVISION替换为15387，如果是其他版本的mediawiki，自己查。

虽然官方的Wikipedia使用很多扩展，但如果只想完成Wikipedia镜像，我们只需要关心少数几个扩展。下面的命令把这些extension安装到/var/www/mediawiki目录里。

$ cd ~/extensions
$ mkdir /var/www/mediawiki/extensions/ParserFunctions
$ cd ParserFunctions
$ cp Expr.php ParserFunctions.php
/var/www/extensions/ParserFunctions
$ cd ..
$ cd Cite
$ cp Cite.php Cite.i18n.php
/var/www/mediawiki/extensions/
$ cd ..
$ cp -a CategoryTree/ /var/www/mediawiki/extensions/
$ cp -a wikihiero /var/www/mediawiki/extensions/$ find -name .svn | xargs rm

然后编辑配置文件/var/www/mediawiki/LocalSettings.php，追加以下内容：

require_once(“$IP/extensions/ParserFunctions/ParserFunctions.php”);
$wgUseTidy=true;
require_once(“$IP/extensions/Cite.php”);
$wgUseAjax = true;
require_once(“$IP/extensions/CategoryTree/CategoryTree.php”);
require_once(“$IP/extensions/wikihiero/wikihiero.php”);

这时应该可以正常显示大部分的Wikipedia页面了。

显示数学公式
安装完扩展项之后，应该可以正常显示大部分页面，但还有一些带有数学公式页面无法显示。Mediawiki内置了对数学公式的支持，但是需要系统已经安装有Latex等相关软件。

在Debian系统中，确信已经安装tetex-bin，ghostscript，imagemagick，mediawiki-math这几个package。其他系统请自行安装相应软件。

编辑配置文件/var/www/mediawiki/LocalSettings.php，追加以下内容：

$wgUseTeX=true
这时所有的数学公式应该都可以正常显示了。

可选：全文搜索
建立Wikipedia所需的所有工作到这里基本完毕，只是目前搜索功能只能完全匹配标题，如果需要全文搜索功能，还需要重新建立全文索引。索引的过程不但非常非常慢（几天到一周），而且数据库占用的磁盘空间会从不到10G膨胀到将近30G。

如果还是希望有全文搜索功能，参见[15]的最后一部分，这里就不详细叙述了。

目的

自己装一套 wikipedia （维基百科），能随时查阅需要的信息。不过这是只有文本的wikipedia 。

安装条件

• mysql+php+apache
• 要有mysql root 权限。
• webroot 目录的读写权。

安装过程

1. 先装wiki的平台软件 mediawiki。
   • 软件是 mediawiki.org 提供的，想办法下载个最新版本。
   • 展开到你的webroot目录下，看一下 INSTALL 文件
   • 为你的php 装上 eaccelerator 。
     • mediawiki 如果有了 php 加速的话将使得响应速度提高3-4倍。mediawiki 可以支持的加速器有 eaccelerator,mmcache 等，不过eaccelerator 是mmcache基础上的一个活跃的分支（有人维护和挺进版本），而且他有支持php5的版本(0.95beta2)。所以，我选择用 eaccelerator。它对php的加速主要是通过把php编译后的可执行代码cache在内存中而实现的，还有就是通过优化源代码来实现。
     • 以下是安装 eaccelerator过程中要注意的：
       1. 看README
       2. make install 之后，注意下反馈的提示，那是你的eaccelerator.so文件装的位置。
       3. 根据 eaccelerator.so 所在目录名，确定 php.ini中 写法：例如 …/no-debug-zts-20050922/eaccelerator.so ， zts 表示 zend thread safe, 那么 php.ini 中调用语法就是: zend_extension_ts=”/usr/local/lib/php/extensions/no-debug-zts-20050922 /eaccelerator.so”如果是 ../no-debug-non-zts-20020429/eaccelerator.so non-zts 就是没有。那么 php.ini 中调用语法就是：zend_extension=”/usr/local/lib/php/extensions/no-debug-non-zts- 20020429/eaccelerator.so”。
       4. 命令行 php -v 试一下，一般会有个
          “with eAccelerator v0.9.5-beta2, Copyright (c) 2004-2006 eAccelerator, by eAccelerator。”那就是装上了。webserver 重起一下，phpinfo(); 中将看到更多 eAccelerator 的信息。那就是装成了。
       5. 想关闭 就把 zend_extension_ts= … 屏蔽掉。
       6. 如果命令行下 php -v 时候，出了这么个东西：cannot restore segment prot after reloc: Permission denied 。那是你的系统的/selinux(secure linux)对share lib的保护在起作用，只要 运行：chcon -t texrel_shlib_t xxxxx.so 注册一下就行了。
   • 接下来在安装wiki的时候，mediawiki会发现 eaccelerator(对支持php5的eaccelerator 0.95bate2,wiki认不出来，不过没关系，效率还是同等的提高了），那么请在配置时把加速模块选择为eaccelerator。
   • 选择语言时，一定要选 “中文（zh）”, 而不是 “中文简体(zh_cn)” ,因为wiki数据是简繁体条目混在一起的。选错了，就看不到繁体的条目了。
   • 选择完后，点确认，会生成个文件 webroot/config/LocalSettings.php ,把它move 到 webroot/下就完成了安装。
   • 参考资料：INSTALL 文件
2. 从 http://download.wikipedia.org 导入你所需要的wiki数据。
   • 中文的wiki百科在 zh_wiki/中
   • 以下说明了其中各组数据的含义：
     The format:
     * pages-articles.xml
       o Contains current version of all article pages, templates, and other pages
       o Excludes discussion pages (‘Talk:’) and user “home” pages (‘User:’)
       o Recommended for republishing of content.
     * pages-meta-current.xml
       o Contains current version of all pages, including discussion and user “home” pages.
     * pages-meta-history.xml
       o Contains complete text of every revision of every page (can be very large!)
       o Recommended for research and archive
   • 所以，一般选择 pages-articles.xml 下载就行了。它是bz2文件，用bzip2 -d “文件名” 打开，最后会得到个 “.xml”。
   • 在继续下一步之前，完成以下工作：
     • cp php.ini php-cli.ini ，这样“命令行”执行php代码时，自动使用 php-cli.ini 的配置信息。
     • 把 php-cli.ini 中的

       max_execution_time = 30  ; Maximum execution time of each script, in seconds

       memory_limit = 8M  ; Maximum amount of memory a script may consume (8MB)

     这两行改高一点，不妨设 300/ 80M ， 这样保证长时间命令行运行不出事。

   • 用 webroot/maintenance/importDump.php “那个.xml” 导入数据库，一个zh_wiki 一般要导好几个小时。可以： nohup php importDump.php xxx.xml & 挂在无终端后台去run.
   • 之后，运行 webroot/maintenance/refreshLinks.php ，这是为了重建wiki数据之间的相互关联，这个时间更长，所以也挂后台。

3.其他

1. 修改你的wiki首页，可以选择转向到适当的页面，不过最简单的方法是，copy zh.wikipedia.org的首页内容。
2. 这样一个文本的wikipedia就好了，不过没有图片。我也看了资料，好像wikipedia.org目前没有提供对图片的dump. 只能凑合用了。
3. 参考文献：http://meta.wikimedia.org/wiki/Data_dumps

wikipedia的使用

1. 普通使用，看wikipedia页面上的 “帮助”
   例：
   • 在 web上访问 http://site-url/index.php/MediaWiki:Monobook.css, 然后 “编辑”这个条目，把别的wiki网站的copy过来，你就有了一个新的缺省页面样式（皮肤）了。
   • 要 想重订向,就 #REDIRECT [[where to be go]] , eg.#REDIRECT [[Documentation:Administration#Updating_the_software]] 注：#Updating_the_software 是个锚。

1. 系统调整，要修改 LocalSettings.php

   例：

   • 如何修改主页左上角的标徽图？
     修改 $wgLogo 变量。
   • 如何改变浏览器地址栏中的网站小图标？
     MediaWiki 会用网页中输出指向传统/favicon.ico的链接，即网页默认图标。如果想用独特的图标，可修改/includes/Skin.php文件，将 ‘href’ => ‘/favicon.ico’改为’href’ =>’/path/to/your/favicon.ico’即可。
   • 如何完全锁定数据库？
     在 LocalSettings.php中设置$wgReadOnlyFile指向锁定信息的文件名，并在文件中书写锁定原因，此后试图编辑wiki文本时就 会显示这个提示。注意这个操作并不能绝对保证安全；如果需要完全禁止MediaWiki写入数据，需要在数据库上进行设置（例如禁止wiki用户进行 UPDATE,INSERT,DELETE操作，或者将MySQL设为只读模式）

参考资源：http://www.allwiki.com/wiki/Mediawiki%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98%E8%A7%A3%E7%AD%94 http://meta.wikimedia.org/wiki/Documentation:Administration

维基百科的页面分类明确，术语密集；且易于提取关键字。这样的数据对于文档分类器的训练是非常优质的。此外对应的访问日志也可以辅助统计不同页面/ 分类的访问热度，为不同分类的计算资源分类提供依据。今天刚刚把wikipedia的数据导入mysql数据库，将过程一贴以求记录（以英文enwiki 为例）：

页面格式

维基百科上的每个主题页面（article page）都有一个或多个明确的分类（category）。其中页面的访问地址可通过其标题（article）拼接前缀获取到；分类信息则位于页面底部，并可通过指定页面获取其在分类树中的层次及与其它分类的从属关系。

举例说明：

页面（或称主题）Guangzhou在enwiki中的URL为：http://en.wikipedia.org/wiki/Guangzhou。其中Guangzhou之前为其前缀；

在该页面底部有如下结构：

Categories: 214 BC establishments | Guangzhou | Provincial capitals in China | Sister cities of Kota Kinabalu | Sub-provincial cities in the People’s Republic of China | Treaty of Nanking

这就是页面的分类信息。该页面同时属于六个分类，或说同时拥有六个分类标签。每个分类都可能代表了一个“分面”。

维基百科的分类树可以通过如下页面获得：

http://en.wikipedia.org/wiki/Portal:Contents/Categories

或 http://en.wikipedia.org/wiki/Portal:Contents/Categorical_index

其中的每个分类都拥有属于自己的页面或子分类；没有空分类（无页面且无子分类）。

这样，通过获取页面底部的分类信息，即可利用分类树获得该页面所属的任意一个上层分类，也就完成了一个树状的分类体系。

数据导入

维基百科的所有页面数据及其访问日志均对外开放，遵从CDDL。其中的一些资源可以通过如下途径获取：

静态页面存档（每次存档间隔较长，因此一般较陈旧）：http://static.wikipedia.org/

数据库备份（备份频率高，一般比较新）：http://download.wikimedia.org/backup-index.html

以上的数据均包含各种语言版本，可以在下载时选择。

页面访问日志1（较新的版本）：http://dammit.lt/wikistats/

页面访问日志2（存档版本，从07.12开始，该页面包含格式说明）：http://www.archive.org/details/wikipedia_visitor_stats_200712

日志1是domas mituzas（貌 似一个教授）导出的日志记录。记录操作每小时一次，因此最新日志列表中的每个文件代表了其文件名所示一小时内的记录。另有连接指向近期的日志存档文件，* 每年的最后一秒钟的访问会存储于一个单独的日志文件中；日志2是该机构上传至archive.org（需翻墙）上存储的叫长时间之前的日志存档，始于 2007年12月。

MediaWiki（网站系统）：http://www.mediawiki.org/wiki/Download

这是通过WWW访问镜像数据库的必须工具。

数据库备份的导入过程如下：

0. 配置一台LAMP服务器；

1. 下载MediaWiki并存储于Apache HTTP Server工作目录中（我将其命名为wikipedia）；

2. 通过浏览器访问该服务器上MediaWiki所在位置，如http://[MY IP]/wikipedia，并根据页面显示内容配置系统、填写数据库信息。配置完成并提交后，如果显示MeidaWiki的默认页面，表示配置成功。下面即可导入数据了；

3. 参照备份页面的说明下载数据库备份（我下载的是enwiki的article、category和categorylinks）；

4. 参照页面（http://meta.wikimedia.org/wiki/Data_dumps#mwdumper），选用工具进行数据导入。我选用了mwdumper。注意：mwdumper仅支持原始xml文件和bz2压缩格式。对于gzip压缩格式的文件，需要自行编写gzip解压接口或预先将文件解压。

mwdumper下载位置：http://svn.wikimedia.org/svnroot/mediawiki/trunk/mwdumper/

下载后将其打包生成jar文件，并参照mwdumper说明页面（http://www.mediawiki.org/wiki/MWDumper）进行操作。这里还需要注意的一点是：我在进行导入的时候，mysql抛出了如下错误：

ERROR: no database set.

这样即便mwdumper运行完毕，也无法成功导入。因此需要将mwdumper说明页面的命令稍作更改，以在连接mysql的时候就直接选择数据库（数据库名以enwiki为例）：

如：java -jar mwdumper.jar –format=sql:1.5 pages_full.xml.bz2 | mysql -u<username> -p<password> -D<databasename>

==>java -jar mwdumper.jar –format=sql:1.5 pages_full.xml.bz2 | mysql -uroot -p123456 -Denwiki

这样即可将指定备份导入数据库了。

5. 导入完毕后，可以打开MediaWiki首页，点击导航栏的Random Page，即可打开一个随机的页面。如果成功转向该随机页面，表明已经导入成功了。或直接通过mysql命令查询page表的记录数，应为一个较大的值（数M级别）。

link：http://hi.baidu.com/thinkdifferent/blog/item/9b8438012160541c7bec2cbb.html

1、安装LAMP

sudo aptitude install apache2

sudo aptitude install mysql-server

sudo aptitude install php5

sudo aptitude install php5-mysql

sudo aptitude install php5-cli

sudo aptitude install libgd2-xpm libgd2-xpm-dev php5-gd

2、配置php、mysql

sudo gedit /etc/php5/apache2/php.ini

upload_max_filesize = 8M

memory_limit = 12M

extension=mysql.so

sudo gedit /etc/mysql/my.cnf

max_allowed_packet = 128M

3、安装MediaWiki

cd /var/www

sudo wget http://download.wikimedia.org/mediawiki/1.12/mediawiki-1.12.0.tar.gz

sudo tar vxfz mediawiki-1.12.0.tar.gz

sudo mv mediawiki-1.12.0 wiki

cd /var/www/wiki

sudo chmod a+w config

4、配置MediaWiki

去配置：http://localhost/wiki

不要加表前缀

sudo mv config/LocalSettings.php .

sudo rm -rf config

5、下载Znwiki和导入程序

http://download.wikimedia.org/zhwiki/20080407/zhwiki-20080407-pages-articles.xml.bz2

http://download.wikimedia.org/tools/mwdumper.jar

6、清空数据库，以便导入

mysql -p wikidb

Password: ******

mysql> delete from page;

mysql> delete from revision;

mysql> delete from text;

7、导入

java -jar /home/(你的用户名)/mwdumper.jar –format=sql:1.5 /home/(你的用户名)/zhwiki-20080407-pages-articles.xml.bz2 | mysql -u (表管理员) -p (库名)

例：

java -jar /home/antares/mwdumper.jar –format=sql:1.5 /home/antares/zhwiki-20080407-pages-articles.xml.bz2 | mysql -u root -p wikidb