序号网址备注1 https://chi.jinzhao.wiki/wiki (中文版) https://en.jinzhao.wiki/wiki/Main_Page (英文版) 支持多种语言。已被封2https://wiwiki.kfd.me 已被封3https://zwiki.liuxfe.com 已被封4https://www.wanweibaike.com部分内容进行改编以符合中国大陆政策。已被封英文…

通过Python获取维基百科中概念词条的维基信息 维基百科作为全球网络上最大且最受欢迎的参考工具书目前已被许多自然语言处理方面的研究人员所青睐，并将其视为优质的语言资料来源。大多数情况下，我们获取维基百科信息是通过其提供的数据库（ht…

今天写一个网站上传视频的视频时候遇到了格式问题，于是了解了一番视频格式、编码的相关概念，这里总结一下。 视频格式与视频编码的区别 首先要明确的是，视频格式与视频编码其实是两个概念。 像AVI、MP4其实都是视频格式，而H.264…

前言 在做自然语言处理时很多时候都会需要中文语料库，高质量的中文语料库较难找，维基百科和百度百科算是比较不错的语料库。其中维基百科会定时将语料库打包发布 https://dumps.wikimedia.org/zhwiki/ ，可以下载最新版本的语料库。而百度百科则需要自己去爬，不过也有人把爬…

维基百科离线版(Kiwix)是一款专业的电脑网络工具，它是网友制作的一个通过浏览器实现的zim文件阅读器，用户可以直接读取数据库，达到离线阅读的目的，感兴趣的朋友不要错过了，欢迎大家下载体验。 功能介绍 本程序可以说是…

维基百科中文词条 维基百科开源的中文词条内容，收集了99W+词条，当然比百度少了不少。 有效处理该原始语料的方法主要有两个：1、Wikipedia Extractor；2、gensim的wikicorpus库。 两种处理都比较粗糙，导致： Wikipedia Extractor提取出来的结果，会去掉很多空格与括号里面的…

原帖见此。 但是原帖写的很乱，我刚开始都没看懂什么意思。整理了下，说下我的安装方法(文章中的软件，工具及数据都是发日志时最新的，请自行查找更新的版本，我是在windows下做的)： 1、到维基网页下载想安装的维基数据包 http://download.wikimedia.org/backup-index.html 中…

中文维基百科数据爬取与预处理 前言：阅读本篇博文，您将学会如何使用scrapy框架并基于层次优先队列的网页爬虫以及维基页面的结构与半结构数据自动抽取。项目已经开源于GitHub地址：https://github.com/wjn1996/scrapy_for_zh_wiki，…