藏文网页倒排索引
重庆公司网站制作藏文网页倒排索引 第1张

        第一步:抽取网页正文。网页正文是相对网页噪声而言。当今的互联网网页上, 页面的很多篇幅用在广告、搜索推荐和其他链接上。网页搜索工具关注的是网页本身要表达的信息, 所以在通过爬虫获取到页面源码之后, 要去除那些与本文无关的噪声, 抽取到网页正文。
重庆公司网站制作藏文网页倒排索引 第2张

        第二步:分字。藏文文字区别于汉文, 汉文是一个字使用一个编码, 而藏文是对组成字的基字编码, 一个完整的藏文字可能存在多个编码, 这些编码按组成藏文字的方法顺序排列。
        第三步:对全文以字建索引。以字建索引, 虽然检索过程的匹配计算量会更大, 但考虑到目前藏文网页总体数量不大, 应该是一种可行的提高查全率的办法。根据上一步得到的字, 记录每个字在文中出现的位置, 计算每个字出现的次数, 建立链表。位置用于检索时的准确定位, 次数用于计算字对文档的重要性, 也用于相关性排序计算。

未经允许不得转载! 作者:无忧,转载或复制请以超链接形式并注明出处重庆SEO程序开发

原文地址:《重庆公司网站制作藏文网页倒排索引》发布于:2022-03-10

发表评论

表情:
评论列表 (暂无评论,149人围观)

还没有评论,来说两句吧...