刀剑笑 — Fri, 28 Dec 2007 15:58:00 GMT

ICTClAS分词�pȝ��是由中科院计��所的张华��^、刘��所开发的一套获得广泛好评的分词�pȝ��Q�难能可�늚�是该版的Free版开放了源代码，为我们很多初学者提供了宝贵的学习材料�?

但有一点不完美的是�Q�该源代码没有配套的文档�Q�阅读�v来可能有一定的障碍�Q�尤其是对C/C++不熟的�h来说.本�h��׃��直用Java/VB作�ؓ主要的开发语�a�,C/C++上大学时倒是学过,不过工作之后一直没有再使用�q?语法什么的忘的几乎一�q�二净�?但语�a��q�东�?基本的东襉K��盔R��的,况且Java也是在C/C++的基��上�Ş成的,有一定的�怼��?阅读一遍源代码,主要的语法都应该不成问题�?

虽然在ICTCLAS的系�l�中没有完整的文档说�?但是我们可以通过查阅张华�q�_��刘群发表的一些相兌��文资�?�q�是可以�H�探��Z��要的思�\.

该分词系�l�的主要是思想是先通过CHMM(层叠形马��可夫模�?�q�行分词,通过分层,既增加了分词的准��?又保证了分词的效�?共分五层,如下图一所�C?

基本思�\:先进行原子切�?然后在此基础上进行N-最短�\径粗切分,扑և�前N个最�W�合的切分结�?生成二元分词�?然后生成分词�l�果,接着�q�行词性标注�ƈ完成主要分词步骤.

下面是对源代码的主要内容的研�IӞ��

�Q?首先�Q�ICTCLAS分词�E�序首先调用CICTCLAS_WinDlg::OnBtnRun()开始程序的执行.�q�且可以从看出它的处理方法是把源字符串分�D�处理。�ƈ且在分词前，完成词典的加载过�E�，即生成m_ICTCLAS对象时调用构造函数完成词典库的加载。关于词典结构的分析�Q�请参加分词�pȝ��研究�Q�二�Q��?/p>

void CICTCLAS_WinDlg::OnBtnRun()
{

......

//在此处进行分词和词性标�?/font>

if(!m_ICTCLAS.ParagraphProcessing((char *)(LPCTSTR)m_sSource,sResult))
        m_sResult.Format("错误�Q�程序初始化异常�Q?);
   else
       m_sResult.Format("%s",sResult);//输出最�l�分词结�?/font>

......

}

�Q?在OnBtnRun()�Ҏ��里面调用分段分词处理�Ҏ��bool CResult::ParagraphProcessing(char *sParagraph,char *sResult)完成分词的整个处理过�E�，包括分词的词性标�?其中�W�一个参��Cؓ源字�W�串�Q�第二个参数为分词后的字�W�串.在这两个�Ҏ��中即完成了整个分词处理过�E�，下面需要了解的是在此方法中�Q�如何调用其它方法一步步按照上图所�C�的分析框架完成分词�q�程.��Z��单�v见，我们先不做未��d��词的分析�?/p>

//Paragraph Segment and POS Tagging
bool CResult::ParagraphProcessing(char *sParagraph,char *sResult)
{

........

Processing(sSentence,1); //Processing and output the result of current sentence.
Output(m_pResult[0],sSentenceResult,bFirstIgnore); //Output to the imediate result

.......

}

�Q?主要的分词处理是在Processing()�Ҏ��里面发生的，下面我们对它�q�行�q�一步的分析.

bool CResult::Processing(char *sSentence,unsigned int nCount)
{

......

//�q�行二叉分词

m_Seg.BiSegment(sSentence, m_dSmoothingPara,m_dictCore,m_dictBigram,nCount);

......

//在此处进行词性标�?/font>

m_POSTagger.POSTagging(m_Seg.m_pWordSeg[nIndex],m_dictCore,m_dictCore);

......

}

�Q?现在我们先不��词性标注，把注意力集中在二叉分词上�Q�因��个是分词的两大关键步骤的�W�一�?

参考文�?

1.<<��Z��层叠隐马模型的汉语词法分�?gt;>,刘群张华�q�等

2.<<��Z��N-最短�\径的中文词语�_�分模型>>,张华�q?刘群

来源�Q?a >http://blog.csdn.net/sinboy/archive/2006/03/12/622596.aspx

刀剑笑 2007-12-28 23:58 发表评论

福利一区视频,精品综合久久久,免费国产在线视频