Zero/ZeroLevel/Services/Semantic/Contracts

Реализация основы для семантической работы с текстом.



LexProvider - реализует выделение токенов из текста, где под токеном понимается какое-либо приведение слова.

Например, токеном может являться непосредственно само слово, стем, лемма.



В качестве реализации созданы две фабрики:



SnowbolLexProviderFactory - возвращает провайдеры на основе стемминга 'Snowball'

JustWordLexProviderFactory - возвращает провайдер который принимает за токен непосредственно слово, без изменений (lower case)



Для реализации собственного провайдера потребуется создать класс на основе интерфейса ILexer и реализовать метод Lex, 

в котором будет проведена необходимая нормализация слова в нужном семантическом контексте.



Например:

public class LemmaLexer: ILexer

{

	public string Lex(string word) { return Lemmatizer.Lemma(word); }

}



После чего можно создать на его основе провайдер:



var provider = new LexProvider(new LemmaLexer());