На соотвестие.

[Джей Ди]

Итак, хочу поделится текущей проблемой и своим решением (естественно, делюсь желая узнать ваше мнение).

Сабж:
Требуется реализовать поиск по продукции поискового портала, соответсвенно отбирать товары нужно релевантности. Для подобных целей я реальзовал текущую систему:

1) Запрос разбивается по словам.
2) Удаляются предлоги и другие "лишние слова"
3) Обрезаются окончания
4) Идет сравнения списка слов с наименованием продукта

Реализация:

- Обрезание окончаний

- Обрезание окончаний
function cword($WORD)
{
$RESULT='';
$MAKE=0;
//Окончания
$CLOSES=array('овая','овый','ная');
FOREACH($CLOSES AS $PART)
IF(PREG_MATCH('/(.*)'.$PART.'/',$WORD)) $WORD=SUBSTR($WORD,0,STRLEN($WORD)-STRLEN($PART));
//Буквы
$CHARS=ARRAY('а','е','ё','й','и','о','у','ь','ы','э','ю','я');
for($POSITION=STRLEN($WORD)-1; $POSITION>=0; $POSITION--)
{
$CHAR=SUBSTR($WORD,$POSITION,1);
if(!IN_ARRAY($CHAR,$CHARS)) $MAKE=1;
IF($POSITION==2) $MAKE=1;
if($MAKE==1) $RESULT=$CHAR.$RESULT;
}
return $RESULT;
}

- Генерация списка слов

- Генерация списка слов
$WORDS=EXPLODE(' ',gmysqlex($SEARCH_QUERY));
$BAD_WORDS=ARRAY('','для','за','под','над','через','с','в','на','по','из','');
//Чистим некоторые слова
FOREACH($WORDS AS $NUMBER => $WORD)
{
$WORD=strtolower_me(TRIM($WORD));
IF(IN_ARRAY($WORD,$BAD_WORDS)) UNSET($WORDS[$NUMBER]); ELSE $WORDS[$NUMBER]=cword($WORD);
}

- Собственно определение релевантности

- Собственно определение релевантности
function relevant($PHRAZES,$TEXT)
{
IF(!$TEXT) RETURN 0;

$TEXT_LENGTH=STRLEN(STR_REPLACE(' ','',$TEXT));
$TEXT=' '.$TEXT;
$RESULT=0;
$SUMM=0;
FOREACH($PHRAZES AS $WORD)
{
$SUMM+=$WORD_LENGTH=STRLEN($WORD);
IF(STRPOS($TEXT,$WORD)) $RESULT+=$WORD_LENGTH;
}
$ADDED=0;
$RESULT=ROUND(100*$RESULT/$SUMM+$ADDED);
IF($RESULT>100) $RESULT=100;
IF($RESULT<0) $RESULT=0;

RETURN $RESULT;
}

Однако во всем жтом счастье есть одно "НО", как вы видите значение $ADDED приравнивается нулю, я долго пытался замутить в него какой нибудь простенький алгоритм сравнивания длинн, но неудача постигла меня. =) Мне не нравилась его работа.

Брэйнсторм:
Требуется немного модернизировать функцию relevant, что бы на её значение влияла так же длина запроса и $TEXT_LENTGH.

Иными словами релевантность запроса "паркет" по отношению к "паркетная доска" и "паркетный лак Тыдым" должны быть разными. =)

P.S. Пробовал заменять на $RESULT=ROUND(100*$RESULT/$TEXT_LENGTH+$ADDED); - не понравилось.
P.P.S. Про то, что я не вырезаю знаки препинания посьба не говорить - я их вырезаю.

@темы: Алгоритмы, PHP, Вопросы

Comments

[Джей Ди]

Хотя на самом деле $RESULT=ROUND(100*$RESULT/$TEXT_LENGTH+$ADDED); дает более адекватный результат, но вот если строка поиска длинее наименования то результат уже не адукватен. =) А приравнивать $TEXT_LENGTH+=$SUMM жестко.

[La personne mystique]

Мм... а почему, по твоему мнению, релевантность должна учитывать именно длину?
Возможно, формула релевантность = (число совпавших слов) ^ 2 / (число слов в запросе) * (число слов в наименовании) даст более адекватный результат?
При таком подходе требование

релевантность запроса "паркет" по отношению к "паркетная доска" и "паркетный лак Тыдым" должны быть разными

, кажется, выполняется.

[Джей Ди]

La personne mystique раньше я тоже считал по словам, но в результате получил, что "паркет" и "дуб" выдают абсолютно разные результаты, а не должны. Хотя вариант интересен, нужно поразмышлять.

[Гость]

а не проще ли не изобретать велосипед, а воспользоваться гугловым?

[Джей Ди]

Гость а не проще ли почитать задачу и понять что я ищу по внутренним базам закрытым для внешних поисковиков? Не катит.

[Гость]

Простой пример Ajax для чайников, по нажатию на кнопку-картинку данные из html-страницы записываются в базу и сразу же выводятся на экран без перезагрузки страницы в виде таблицы. Маленький понятный код, в PHP используется метод $_POST, SQL запросы, функция createXMLHttp(), и немного стилей, все только нужное для понимания ajax, исчерпывающие комментарии в строках. Научитесь создавать динамические web-страницы без лишних громоздких библиотек своими руками. Работа со связкой PHP,MySQL,Apache, Javasсript становится легка и понятна каждому. Поняв суть данного примера вы в дальнейшем сможете создавать Ajax-страницы любой сложности. По этой программе можно научиться PHP MySQL и AJAX одновременно.

качать тут:
www.plati.ru/asp/pay.asp?idd=1040991