APPROACH TO IDENTIFYING PLAGIARISM IN MULTILINGUAL TEXTS
Journal Title: Інформатика та математичні методи в моделюванні - Year 2018, Vol 8, Issue 2
Abstract
The task of identifying plagiarism between texts in different languages is an important variation of the general problem of identifying plagiarism. To solve this problem it is productive to calculate the degree of certain similarity of two texts which is called parallelism. In the article, the method of parallelism estimation based on Zipfian frequency distribution is studied. The key idea of the method is the construction of a linear regression model that compares the areas under the linearized Zipf curve for the corresponding documents. A computational procedure has been implemented to find the optimal classification parameters for such a model. To obtain a model more relevant to specific application conditions, computational experiments were performed to determine the optimal parameters corresponding to two classification metrics: the proportion of correct answers (accuracy) and F1-measure. The determination of the best classification parameters performed on the basis of the training subset of the corporal. To reliably estimate the model, classification metrics are recalculated on a test subset. The performed computational experiments using this approach showed limited applicability to language pairs composed of English, Russian and Ukrainian texts. To improve the filtering performance of parallel texts, a filter based on word frequencies in texts is proposed and implemented. To improve the quality of classification two directions have been formulated: an extension of the text corpora used in the model training, as well as methods for mutual using several classification filters.
Authors and Affiliations
V. G. Penko, I. H. Gafar Abdula
Keywords
Related Articles
- EP ID EP341622
- DOI -
- Views 102
- Downloads 0
ОСНОВНЫЕ ТРЕБОВАНИЯ К СИСТЕМЕ ВЫЯВЛЕНИЯ ТОЧЕК ЦИФРОВОГО МОНТАЖА В ФОНОГРАММАХ И МЕТОДОЛОГИЯ ЕЕ СОЗДАНИЯ
Одним из сложнейших аспектов экспертизы материалов и средств видео и звукозаписи является выявление следов цифрового монтажа в фонограммах. Исследования этой проблемы привели к появлению ряда направлений и подходов к соз...
АЛГОРИТМ ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЙ, ПОЛУЧАЕМЫХ С БЕСПИЛОТНЫХ ЛЕТАТЕЛЬНЫХ АППАРАТОВ ALGORITHM FOR IMAGE RESTORATION OBTAINED FROM UNMANNED AERIAL VEHICLES
Рассматриваются вопросы, связанные с работой беспилотных летательных аппаратов (БПЛА) в условиях активного радиоэлектронного противодействия. Важным фактором работы БПЛА является восстановление переданного им изображения...
МОДИФІКАЦІЯ СТІЙКОГО ДО ЗБУРНИХ ДІЙ СТЕГАНОПЕРЕТВОРЕННЯ ПРОСТОРОВОЇ ОБЛАСТІ ЗОБРАЖЕННЯ-КОНТЕЙНЕРА MODIFICATION OF RESISTANCE TO DISTURBANCE QUILTED TRANSFORMATION OF SPATIAL IMAGE CONTAINER
В роботі запропоновано модифікацію стійкого до атак проти вбудованого повідомлення стеганографічного методу, розробленого автором раніше, який здійснює стеганоперетворення в просторовій області контейнера-зображення, але...
ПРОГНОЗУВАННЯ ТЕХНІЧНОГО СТАНУ ОДНОТИПНИХ ПРОГРАМНО-АПАРАТНИХ ЗАСОБІВ FORECASTING THE TECHNICAL STATE OF THE SAME TYPE SOFTWARE AND HARDWARE EQUIPMENT
Розглянуто підходи, засновані на фізичних передумовах до прогнозування технічного стану (визначення ресурсу) радіоелектронних об'єктів, які потрапляють під визначення «однотипні програмно-апаратні засоби». Прогнозування...
НЕЧІТКА СИСТЕМА ДІАГНОСТУВАННЯ ПАТОЛОГІЧНИХ СТАНІВ МОЛОЧНОЇ ЗАЛОЗИ НА ОСНОВІ ГІСТОЛОГІЧНИХ ЗОБРАЖЕНЬ FUZZY SYSTEM DIAGNOSING OF PATOLOGY CONDITIONS OF THE BREAST BASED ON HISTOLOGICAL IMAGES
Розповсюдженість раку молочної залози посідає перше місце в структурі онкологічних захворювань жінок. Експертна постановка діагнозу таких патологічних станів базується на якісних показниках аналізу гістологічних зображен...