Список слов работает на уровне %[token|токенов]%. По умолчанию будет создан список слов, потому что стоп-слова исключаются автоматически.

Список слов может быть ограничен минимальной и максимальной настройками частоты.

Частоты можно получить для списка конкретных слов. Используйте параметр из этого списка: на вкладке «Дополнительно» и введите элементы, для которых должна быть рассчитана частотность.

Регулярные выражения могут использоваться для определения сложных критериев для слов, которые должны быть включены в список частотности.

Параметр Показать как позволяет включить в результат больше атрибутов. Например, частотный список словоформ может быть создан с леммами, отображаемыми рядом со словоформами. Допускается до 3 атрибутов.

Ограничение
Когда используется параметр Отображать как, сначала генерируется конкорданс всех %[token|токенов]%, соответствующих критериям и частоты вычисляются на основе этого конкорданса. Размер конкорданса имеет техническое ограничение в 10 миллионов строк. В результате, если корпус очень большой, данные о частотности не могут быть вычислены для всего корпуса.

Это ограничение нельзя снять. Чтобы получить частотность для всего корпуса, Sketch Engine может создать список за определенную плату. Связаться.

Sketch Engine специально разработан для быстрой работы с большими корпусами. Любой поиск займет всего несколько секунд две, если размер корпуса меньше миллиарда слов. Для корпусов более 1 миллиарда слов может потребоваться немного больше времени. Сложные критерии с использованием регулярных выражений, используемые в больших корпусах, могут потребовать нескольких минут ожидания.

Единственное требование – это токенизация корпуса. Результаты будут более репрезентативными, если они будут получены из большого корпуса. Однако не существует минимального размера корпуса, необходимого для работы словаря.

Простой частотный список существительных.

Частотный список словоформ вместе с леммами и тегами.