Удалить дубликаты строк
Вставьте список, удалите повторяющиеся строки и отсортируйте то, что осталось.
Работает полностью в браузере
Вставьте строки, чтобы начать.
Текст до 5 МБ. Результат обновляется при изменении параметров.
Как удалить дубликаты строк
- Вставьте список в поле ввода, по одному элементу в строке, или откройте файл .txt.
- Выберите, как сравниваются строки, какую копию оставлять и, если нужно, порядок сортировки.
- Скопируйте результат или скачайте его в виде файла .txt.
Удаление дубликатов и сортировка строк
В списках накапливаются повторы: адреса электронной почты, вставленные из нескольких источников, ключевые слова, строки журналов, имена файлов. Этот инструмент читает текст построчно, запоминает каждую увиденную строку и отбрасывает более поздние копии (или более ранние, если вы выбрали оставлять последнее вхождение). Уцелевшие строки остаются в исходном порядке, если вы не выберете сортировку.
Отчёт над кнопками показывает, сколько строк было на входе, сколько осталось и сколько удалено как дубликаты, так что вы можете сверить результат с ожидаемым. Пустые строки, удалённые по параметру, сообщаются отдельно.
Советы
- Чтобы сначала привести строки в порядок, воспользуйтесь инструментом Поиск и замена, а затем вернитесь сюда.
- Посмотрите, что изменилось между двумя версиями списка, в инструменте Сравнить тексты.
- Нужен просто упорядоченный список с большим выбором сортировок? Воспользуйтесь инструментом Сортировка строк по алфавиту.
- Посчитайте, что осталось, в инструменте Подсчёт слов.
Вопросы и ответы
Что считается дубликатом?
Две строки считаются дубликатами, если они полностью совпадают, символ в символ. Включите «Не учитывать регистр», чтобы строки Apple и apple считались одной, и «Обрезать пробелы перед сравнением», чтобы игнорировать пробелы и табуляции в начале и конце каждой строки.
Меняет ли обрезка строки в результате?
Да. Когда обрезка включена, пробелы в начале и конце каждой строки удаляются не только при сравнении, но и из возвращаемых вам строк.
Что происходит с пустыми строками?
Если включено «Удалять пустые строки», строки, которые пусты или состоят только из пробелов, отбрасываются. Если выключено, пустые строки остаются как есть и никогда не считаются дубликатами друг друга.
Что такое естественная сортировка?
Естественная сортировка понимает числа внутри текста, поэтому item2 идёт перед item10. Сортировка от А до Я идёт посимвольно по правилам языка вашего браузера, и item10 оказывается перед item2. Сортировка по длине ставит самые короткие строки первыми и сохраняет исходный порядок между строками одинаковой длины.
Случайно ли перемешивание?
Оно использует защищённый генератор случайных чисел вашего браузера с тасованием Фишера — Йетса, поэтому любой порядок равновероятен. Нажмите «Перемешать ещё раз», чтобы получить новый порядок.
Загружается ли мой список?
Нет. Всё выполняется в вашем браузере, и ничего не сохраняется.