Как быстро удалить дубликаты из базы не нагружая свой компьютер

[Chollongarn]

Возможно у каждого была такая проблема что нужно удалить дубликаты из своей базы,
но компьютер из-за своей мощности не позволял это сделать. Я предлагаю сделать
сортировку с помощью beget или же pythonanywhere. В чем разница?
Ответ прост: в цене, возможности сервера. Для pythonanywhere нужна только почта,
а для beget виртуальный номер телефона. Показывать я буду на примере beget.
Создаем аккаунт с тарифом "mega" и сразу же идем в "Управление услугами".
Сразу ставим все на максимум что бы поместилось как можно больше баз/нагрузки. .
Нажимаем "Изменить тариф" и начинаем обработку базы. Загружаем базу на сервер по FTP, а пока база грузится
включим SSH доступ. У вас это должно выглядеть примерно так . Когда база загрузилась
подключаемся к серверу по SSH/через браузер. Для примера я сделал базу с таким содержанием: .
Теперь мне нужно удалить дубликаты. для этого я ввожу команду: sort -u название файла с базой.txt и получу такой
результат: , но как мне скачать нужную базу? Не копировать ли? Конечно нет! Я введу эту же команду,
но добавлю в конец > файл с итогом.txt. Тогда результат сохранится в файл. Осталось его просто скачать. Это можно сделать по
FTP или же через файловый менеджер в браузере. .