если он у вас работает без нареканий и зависонов
Возможно Вы сначала производите загрузку большого списка в программу нажатием НА КНОПКУ "ИЗ ФАЙЛА", если список урлов очень длинный - загрузка в программу может продолжаться ооочень долго, в таких случаях необходимо использовать опцию удаления дублей прямо с жесткого диска -
НЕОБХОДИМО ОТМЕТИТЬ ГАЛКУ "ИЗ ФАЙЛА", ЗАТЕМ НАЖАТЬ НА КНОПКУ "УДАЛЕНИЕ ДУБЛЕЙ СТРОК", ЗАТЕМ СОХРАНИТЬ РЕЗУЛЬТАТ, ЗАТЕМ ЖМЕМ НА КНОПКУ "УДАЛЕНИЕ ДУБЛЕЙ ДОМЕНОВ", ВЫБИРАЕМ РАНЕЕ СОХРАНЕННЫЙ РЕЗУЛЬТАТ И ПОСЛЕ ОКОНЧАНИЯ РАБОТЫ ФУНКЦИИ СОХРАНЯЕМ РЕЗУЛЬТАТ.
Видео см. с 1мин. 20 сек. по 3мин. 10 сек.
При удалении дублей строк используется стандартная функция движка программирования, это не наше новшество, соответственно данная функция работает без нареканий, при этом используется асм, удаление дублей доменов - наша реализация.
После запуска удаления дублей доменов или строк используется главный поток программы, который отвечает за отображение и прорисовку интерфейса, удаление дублей строк, особенно доменов - длительная процедура, 500к обрабатывается в зависимости от железа до
5-8 мин., в среднем
3-4 мин, ПРИ ЭТОМ ИНТЕРФЕЙС ПРОГРАММЫ ПОДВИСАЕТ - не реагирует на нажатия, перемещение окна и т.п. - ПРОГРАММА НЕ ВИСНЕТ, можете посмотреть по загрузке процессора и посмотреть состояние процесса. После окончания удаления дублей интерфейс программы оживает. При парсинге программа делит спарсенные ссылки по 500к в целях ускорения удаления дублей.
То что Вы реализовали удаление дублей в пхп - это замечательно, СПАСИБО!