Графовая кластеризация на основе муравьиного алгоритма (ACO): поиск семантических ядер и многоуровневая иерархическая кластеризация
Разрабатываю метод кластеризации: данные становятся графом k ближайших соседей, по ребрам которого муравьи откладывают феромон без целевой функции оптимизации, а кластеры выделяются отсечением слабых связей. Сам механизм не нов - похожие решения встречались в литературе и раньше - но вопрос, работоспособен ли он как самостоятельный инструмент кластеризации и для каких данных, обсуждается уже больше двадцати лет, и мне интересно получить на него собственный ответ. Веду проект с декабря 2025 года; практическая цель - выйти на качество, сопоставимое с другими алгоритмами кластеризации (например, с Leiden), а не обогнать их.
Первый этап, intelliant-core - прототип из выпускной квалификационной работы: сокращение сырого датасета Conceptual Captions в 92 раза, до ~35k плотных семантических ядер. На этой выборке я переразметил данные и дообучил модель методом LoRA; датасет и репозиторий с разметкой и обучением - в открытом доступе.
Второй этап, intelliant - текущая работа: единый пайплайн из построения графа, феромонного поля и кластеризации, с доступом к промежуточным результатам для анализа. Сейчас занимаюсь калибровкой и подбором параметров на синтетических и учебных датасетах, дальше буду сравнивать intelliant с другими алгоритмами кластеризации на реальных данных. Пока есть только CPU-оптимизация (Numba с компиляцией в Си); GPU-версия - в дальнейших планах.
Третий этап - многоуровневая иерархическая кластеризация, основная задача исследования: убрать отдельный шаг абсорбции шума и полностью отдать процесс муравьям. Каждое найденное семантическое ядро становится плотной точкой-поглотителем по аналогии с черной дырой - это, в теории, должно защищать соседние кластеры от слипания на следующем уровне огрубления графа.
- intelliant-core(Открыть в новой вкладке)pypi.org/project/intelliant-core/
- wcag-caption-research(Открыть в новой вкладке)github.com/yourdisenchantment/wcag-caption-research
- Датасет(Открыть в новой вкладке)doi.org/10.6084/m9.figshare.32258007
- intelliant(Открыть в новой вкладке)github.com/yourdisenchantment/intelliant
