Wikimedia упрощает доступ к данным для людей и ИИ

Фонд Wikimedia решил облегчить жизнь не только людям, но и искусственному интеллекту, предоставив новый способ поиска данных. Все мы знаем Википедию — ту самую цифровую энциклопедию, где живёт краткая биография писателя Дугласа Адамса, автора культового «Автостопом по галактике». Но мало кто заглядывает на Викидату — тихий уголок фонда, где про Адамса можно узнать всё, вплоть до его знака Зодиака (Рыбы) и библиотечного номера (13230702). В Викидате информация хранится и для людей (в виде веб-страниц), и для машин (в форматах вроде JSON).

Теперь с Викидатой взялись за обновления: немецкое отделение Wikimedia (Wikimedia Deutschland), управляющее проектом, создало базу данных, удобную для ИИ. Целый год команда в Берлине прогоняла 19 миллионов записей Викидаты через нейросеть, превращая их из громоздких таблиц в так называемые векторные представления. Представьте, что Дуглас Адамс — точка на графе, соединённая линиями с понятиями «человек», «книги», «автор», и всё это упаковано так, чтобы понимать не только факты, но и контекст.

Для посетителей интерфейс привычный — Википедия не превращается в чат-бот. Но для разработчиков, особенно ИИ-энтузиастов без многомиллиардных бюджетов, вскрываются новые возможности: теперь строить свои умные сервисы можно, имея под рукой структурированные данные об огромном количестве людей, событий, понятий. Как сказала Лидия Пинчшер, руководитель направления Wikidata, большие платформы вроде OpenAI и Anthropic могут сами проделать такую работу. Но для маленьких команд и независимых талантов это был недоступный ресурс, теперь же у них появляется шанс наравне конкурировать с гигантами.

Яркий пример: независимый сервис Govdirectory использует массивы данных Викидаты, чтобы собирать всевозможные контакты чиновников по всему миру. Кроме того, новый подход позволит ИИ лучше понимать и редкие темы, не только избитые интернетом, ведь обычно чат-боты ориентируются на самые популярные данные. Теперь векторные базы упростят жизнь всем, кто хочет научить ChatGPT заниматься чем-то, кроме банальных вопросов — новые данные не нужно впихивать вручную и ждать, пока система «вдруг» их когда-нибудь получит. Векторы позволяют ботам не только пересказывать информацию, но и цепляться за смежные темы, видеть связи.

Для преобразования данных Викидаты команда воспользовалась нейросетевой моделью компании Jina AI, а всю инфраструктуру по хранению векторов бесплатно предоставляет IBM через свою компанию DataStax. Пока база обновлена только на сентябрь 2024 года, а вся свежая информация добавится позже, когда разработчики дадут обратную связь. Но, как говорит менеджер проекта Филипп Сааде, не стоит переживать: небольшие правки в отдельных статьях не сыграют роли — главное, что общий смысл записей сохранён.