Описание изображений¶

Сервис автоматизированного формирования описания изображений

Интеллектуальный сервис, который анализирует загруженное изображение и генерирует структурированное текстовое описание.

Назначение¶

Автоматизация процесса создания текстовых аннотаций для изображений (экспонатов, артефактов, произведений) путем преобразования визуального контента в структурированное текстовое описание. Сервис применяет методику, аналогичную используемой для описания экспонатов музеев, что обеспечивает согласованность, полноту и профессиональный уровень описаний. Предназначен для интеграции в процессы каталогизации и пополнения цифровых коллекций.

Экономит время на создание аннотаций, устраняет субъективность в описаниях, обеспечивает единый стандарт качества для всех материалов каталога.

Процесс обработки¶

flowchart LR
    A[Загрузка изображения] --> B[Обработка]
    B --> C[Вывод результата]
    C --> D[Интеграция в каталог]

Ввод данных
- Загрузка изображения
  
  Прием графического файла (фотографии, скана) в поддерживаемых форматах. Изображение должно быть четким и информативным. Предварительно изображение может быть обработано сервисом Обработки изображений
Обработка и анализ
- Визуальный анализ
  
  Использование моделей компьютерного зрения для идентификации объектов, сцен, текстуры, цвета, композиции и ключевых визуальных элементов на изображении.
- Контекстуальная интерпретация
  
  Применение алгоритмов для определения значимых аспектов, подлежащих описанию (материал, техника, стиль, сюжет, состояние сохранности и т.д.).
- Генерация текста
  
  Формирование связного, структурированного описания на естественном языке, состоящего из стандартных разделов (объект, размеры, стилистические особенности, содержание, состояние).
Вывод результата
- Представление описания
  
  Пользователю предоставляется готовый текст аннотации, адаптированный для вставки в библиографическое описание.
- Возможность корректировки
  
  Пользователь может отредактировать сгенерированный текст, дополнить или уточнить детали.
Интеграция в каталог
- После проверки и одобрения, текстовое описание сохраняется в соответствующем поле записи в АБИС (300-е поля RUSMARC), готовое к публикации.

Ключевой результат¶

Сокращение трудозатрат и времени на создание профессиональных аннотаций, обеспечение единого стандарта описаний для всей коллекции, ускорение процессов каталогизации визуальных материалов.

Техническая архитектура¶

Сервис размещен на защищенных вычислительных мощностях облачной платформы "Библиотека технологий". Обработка изображений происходит на удаленных серверах, что гарантирует высокую производительность и отсутствие нагрузки на локальную инфраструктуру библиотеки. От пользователя требуется только стабильное интернет-соединение.

Процесс получения и настройки доступа¶

Сервис описания изображений является частью платформы "Библиотека технологий" и не требует локальной установки в библиотеке. Функциональность доступна удалённо через два интерфейса.

1. Использование в интерфейсе АБИС¶

Для сотрудников

В состав платформы входит АБИС - Автоматизированная Библиотечная Информационная Система. Использование в АБИС - самый простой способ для повседневной работы сотрудников. Пользователь выбирает изображение, загруженное в систему, в интерфейсе АБИС и нажимает кнопку обработки. В результате пользователю выдается описание изображения. После проверки и дополнения при необходимости описание может быть добавлено в каталог (300-е поля RUSMARC).

2. Использование через API¶

Для интеграции и автоматизации

Этот способ предназначен для разработчиков и администраторов, желающих встроить обработку в собственные скрипты или рабочие процессы.

Получение доступа к API Платформы "Библиотека технологий"

Пример результата¶

Об ошибках в описании

Мы знаем об ошибках в описании. Мы специально взяли фотографии с искажениями (затертые, на которых тяжело прочитать текст) для демонстрации.

Изображение

Описание

На фотографии изображён мужчина в военной форме. На нём видны знаки различия и медаль. Под фотографией написано: "ЕТЧИН-КРУПНОВ ВЛАДИМИР ФЕДОРОВИЧ БЫКОВСКИЙ". Также указаны адрес и дата: "ЗЕРХНЕ-ВОЛЖСКИЙ СНЗ Ф-КА „МАЯК" 10СТ САНО - 56° 75 ШТ. Ц. 1 КОП. 1963". Справа внизу написано: "Снимчая Плмегда 1963 г."

На фотографии изображены две сцены, вероятно, из театрального спектакля или представления. В верхней части изображения видна архитектурная композиция с арочными проходами и колоннами. В центре между арками висит большая звезда с крестом в середине. На переднем плане стоят люди в различных позах: кто-то сидит, кто-то стоит, кто-то работает с чем-то на столе. Стиль одежды и позы людей указывают на эпоху, предположительно XIX-XX веков. В нижней части изображения также видна архитектурная композиция с арочными проходами и балконами. На переднем плане видны люди, стоящие и сидящие, один человек держит в руках чем-то. Справа видна часть пальмы. Стиль одежды и позы людей также указывают на эпоху XIX-XX веков. Обе сцены выглядят как декорации для театра или оперы, с актерами, готовыми к выступлению.