Конвейерная обработка

Сервис конвейерной (пакетной) обработки изображений и подготовки библиографических данных.

Превращает фотографии и сканы из книжного фонда в готовый набор данных для каталога: автоматически распознаёт типы страниц, выполняет кадрирование, улучшение изображения, OCR и формирует проект библиографической записи RUSMARC — всё в рамках одного задания.

Назначение

Автоматизация процесса каталогизации и ретрокаталогизации, когда из набора фотографий одного издания (обложка, титульная страница, оборот титула, каталожная карточка, содержание, выходные данные) необходимо получить структурированный пакет данных для пополнения библиографического каталога.

В отличие от точечного использования отдельных сервисов, конвейер берёт на себя оркестрацию: для каждого изображения определяется тип страницы, подбирается подходящая цепочка обработки и запускается асинхронно. Результаты собираются в единый пакет, связанный с экземпляром или библиографической записью.

Экономит время сотрудника на ручной разбивке материала по сервисам и устраняет рутину при поточной оцифровке фондов и массовой каталогизации.

Процесс обработки

flowchart LR
    A[Создание задания] --> B[Загрузка файлов]
    B --> C[Типизация страниц]
    C --> D[Обработка по типу]
    D --> E[Сборка пакета]
    E --> F[Включение в каталог]

1. Создание задания

   • Указывается экземпляр или запись (штрихкод, индивидуальный номер (инвентарный или безынвентарный), номер или идентификатор библиографической записи).
   • Владелец фонда: сеть библиотек, юридическое лицо, библиотека.

2. Загрузка файлов

   • Файлы добавляются с локального устройства пользователя или по URL.
   • Поддерживаемые форматы: JPEG, PNG, TIFF, PDF, текстовые файлы.

3. Типизация страниц

   Сервис автоматически определяет тип каждого изображения. Поддерживаемые типы:

   • Обложка
   • Титульная страница
   • Оборот титульной страницы
   • Каталожная карточка
   • Содержание
   • Выходная информация
   • Изображение (иллюстрация)

   Тип можно задать и вручную — для контроля или в случаях, когда автоматическая типизация неоднозначна.

4. Обработка по типу

   Для каждого типа страницы применяется собственная цепочка операций:

Тип страницы	Кадрирование	Улучшение	OCR	Проект RUSMARC	Описание
Обложка	✓	✓			✓
Титульная страница	✓	✓
Оборот титульной страницы			✓	✓
Каталожная карточка			✓	✓
Содержание			✓
Выходная информация			✓
Изображение	✓	✓			✓

1. Сборка пакета

   • Результаты по всем файлам собираются в единый пакет, связанный с указанной записью.
   • Пакет содержит обработанные изображения, распознанный текст, сгенерированный фрагмент RUSMARC и описания изображений.

2. Включение в каталог

   • Пакет передаётся в АБИС: изображения указываются 856-м полям записи RUSMARC, объединяется с существующей библиографической записью или становится основой новой.

Ключевой результат

Поточное пополнение каталога: за одно действие вместо последовательности ручных вызовов разных сервисов сотрудник получает готовый набор данных. Снижается порог входа для проектов ретрокаталогизации и массовой оцифровки. Упрощается процесс обогощения фонда. Повышается единообразие результата по всему фонду.

Дополнительные возможности

• Реестр и отслеживание

  Все задания отображаются в реестре с фильтрами по статусу и поиском по идентификаторам экземпляра. По каждому заданию доступна карточка с детализацией результата по каждому файлу.

• Привязка к владельцу фонда

  Задания привязываются к владельцу фонда: сеть библиотек, юридическое лицо, библиотека. Доступ к данным управляется списком разрешений: сотрудник видит только те записи, на которые ему предоставлен доступ.

• Обратная связь по качеству

  По каждому результату пользователь может принять решение и оставить комментарий — данные используются для контроля и улучшения качества обработки.

• Асинхронная обработка

  Задания выполняются в фоне в очереди — сотрудник может загрузить пакет и продолжить работу, отслеживая прогресс в реестре.

Техническая архитектура

Сервис размещён на защищённых вычислительных мощностях облачной платформы «Библиотека технологий». Файлы передаются потоком (тогда они сохраняются в локальном S3-хранилище платформы) или ссылкой на внешний URL (тогда в журнале сохраняется только ссылка). Результаты обработки складываются в S3 и связываются с пакетом в журнале заданий. От пользователя требуется только стабильное интернет-соединение.

Конвейер опирается на отдельные сервисы платформы и оркестрирует их вызовы — каждый сервис при этом доступен и индивидуально, для точечных задач.

Процесс получения и настройки доступа

Сервис конвейерной обработки является частью платформы «Библиотека технологий» и не требует локальной установки. Функциональность доступна удалённо через два интерфейса.

1. Использование в интерфейсе АБИС

Для сотрудников

В состав платформы входит АБИС — Автоматизированная Библиотечная Информационная Система.

2. Использование через API

Для интеграции и автоматизации

Способ предназначен для разработчиков и администраторов, желающих встроить конвейерную обработку в собственные процессы оцифровки или интегрировать сервис со сторонними АБИС.

Получение доступа к API Платформы "Библиотека технологий"