Пример многопоточной обработки (БСП)

Публикация № 1808052 13.02.23

Задачи пользователя - Обработка документов

Александр Крынецкий (echo77)

Рейтинг: 1707

Многопоточная обработка

–

Обработка-шаблон, на основе которой можно делать свои многопоточные обработки данных для конфигураций на БСП.

Введение

Данная обработка является относительно простым примером и одновременно шаблоном для разработки подобных многопоточных обработок. Разрабатывалось для того чтобы каждый, не вдаваясь в подбробности, смог сделать свою обработку по образу и подобию.

Будет работать только в конфигурациях, где интегрирована БСП, только в управляемых формах и только в клиент-серверном варианте

Важно! Если у вас сервер 1С и компьютер на котором вы запускаете 1С это разные машины, то обработку надо установить во внешние обработки.

Принцип многопоточной обработки

Получаем массив ВСЕХ объектов для обработки;
Разбиваем этот массив на порции(Массивы) согласно входящим параметрам;
Для каждой порции запускаем свое фоновое задание, которое будет выполнять экспортный метод ОбработатьОбъекты();
1. Фоновые задания отправляют сообщения фиксированного формата;
2. Ждем завершения выполнения фоновых заданий;
Проверяем статусы запущенных фоновых заданий, читаем сообщения;
Отправляем свои сообщения основному потоку;
В самом конце складываем итоговый результат работы всех ФЗ в АдресРезультата.

Что в примере

В качестве примера обработка, которая выбирает все записи из справочника Контрагенты и обрабатывает их наименования. После обработки каждого элемента транзакция откатывается, в результате ничего не меняется в базе данных

В динамике это выглядит примерно так

Как сделать свою обработку на основе этой

Порядок такой

Копируем эту обработку. В метаданных меняем её имя и синоним;
Добавляем реквизиты в обработку

Форма

Разместить на форме параметры выборки объектов / процедуры для формирования готового списка объектов для обработки. В примере это ЗаполнитьДаннымиДляТеста();
В функции ПараметрыОбработки() складываем в одноименную структуру все параметры, что потребуются для обработки объектов;
В процедуре ОбработатьРезультатВыполнения() - можно выполнять дополнительные действия с результатом выполнения обработки.

Модуль

В функции Объекты() определить алгоритм получения ВСЕХ объектов для обработки. Здесь два варианта:
1. Просто транслировать то что передано с формы в параметр ДанныеДляОбработки;
2. Заполнить на сервере по входящим параметрам;

Объекты()

// Функция готовит объекты для обработки по переданным параметрам
// Заполните содержимое функции по собственному усмотрению
//
// Параметры:
//  ПараметрыВыборки - Структура - произвольные параметры
// 
// Возвращаемое значение:
//   Какая-то коллекция
//
Функция Объекты(ПараметрыВыборки)
	
	// Здесь варианты:
	// 1. Получить уже готовые данные из параметров
	Если ПараметрыВыборки.Свойство("ДанныеДляОбработки") Тогда
		КоллекцияОбъектов = ПараметрыВыборки.ДанныеДляОбработки;
	Иначе
		// 2. Как-то запросом, алгоритмически получить массив объектов по параметрам
		//Запрос = Новый Запрос;
		//Запрос.Текст = 
		//"ВЫБРАТЬ Первые 10
		////"ВЫБРАТЬ
		//|	Контрагенты.Ссылка КАК Ссылка
		//|ИЗ
		//|	Справочник.Контрагенты КАК Контрагенты
		//|ГДЕ
		//|	Контрагенты.Партнер.Клиент
		//|
		//|УПОРЯДОЧИТЬ ПО
		//|	Ссылка
		//|АВТОУПОРЯДОЧИВАНИЕ";
		//КоллекцияОбъектов = Запрос.Выполнить().Выгрузить();
	КонецЕсли;
	
	Возврат КоллекцияОбъектов;
	
КонецФункции

Функция РазбитьНаПорции() содержит два алгоритма разбиения коллекции объектов на порции. Я оставил рабочим алгоритм "Чередование", т.к. мне кажется он более приближен к последовательной обработке. Вы можете описать здесь свой;
В процедуре ВыполнитьМногопоточно() в самом конце складываем итоговый результат работы, если результат складывает НЕ в ТЗ то дорабатываем эту процедуру. В противном случае, здесь ничего не трогаем;

ВыполнитьМногопоточно()

// Процедура выполняет обработку в несколько потоков
// Параметры:
//  ВходящиеПараметры	- Структура - содержит переданные параметры для выполнения процедуры
//		* ОбработкаСсылка	- СправочникСсылка.ДополнительныеОтчетыИОбработки
//		* КоличествоПотоков - Число - Сколько потоков запускать
//		* УникальныйИдентификатор - ИдентификаторФормы
//  АдресРезультата		- Строка	- адрес результата выполнения фонового задания
//
Процедура ВыполнитьМногопоточно(ВходящиеПараметры, АдресРезультата) Экспорт
	
	// Задумка
	// 1. Получаем массив ВСЕХ объектов для обработки
	// 2. Разбиваем этот массив на порции(Массивы) согласно входящим параметрам
	// 3. Для каждой порции запускаем свое фоновое задание, которое будет выполнять экспортный метод ОбработатьОбъекты()
	// 3.1. Фоновые задания шлют сообщения фиксированного формата
	// 4. Ждем завершения выполнения фоновых заданий
	// 4.1. Проверяем статусы запущенных фоновых заданий, читаем сообщения. 
	// 4.2. Отправляем свои сообщения основному потоку
	// 5. В самом конце складываем итоговый результат работы всех ФЗ в АдресРезультата
	//
	// Общение между Фоновыми заданиями и основным процессом происходит посредством Объекта СообщениеПользователю и
	// Метода ФЗ.ПолучитьСообщенияПользователю(). Это реализовано в 
	// - ДлительныеОперации.СообщитьПрогресс()
	// - ДлительныеОперации.ПрочитатьПрогресс()
	
	Перем КоличествоПотоков, МинимальнаяПорция, ИдентификаторУправляющегоЗадания;
	
	МинимальнаяПорция = 100;
	
	ОбработкаСсылка = ВходящиеПараметры.ОбработкаСсылка;
	КоличествоПотоков = ВходящиеПараметры.КоличествоПотоков;
	УникальныйИдентификатор = ВходящиеПараметры.ИдентификаторФормы;
	
	// Для того чтобы в исполняющих фоновых заданиях понимать, что управляющее фоновое задание активно
	СеансИнформационнойБазы = ПолучитьТекущийСеансИнформационнойБазы();
	ФЗ = СеансИнформационнойБазы.ПолучитьФоновоеЗадание();
	Если ФЗ <> Неопределено Тогда
		ИдентификаторУправляющегоЗадания = ФЗ.УникальныйИдентификатор;
	КонецЕсли;
	
	Если ВходящиеПараметры.Свойство("РазмерПорции") Тогда
		МинимальнаяПорция = ВходящиеПараметры.РазмерПорции;
	КонецЕсли;
	
	// 1. Получаем массив ВСЕХ объектов для обработки
	Объекты = Объекты(ВходящиеПараметры.ПараметрыОбработки);
	
	// Удаляем пришедшую коллекцию объектов, чтобы не гнать её в исполняющие фоновые задания
	Если ВходящиеПараметры.ПараметрыОбработки.Свойство("ДанныеДляОбработки") Тогда
		ВходящиеПараметры.ПараметрыОбработки.Удалить("ДанныеДляОбработки")
	КонецЕсли;
	
	// 2. Разбиваем этот массив на порции(Массивы) согласно входящим параметрам
	МассивПорций = РазбитьНаПорции(Объекты, КоличествоПотоков, МинимальнаяПорция);
	КоличествоПотоков = МассивПорций.Количество(); // Количество потоков может измениться после разбиение на порции
	
	ОбъектовВсего = Объекты.Количество();
	Объекты = Неопределено;
	
	// 3. Для каждой порции запускаем свое фоновое задание, которое будет выполнять экспортный метод ОбработатьОбъекты()
	// Таблица для хранения последних известных данных о запущенных нами фоновых заданиях
	// Почему так? Потому что будем ждать завершения фоновых заданий в последнем цикле может оказаться, что часть Фоновых заданий
	// Выполнена и сообщения от них уже все получены, поэтому мы храним данные последних сообщений ФЗ в таблице
	ДанныеФЗ = Новый ТаблицаЗначений;
	ДанныеФЗ.Колонки.Добавить("ИдентификаторЗадания");
	ДанныеФЗ.Колонки.Добавить("Обработано", Новый ОписаниеТипов("Число"));
	ДанныеФЗ.Колонки.Добавить("Процент", Новый ОписаниеТипов("Число"));
	ДанныеФЗ.Колонки.Добавить("АдресРезультата", Новый ОписаниеТипов("Строка"));
	
	Для Каждого Порция Из МассивПорций Цикл
		ПараметрыЗапуска = Новый Структура("Объекты, ПараметрыОбработки", Порция, ВходящиеПараметры.ПараметрыОбработки);
		ПараметрыЗапуска.Вставить("ИдентификаторУправляющегоЗадания", ИдентификаторУправляющегоЗадания);
		
		НаименованиеЗадания = НСтр("ru = 'Обработка объекта в потоке'");		
		ВыполняемыйМетод = "ДлительныеОперации.ВыполнитьПроцедуруМодуляОбъектаОбработки";
		
		ПараметрыЗадания = Новый Структура;
		ПараметрыЗадания.Вставить("ИмяОбработки", ИспользуемоеИмяФайла);
		ПараметрыЗадания.Вставить("ИмяМетода", "ОбработатьОбъекты"); 
		ПараметрыЗадания.Вставить("ПараметрыВыполнения", ПараметрыЗапуска);
		ПараметрыЗадания.Вставить("ЭтоВнешняяОбработка", Истина);
		ПараметрыЗадания.Вставить("ДополнительнаяОбработкаСсылка", ОбработкаСсылка);
		
		ПараметрыВыполнения = ДлительныеОперации.ПараметрыВыполненияВФоне(УникальныйИдентификатор);
		ПараметрыВыполнения.НаименованиеФоновогоЗадания = НаименованиеЗадания;
		ПараметрыВыполнения.ЗапуститьВФоне = Истина;
		ПараметрыВыполнения.Вставить("ИдентификаторФормы", УникальныйИдентификатор); 
		
		СтруктураФоновогоЗадания = ДлительныеОперации.ВыполнитьВФоне(ВыполняемыйМетод, ПараметрыЗадания, ПараметрыВыполнения);
		
		Если СтруктураФоновогоЗадания.Статус = "Ошибка" Тогда
			Сообщить(СтруктураФоновогоЗадания.ПодробноеПредставлениеОшибки);
			Прервать;
		КонецЕсли;
		
		ЗаполнитьЗначенияСвойств(ДанныеФЗ.Добавить(), СтруктураФоновогоЗадания);
	КонецЦикла;
	
	// Ждем завершения всех заданий
	ЕстьАктивныеФЗ = Истина;
	ПроцентВыполненияПрошлойИтерации = 0;
	Пока ЕстьАктивныеФЗ Цикл
		ЕстьАктивныеФЗ = Ложь;
		
		// 4.1. Проверяем статусы запущенных фоновых заданий, читаем сообщения
		Для Каждого СтрокаТЗ ИЗ ДанныеФЗ Цикл
			
			ИдентификаторЗадания = СтрокаТЗ.ИдентификаторЗадания;
			ФоновоеЗадание = ФоновыеЗадания.НайтиПоУникальномуИдентификатору(ИдентификаторЗадания);
			
			Если ФоновоеЗадание.Состояние = СостояниеФоновогоЗадания.Активно Тогда
				ЕстьАктивныеФЗ = Истина;
			КонецЕсли;
			
			ПрогрессИСообщения = ДлительныеОперации.ПрочитатьПрогресс(ИдентификаторЗадания);
			
			Если ТипЗнч(ПрогрессИСообщения) = Тип("Структура") Тогда
				СтрокаТЗ.Процент = ПрогрессИСообщения.Процент;
				СтрокаТЗ.Обработано = ПрогрессИСообщения.ДополнительныеПараметры.Обработано;
			КонецЕсли;
			
		КонецЦикла; 
		
		// 4.2. Отправляем свои сообщения основному потоку
		Обработано = ДанныеФЗ.Итог("Обработано");
		ТекущийПроцентВыполнения = Цел(Обработано / ОбъектовВсего * 100);
		
		Если ТекущийПроцентВыполнения > ПроцентВыполненияПрошлойИтерации Тогда
			ДопПараметры = Новый Структура("Обработано", Обработано);
			ТекстСообщения = СтрШаблон("Обработано %1 из %2, потоков: %3", Обработано, ОбъектовВсего, КоличествоПотоков);
			ДлительныеОперации.СообщитьПрогресс(ТекущийПроцентВыполнения, ТекстСообщения, ДопПараметры);
		КонецЕсли;
		
		ПроцентВыполненияПрошлойИтерации = ТекущийПроцентВыполнения;
		
		ОбщегоНазначенияБТС.Пауза(1);

	КонецЦикла;
	
	// 5. В самом конце складываем итоговый результат работы всех ФЗ в АдресРезультата
	ИтоговыйРезультат = ОбъектРезультат();
	Для Каждого СтрокаТЗ ИЗ ДанныеФЗ Цикл
		
		РезультатФЗ = ПолучитьИзВременногоХранилища(СтрокаТЗ.АдресРезультата);
		
		Если РезультатФЗ <> Неопределено Тогда
			ОбщегоНазначенияКлиентСервер.ДополнитьТаблицу(РезультатФЗ, ИтоговыйРезультат);
			УдалитьИзВременногоХранилища(СтрокаТЗ.АдресРезультата); // Чтобы не мусорить
		КонецЕсли;
				
	КонецЦикла;
	
	ПоместитьВоВременноеХранилище(ИтоговыйРезультат, АдресРезультата);
	
КонецПроцедуры

В процедуре ОбработатьОбъекты() описываем свой алгоритм обработки в области Обработка_Объекта.

Как отлаживать обработку

Поскольку есть особенности связанные с клиент-серверным вариантом работы, то в случае, если Сервер 1С:Предприятие расположен на другом компьютере, то единственным выходом будет разместить эту обработку (на этапе отладки) в сетевой папке, доступной серверу 1С:Предприятие.

Так же на форме расположены вспомогательные команды, служащие исключительно для отладки

Выполнить без фоновых заданий – запускает управляющую процедуру в основном потоке. Пригодится для отладки ВыполнитьМногопоточно(), Объекты(), РазбитьНаПорции();
Обработать объекты не в фоне – служит для отладки ОбработатьОбъекты()

Тестировалось на платформах 8.3.18.1957, 8.3.21

Конфигурации: КА 2.5.7.402, УХ 3.0

Материалы по теме
- Многопоточная обработка данных
- Многопоточная обработка данных на примере перепроведения документов
- Универсальный шаблон многопоточной обработки (на примере проверки работы Web-сервисов)
- Параллельная обработка (в несколько потоков - сеансов
- Многопоточная обработка документов БП3.0, КА2, (ERP с небольшим ограничением). Ускоряет основные процессы учета: проведение документов и другие массовые процедуры методом многопоточности
- Простая параллельная обработка данных
- Многопоточный режим выполнения процедуры с помощью методов БСП - примеры разработки

–

Скачать файлы

Наименование	Файл	Версия	Размер
Пример многопоточной обработки .epf 17,05Kb 173	.epf	2023.02.13	17,05Kb	173	Скачать бесплатно
Поддержать автора .epf 17,05Kb 2	.epf	2023.02.13	17,05Kb	2	Скачать
Поддержать гуру СКД .epf 17,05Kb 1	.epf	2023.02.13	17,05Kb	1	Скачать

Специальные предложения

Комментарии

В избранное Подписаться на ответы

Свернуть все

1. quazare 2984 14.02.23 04:32 Сейчас в теме

Благодарю вас, что сделали ссылку на мою публикацию

2. ixijixi 1419 15.02.23 09:00 Сейчас в теме

А чем отличается поддержка автора от поддержки гуру СКД? =)

3. echo77 1707 15.02.23 10:30 Сейчас в теме

(2) Ничем (0 скачиваний :-(). Так... еще один способ напомнить о себе :-)

4. ixijixi 1419 15.02.23 10:40 Сейчас в теме

(3) Поддержал автора)

5. quazare 2984 15.02.23 18:46 Сейчас в теме

я хоть и не гуру скд - но вас тоже поддержу. чего и остальным советую! не стесняйтесь, товарищи, активнее-активнее...

6. Cyberhawk 131 16.02.23 14:10 Сейчас в теме

Будет работать только в конфигурациях, где интегрирована БСП

Какая максимально "старая" БСП поддерживается? А то в разных версиях БСП разный программный инетерфейс по вызову экспортных методов подключаемых обработок...

7. triviumfan 37 20.02.23 15:18 Сейчас в теме

Будет работать только в конфигурациях, где интегрирована БСП

Но в статье не указана версия БСП, плюс у них плохая обратная совместимость.

ЗЫ: Пардон, открыл обработку и увидел, что автор запилил свой интерфейс вместо типового (ВыполнитьФункциюВНесколькоПотоков), который доступен с 3.1.7.