Начнем с любопытных и пытливых умов. Есть такая штука, которая умеет обрабатывать данные всяко-разно и почти без кода. Мышкой туда-сюда и получаешь результаты. Не надо ждать консультантов PO/PI, не надо абаперов. Надо просто мышкой и все получится.
Я сейчас плотно сел за изучение этого инструмента в рамках большой программы трансформации HR бизнеса на современный HiTech, где SAP в принципе рядом не валялся. Если интересно, то могу продолжить тему развернуто в виде ютуба, статеек и курсов.
Ключевое — весь инструмент бесплатный.
Например, у нас есть простейшая задача взять откуда-то API и их него сделать файлик. Или наоборот.
Что и как делается, ставится — читать тут. http://nifi.apache.org/index.html
Материалов по теме не очень много, поэтому буду делиться своим личным опытом.
Я написал простейший веб сервер для публикации API.
В nifi создаем группу процессов:
Внутри группы вот такая схема поток:
Условно говоря, система по шагам выполняет следующие действия:
- Вызвать HTTP запрос для получения ответа в формате JSON
- Распилить JSON на строчки. Один большой ответ разделяется на множество мелких, так как мы на выходе получаем массив. На выходе множество элементов с позициями массива.
- Вычленяем из каждой записи нужные нам поля и записываем их в атрибуты
- Преобразуем атрибуты в CSV формат
- Соединяем все элементы в один большой файл в памяти
- Создаем имя файла
- Сохраняем файл на диск
Сервер выдал вот такой ответ:
Мы этот ответ прогнали по процессу и получили симпатичный файлик.
