Начнем с любопытных и пытливых умов. Есть такая штука, которая умеет обрабатывать данные всяко-разно и почти без кода. Мышкой туда-сюда и получаешь результаты. Не надо ждать консультантов PO/PI, не надо абаперов. Надо просто мышкой и все получится.

Я сейчас плотно сел за изучение этого инструмента в рамках большой программы трансформации HR бизнеса на современный HiTech, где SAP в принципе рядом не валялся. Если интересно, то могу продолжить тему развернуто в виде ютуба, статеек и курсов.

Ключевое — весь инструмент бесплатный.

Например, у нас есть простейшая задача взять откуда-то API и их него сделать файлик. Или наоборот. 

Что и как делается, ставится — читать тут. http://nifi.apache.org/index.html

Материалов по теме не очень много, поэтому буду делиться своим личным опытом.

Я написал простейший веб сервер для публикации API.

В nifi создаем группу процессов:

Внутри группы вот такая схема поток:

Условно говоря, система по шагам выполняет следующие действия:

  1. Вызвать HTTP запрос для получения ответа в формате JSON
  2. Распилить JSON на строчки. Один большой ответ разделяется на множество мелких, так как мы на выходе получаем массив. На выходе множество элементов с позициями массива.
  3. Вычленяем из каждой записи нужные нам поля и записываем их в атрибуты
  4. Преобразуем атрибуты в CSV формат
  5. Соединяем все элементы в один большой файл в памяти
  6. Создаем имя файла
  7. Сохраняем файл на диск

Сервер выдал вот такой ответ:

Мы этот ответ прогнали по процессу и получили симпатичный файлик.