Apache NiFi

Начнем с любопытных и пытливых умов. Есть такая штука, которая умеет обрабатывать данные всяко-разно и почти без кода. Мышкой туда-сюда и получаешь результаты. Не надо ждать консультантов PO/PI, не надо абаперов. Надо просто мышкой и все получится.

Я сейчас плотно сел за изучение этого инструмента в рамках большой программы трансформации HR бизнеса на современный HiTech, где SAP в принципе рядом не валялся. Если интересно, то могу продолжить тему развернуто в виде ютуба, статеек и курсов.

Ключевое — весь инструмент бесплатный.

Например, у нас есть простейшая задача взять откуда-то API и их него сделать файлик. Или наоборот. 

Что и как делается, ставится — читать тут. http://nifi.apache.org/index.html

Материалов по теме не очень много, поэтому буду делиться своим личным опытом.

Я написал простейший веб сервер для публикации API.

В nifi создаем группу процессов:

Внутри группы вот такая схема поток:

Условно говоря, система по шагам выполняет следующие действия:

1. Вызвать HTTP запрос для получения ответа в формате JSON
2. Распилить JSON на строчки. Один большой ответ разделяется на множество мелких, так как мы на выходе получаем массив. На выходе множество элементов с позициями массива.
3. Вычленяем из каждой записи нужные нам поля и записываем их в атрибуты
4. Преобразуем атрибуты в CSV формат
5. Соединяем все элементы в один большой файл в памяти
6. Создаем имя файла
7. Сохраняем файл на диск

Сервер выдал вот такой ответ:

Мы этот ответ прогнали по процессу и получили симпатичный файлик.