Automatyczne przetwarzanie danych i raportów

To proces, który sam pobiera dane ze źródeł, porządkuje je i przygotowuje do użycia - w branży nazywa się go ETL. Przydaje się każdej firmie, w której ktoś regularnie eksportuje pliki, kopiuje kolumny między arkuszami i składa z nich raport. Im częściej to się powtarza i im więcej źródeł, tym większy sens automatyzacji.

Z większości systemów, z których korzysta firma: sklepu, ERP, CRM, narzędzi reklamowych i analitycznych, baz danych, a także z plików CSV i Excel wrzucanych do wspólnego folderu albo przychodzących mailem. Warunkiem jest stały, wspierany sposób dostępu - API, eksport albo dostęp do bazy. Każde źródło sprawdzamy przed wyceną.

Zaczynamy od wyniku, a nie od źródeł: jaki raport albo zestawienie ma powstawać, dla kogo i jak często. Potem rozpisujemy, skąd bierze się każda liczba, ustalamy reguły czyszczenia i łączenia, budujemy przepływ i porównujemy jego wynik z raportem robionym dotąd ręcznie. Przełączamy się dopiero, gdy liczby się zgadzają albo wiemy, dlaczego nie.

Od liczby źródeł, sposobu dostępu do nich i stanu samych danych. Dwa systemy z dobrym API to mniej pracy niż pięć plików w różnych formatach i klienci zapisani na trzy sposoby. Znaczenie ma też częstotliwość - dane odświeżane co kilka minut wymagają innego podejścia niż zestawienie liczone raz w miesiącu.

Na początku często wystarczają. Problem zaczyna się, gdy arkusz zależy od jednej osoby, formuły psują się po zmianie układu eksportu, a raport powstaje godzinami. Automatyzacja nie musi zabierać arkusza - może go po prostu wypełniać aktualnymi danymi, żeby zespół pracował w znanym narzędziu.

Przepływ to wychwyci i zgłosi, zamiast policzyć błędny wynik. Sprawdzamy strukturę i kompletność każdej dostawy danych, więc nowa kolumna czy zmieniony format pliku kończą się powiadomieniem, a nie cichym zerem w raporcie. W ramach utrzymania dostosowujemy przepływ do takich zmian i rozwijamy go o nowe źródła.