Dashboard - czyli wszystkie dane w jednym miejscu

Celem aplikacji typu dashboard jest stworzenie jednego raportu zawierającego wszystkie niezbędne dane przez nas wykorzystywane. Mogą to być chociażby statystyki naszej strony, kluczowe wskaźniki naszego biznesu, a nawet lista aktualnych zamówień lub zaległych faktur.

Przykładem takiego rozwiązania jest wypuszczone przez firmę Google Google Data Studio umożliwiające wyświetlanie danych z Google Analytics w bardziej czytelnej formie.

W przypadku gotowych rozwiązań jesteśmy jednak ograniczeni co do ilości źródeł oraz typów danych. Na szczęście istnieje możliwość stworzenia własnego, dedykowanego dashboardu, który będzie działał podobnie jak popularne strony internetowe i zawierał dokładnie to, co jest nam potrzebne. W takim przypadku źródłem będzie API lub dane pobranie za pomocą web scrapingu.

Dashboard - podsumowanie

• Raporty typu dashboard pozwolą nam zaoszczędzić czas potrzebny na przeglądanie każdego ze źródeł oddzielnie,
• Wygodny sposób na wizualizację aktualnego stanu naszej firmy lub postępu prac,
• Możliwość implementacji historii oraz szybkich porównań do wcześniejszych okresów.

API

API to akronim angielskiego określenia Application Programming Interface.. Brzmi to na pewno nieco ezoterycznie, ale w skrócie polega na tym, że pewne strony internetowe oraz usługi umożliwiają nam pobieranie w sposób ustrukturyzowany gromadzonych przez nie danych.

Tak więc swoje API udostępnianią m.in. serwisy społecznościowe (Facebook, LinkedIn), aplikacje analyticzne (Google AdSense), czaty i programy do zarządzania firmą (Slack), serwisy e-commerce (Allegro), a nawet strony zajmujące się prognozą pogody oraz kursami akcji. Za pomocą API możemy na przykład pobrać szerokość i wysokość geograficzną dla podanego adresu, pobrać liczbę wyświetleń naszej strony w ostatnim tygodniu czy zaadresować paczkę w firmie kurierskiej.

Korzystanie z API jest w pełni legalne, ale niektóre firmy wprowadzają limity, a inne pobierają opłaty.

API - podsumowanie

• dane udostępniane w ten sposób są ustrukturyzowane,
• pobieranie danych przez API jest legalne, ale może być płatne,
• zawsze mamy pewność jakie dane są dostępne do pobrania.

Web Scraping

Web Scraping to sposób na automatyczne "wyłuskiwanie" konkretnych danych ze stron internetowych. Metoda ta nie kojarzy się co prawda najlepiej, gdyż może być wykorzystywana do niecnych celów, ale przy skutecznym zastosowaniu może znacznie zwiększyć efektywność naszej pracy.

Dla przykładu - jeśli kilka razy dziennie sprawdzamy konkretne dane z trzech stron internetowych, to automatyczne ich pobranie i wyświetlenie na jednej podstronie, nie dość, że zaoszczędzi nam czas, to pozwoli na bardziej czytelną prezentację danych.

Zaletą względem API jest możliwość pobierania większej ilości danych, także tych wygenerowanych dynamicznie (np. po przefiltrowaniu wyszukiwarki na stronie internetowej). Co więcej - nie każda strona udostępnia API, czasami więc web scraping będzie naszą ostatnią deską ratunku.

Musimy jednak pamiętać, że nie każdy właściciel zezwala na automatyczne korzystanie ze swojej strony.

Web Scraping - podsumowanie

• chcąc skorzystać z web scrapingu powinniśmy dokładnie sprawdzić regulamin strony oraz zapisy w pliku robots.txt,
• web scraping zazwyczaj pozwala na wyciągnięcie większej ilości danych, a czasem jest jedynym sposobem na automatyczne ich pobranie, gdyż nie każda strona udostępnia API,
• pozwala na śledzenie zmian na wybranych stronach oraz szybkie powiadamianie gdy wystąpią.

Automatyczna obsługa stron internetowych

Dla wielu osób niemałym zaskoczeniem może być fakt, że ich interakcje ze stronami internetowymi mogą zostać zautomatyzowane - tzn. "zapisane" i powtórzone.

Dla przykładu - jeśli usługa z której korzystamy nie udostępnia API, ale regularnie musimy wykonać na niej czasochłonną akcję (jak wypełnienia długiego formularza w celu pobrania raportu lub złożenie zamówienia z wielostronicowym formularzem) możemy zapisać te kroki i odtwarzać je automatycznie w dowolnym momencie.

W przypadku prostych interakcji wystarczą nam darmowe narzędzia do nagrywania naszych kroków, ale w bardziej rozbudowanych przypadkach warto zapisać to w postaci kodu programistycznego. Szczęśliwie ostatnie lata to wysyp narzędzi ułatwiających testerom ich pracę, a przez swoją specyfikę nadają się one równie dobrze do automatyzacji naszej pracy.

Automatyzacja interakcji ze stronami internetowymi - podsumowanie

• pozwala na zaoszczędzenie czasu przy wykonywaniu powtarzalnych czynności,
• daje możliwości konfiguracji tych czynności, czyli wykonywanie powtarzalnych kroków ale ze zmianami pojedyńczych wartości wejściowych (np. liczby zamawianych produktów),
• eliminuje błędy ludzkie mogące przytrafić się przy robieniu po raz kolejny tego samego.