Prezentacja EDA danych hitorycznych ofert pracy z portalu JustJoinIT¶

Rozglądając się za interesującymi mnie ofertami zrobiłem analize archiwalnych ofert z ostatnich lat¶

Zapraszam do zapoznania się z moją analizą.¶



1. Ogólny przegląd danych.¶

Dane zawierają 8725555 wierszy i 24 kolumn.¶

Wyświetlenie 10 losowych rekordów¶

title street city country_code address_text marker_icon workplace_type company_name company_url company_size experience_level latitude longitude published_at remote_interview id employment_types company_logo_url skills remote open_to_hire_ukrainians display_offer multilocation way_of_apply
Loading ITables v2.2.4 from the init_notebook_mode cell... (need help?)

Sprawdzenie jakie mamy kolumny & typy danych¶

Index(['title', 'street', 'city', 'country_code', 'address_text',
       'marker_icon', 'workplace_type', 'company_name', 'company_url',
       'company_size', 'experience_level', 'latitude', 'longitude',
       'published_at', 'remote_interview', 'id', 'employment_types',
       'company_logo_url', 'skills', 'remote', 'open_to_hire_ukrainians',
       'display_offer', 'multilocation', 'way_of_apply'],
      dtype='object')
0
Loading ITables v2.2.4 from the init_notebook_mode cell... (need help?)

Sprawdzenie podsumowania dla kolumn numerycznych oraz wartości unikalne¶

latitude longitude
Loading ITables v2.2.4 from the init_notebook_mode cell... (need help?)
0
Loading ITables v2.2.4 from the init_notebook_mode cell... (need help?)

Obserwacje wstępne:¶

1. Dane archiwalne ofert pracy ze strony JustJoinIT.¶

2. Dane zawierają 8725555 wierszy oraz 24 kolumn.¶

2. Przygotowanie danych¶




Usuwanie kolumn & naprawa kolumny z datami & usuwanie duplikatów¶

0
Loading ITables v2.2.4 from the init_notebook_mode cell... (need help?)
0
Loading ITables v2.2.4 from the init_notebook_mode cell... (need help?)
title street city country_code marker_icon workplace_type company_name experience_level published_at remote_interview id employment_types skills remote open_to_hire_ukrainians
Loading ITables v2.2.4 from the init_notebook_mode cell... (need help?)
title street city country_code marker_icon workplace_type company_name experience_level published_at remote_interview id employment_types skills remote open_to_hire_ukrainians
Loading ITables v2.2.4 from the init_notebook_mode cell... (need help?)
(2096717, 15)

Przeprowadzone operacje wstępne:¶

1. Sprawdzenie jakie dane zawiera DataFrame oraz usunięcie zbędnych kolumn.¶

2. Naprawienie kolumny z czasem publikacji.¶

3. Wykrycie dużej ilości duplikatów, usunięcie powtarzających się ofert pracy w danych.¶



3. Przegląd pojedyńczysz kolumn¶



1. Stanowiska pracy i TOP15 poszukiwanych pracowników.¶

33818
count
title
Loading ITables v2.2.4 from the init_notebook_mode cell... (need help?)
Text(0, 0.5, 'Ilości')
No description has been provided for this image

Obserwacje:¶

1. Dane zawierają: 33818 stanowisk pracy z: 7676 firm.¶

2. Pierwsza piętnastka najczęściej wystepujących ofert:¶

  • Java Developer: 36445
  • DevOps Engineer: 30289
  • PHP Developer: 20595
  • Senior Java Developer: 19491
  • Frontend Developer: 15021
  • Data Engineer: 14562
  • Senior DevOps Engineer: 14533
  • .NET Developer: 14184
  • Python Developer: 14129
  • QA Engineer: 12767
  • Scrum Master: 11485
  • React Developer: 9091
  • iOS Developer: 9059
  • Android Developer: 8571
  • Senior Frontend Developer: 8543.

2. Typy pracy, poziom doświadczenia oraz rekrutacja zdalna.¶

count
workplace_type
Loading ITables v2.2.4 from the init_notebook_mode cell... (need help?)
count
experience_level
Loading ITables v2.2.4 from the init_notebook_mode cell... (need help?)
count
remote
Loading ITables v2.2.4 from the init_notebook_mode cell... (need help?)

Wykresy¶

No description has been provided for this image

Wnioski:¶

1. Dane zawierają: 3 rodzaje pracy:¶

  • remote: 1571153 (74.93%)
  • partly_remote: 469233 (22.38%)
  • office: 56331 (2.69%).

2. Liczba ofert pracy dla poszczególnych poziomów doświadczenia:¶

  • mid: 1116550 (53.25%)
  • senior: 847425 (40.42%)
  • junior: 132742 (6.33%).

3. Liczba ofert pracy z możliwościa rekrutacji zdalnej:¶

  • True: 1571153 (74.93%)
  • False: 525564 (25.07%).

3. Sprawdzenie częstotliwości ofert pracy dla Ukraińców.¶

No description has been provided for this image

Obserwacje:¶

Oferty dla Ukraińców:¶

  • False: 1227127 (64.74%)
  • True: 668239 (35.26%).



4. Analiza ofert pracy w poszczególnych miastach.¶

No description has been provided for this image

Obserwacje:¶

Prezentacja ilości ofert pracy w danych miejscowościach i ich procent w danych:¶

  • Warszawa: 423917 (20.22%)
  • Wrocław: 241610 (11.52%)
  • Kraków: 239869 (11.44%)
  • Gdańsk: 142087 (6.78%)
  • Poznań: 132900 (6.34%)
  • Katowice: 94199 (4.49%)
  • Łódź: 83936 (4.00%)
  • Szczecin: 52732 (2.51%)
  • Lublin: 50519 (2.41%)
  • Bydgoszcz: 47772 (2.28%)
  • Rzeszów: 46212 (2.20%)
  • Białystok: 45668 (2.18%).

W danych historycznych możemy zaobserwować że największe zapotrzebowanie na specjalistów w branży IT jest w miejscowościach:¶

- Warszawa¶

- Wrocław¶

- Kraków¶



5. Analiza czasu publikacji ogłoszeń.¶

No description has been provided for this image

Obserwacje:¶

  • Dane historyczne zamieszczane były w godzinach pracy miedzy 7 a 16.¶
  • Ta obserwacja prowadzi nas do pytania, czy oferty są sprawdzane przez administratorów/moderatorów i dodawane w ich godzinach pracy?¶
  • W godzinach wieczornych między 17-6 rano widzimy minimalną aktywność publikacji ofert, co może nam sugerować dodawanie ofert np. zagranicznych.¶

6. Analiza wymaganych umiejętności oraz sposób zatrudnienia.¶



1. Umiejętności¶

No description has been provided for this image

Obserwacje:¶

1. Ilość unikalnych umiejętności w danych: 11193¶

2. Trzydzieści najczęściej wymienianych umiejętności w ofertach pracy:¶

  • Java: 236559 (3.96%)
  • JavaScript: 225252 (3.77%)
  • English: 195453 (3.27%)
  • Python: 182611 (3.05%)
  • SQL: 181772 (3.04%)
  • TypeScript: 130448 (2.18%)
  • Linux: 107132 (1.79%)
  • C#: 103838 (1.74%)
  • React: 102671 (1.72%)
  • AWS: 101340 (1.70%)
  • .Net: 87792 (1.47%)
  • Git: 86587 (1.45%)
  • PHP: 75092 (1.26%)
  • Spring: 74265 (1.24%)
  • Node.js: 71379 (1.19%)
  • C++: 62088 (1.04%)
  • Docker: 61755 (1.03%)
  • Angular: 59639 (1.00%)
  • Spring Boot: 59170 (0.99%)
  • Azure: 57224 (0.96%)
  • Kubernetes: 56084 (0.94%)
  • Agile: 54408 (0.91%)
  • JIRA: 51383 (0.86%)
  • HTML: 49555 (0.83%)
  • REST API: 46187 (0.77%)
  • MySQL: 44099 (0.74%)
  • ReactJS: 43377 (0.73%)
  • .NET Core: 42088 (0.70%)
  • Kotlin: 37539 (0.63%)
  • DevOps: 37268 (0.62%)

2. Sposób zatrudnienia / wspólpracy¶

No description has been provided for this image

Obserwacje dotyczące sposobów współpracy:¶

Najczęściej wymieniane sposoby współpracy:¶

  • b2b: 1431176 (53.2%)
  • permanent: 1228847 (45.7%)
  • mandate_contract: 31720 (1.2%).

7. Analiza wynagrodzeń¶

No description has been provided for this image
No description has been provided for this image
No description has been provided for this image
Obserwacje wynagrodzeń we wszystkich typach współpracy:

1. Po wstępnych obserwacjach wynagrodzeń w ofertach pracy znaleziono wynagrodznia w obcych walutach.
   - wszystkie waluty zagraniczne przekonwertowane na pln dla lepszego zrozumienia danych.
2. Obserwacje minimalnego i maksymalnego wynagrodzenia - dokonano naprawy wartości w danych.
   - przytuszczalnie najmniejsze wynagrodzenia odnosiły się do stawek dziennych przez co zostały podniesione do wartości miesięcznej.
   - wartości max wynagrodzeń zostały przypuszczalnie zinterpretowane na wynagrodzeń rocznych i zostały poprawione na wynagrodzenia miesięczne.
3. Obeserwacje po naprawie danych pokazują przedziały płacowe na bardzo zróżnicowanym poziomie.
   W typach współpracy 'b2b' oraz 'permanent' znacząca ilość wartości odstających przekraczających maxymalne średnie wynagrodzenie.


4. Analiza trendów¶

1) Analiza archiwalnych ofert pracy:

  • W okresie od Października do Grudnia 2021 roku opublikowano: 92908 ofert pracy.

  • W okresie od Października do Grudnia 2022 roku opublikowano: 335067 ofert pracy.

  • Porównując dane z roku 2022 a z 2021 widać wzrost publikacji ogłoszeń aż o: 260.64%,

    przez co można stwierdzić rozwój branży IT i zapotrzebowanie na nowych specjalistów.



  • W okresie od Stycznia do Września 2022 roku opublikowano: 780772 ofert pracy.

  • W okresie od Stycznia do Września 2023 roku opublikowano: 879133 ofert pracy.

  • Co stanowi: 12.60% wzrostu ofert pracy w danych okresach,

    przez co można stwierdzić że zapotrzebowanie na wykwalifikowanych pracowników z roku na rok wzrasta.

No description has been provided for this image
No description has been provided for this image

Obserwacje wstępne:¶

Porównując stanowiska pracy z ostatnich lat w danych okresach czasu swierdzono że:¶

* Największe zapotrzebowanie było na stanowisko: Java Developer, DevOps Enginner oraz PHP Developer.¶

No description has been provided for this image

Analiza archiwalnych ofert pracy z podziałem na poziomy doświadczenia:¶

  • Z danych archiwalnych wynika że coraz więcej firm wymaga doświadczenia na poziomie Senior.¶

  • W danych jest ponad połowa ofert pracy z wymaganym doświadczeniem na poziomie Mid .¶

  • Niepokojącym trendem spadkowym możemy określić znaczne zmniejszenie zapotrzebowania na osoby z doświadczeniem na poziomie Junior.¶




Podsumowanie Analizy Danych¶

1. Świadomość Danych¶

  • Źródła: Archiwalne dane ofert pracy z JostJoinIT¶

  • Wielkość:¶

    • Rekordy: 2096717¶

    • Kolumny: 15¶

2. Podstawowe Statystyki¶

  • Typy danych: bool, float, int, object.¶

3. Jakość Danych¶

  • Brakujące wartości: Kolumny tekstowe(object) nie posiadają bakujących wartości,¶

    w kolumnach z płacami wystepują brakujące wartości.¶

  • Zidentyfikowano błedy w kolumnach z wynagrodzeniami, ceny podawane w różnych walutach,¶

    prawdopodobnie w stawkach dniowych jak i rocznych zostały odpowiednio przygotowane do analizy.¶

  • Duplikaty: Ponad połowa danych była duplikatami które zostały usunięte przed analizą.¶

4. Podsumowania i Wnioski¶

  • Główne wnioski:¶

    • Dane poddane analizie zawierają : 33818 stanowisk pracy z 7676 firm.¶

      • Trzy najczęściej wystepujące stanowiska:¶

        • Java Developer¶

        • DevOps Enginer¶

        • PHP Developer¶

    • Z danych wynika że prawie wszystkie oferty pracy były zamieszczane w godzinach pracy: 7 - 16,¶

      reszta ofert była opublikowana w godzinach nocnych: 17 - 6, co może sugerować dodawanie ofert np. zagranicznych.¶

    • Dane przedstawiają trzy sposoby wykonywania pracy:¶

      • Praca zdalna: 74.93%¶

      • Praca hybrydowa: 22.38%¶

      • Praca biurowa: 2.69%¶

        • Biorąc pod uwagę okres który obejmuje wszystkie ogłoszenia można stwierdzić że najmniejsze zainteresowanie pracownikami biurowymi było spowodowane przez COVID-19.¶

    • Najwiecej ofert pracy jest w:¶

      • Warszawa 20.22%¶

      • Wrocław 11.52%¶

      • Kraków 11.44%¶

    • Aż 74.92% ofert pracy umożliwia rekrutacje zdalną, a 35.26% z ofert umożliwia aplikowanie obcokrajowcom z Ukrainy.¶

    • Stwierdzono wzrost ilości ofert pracy, analizując dane z lat 2022-2023.¶

    • Stanowiska z wymaganym doświadczeniem na poziomie Mid cieszą się największą popularnościa bo zajmują ponad 50% dostepnych ofert.¶

    • Przybywa ofert pracy z doświadczeniem na poziomie Senior.¶

    • Bardzo niepokojącym odkryciem jest że ilość ofert pracy z początkującym doświadczeniem na poziomie Junior,¶

      których w zbiorze danych jest zaledwie 6.3%. Po wykonaniu głębszej analizy zauważono spadek tych stanowisk o około 40%.¶

    • Przedziały płacowe sa na bardzo zróżnicowanym posiomie.¶

      • W typach współpracy b2b oraz permanent znacząca ilość wartości odstających przekracza maksymalne średnie wynagrodzenie.¶

  • Następne kroki:¶

    • Zaleca się wykonanie porównania archiwalnych danych z nowymi w zakresie spadkowego trendu ofert pracy na rynku Juniorskim.¶

    • Zaleca się sprawdzenie trendów dla poziomów doświadczeń: Senior oraz Mid.¶