The Data Game
About all data related stuff
TECHNIKALIA
Drzewa decyzyjne to jedna z najbardziej intuicyjnych i wszechstronnych technik analizy danych, stosowanych zarówno w statystyce, jak i uczeniu maszynowym. Niezwykła w swojej prostocie metoda potrafi dostarczyć potężnych wyników. W tym wpisie zajmiemy się podstawami drzew decyzyjnych oraz przyjrzymy się, jak można je wykorzystać. Wzory i przykładowe wyliczenia miar używanych podczas podziału zostały opisane w […]
Co to jest Dropout? Warstwa Dropout to zaawansowana technika regularyzacji wykorzystywana w trakcie treningu sieci neuronowych, mająca na celu zapobieganie zjawisku przeuczenia/ overfittingu. Przeuczenie to sytuacja, w której model zbyt dokładnie dostosowuje się do danych treningowych, co sprawia, że traci zdolność do skutecznego generalizowania na nowe, nieznane dane. W praktyce, Warstwa Dropout działa poprzez losowe […]
W jaki sposób możemy ocenić, że nasz model do klasyfikacji działa dobrze, albo lepiej niż inny model? Potrzebujemy go w pewien sposób ‘zmierzyć’, sprawdzić, jak dobrze radzi sobie z klasyfikacją danych. Zacznijmy od wyjaśnienia czym jest macierz błędów. Jest to tabela o wymiarach NxN, gdzie N reprezentuje liczbę klas w problemie klasyfikacji. Dla uproszczenia przyjmijmy […]
Indeks klastrowy, po co? Wyobraźmy sobie biurko. Moje biurko. Zero porządku. Wszystkie rzeczy walają się we wszystkich miejscach. “Artystyczny nieład” jak to kiedyś ktoś ładnie określił. Żeby coś znaleźć trzeba się trochę naszukać, może nagrzebać pod stertami papieru. No koszmar. Albo, dla starszych wiekiem czytelników, wyobraźmy sobie książkę telefoniczną. Którą dopadł syn córki brata siostry […]
Drzewa decyzyjne to jedna z najbardziej intuicyjnych i wszechstronnych technik analizy danych, stosowanych zarówno w statystyce, jak i uczeniu maszynowym. Niezwykła w swojej prostocie metoda potrafi dostarczyć potężnych wyników. W tym wpisie zajmiemy się metrykami, dzięki którym możemy dokonać najlepszego podziału. Najpierw trochę teorii… Teoria Współczynnik Giniego Stosowana w statystyce miara koncentracji (nierównomierności) rozkładu zmiennej […]
Wolnoooooo Jak pamiętacie z poprzedniego wpisu, “Kiedy najlepiej zamieścić pytanie w tagu sql-server na StackOverflow?“, najlepiej pytania jest zamieszczać w sobotę między 02:15:00 a 02:29:59 😉 I pamiętacie zapewne, że zapytanie tam podane wykonywało się u mnie ponad 2 minuty. Za wolno, trzeba to przyspieszyć! Poniżej przypomnienie kwerendy i lecimy. Rzut oka na plan Mamy […]
Dane timestamp, czyli te zawierające informacje o dacie i czasie, występują w wielu dziedzinach, takich jak finanse, zdrowie publiczne czy telekomunikacja. Przykłady takich danych to pomiary temperatury zarejestrowane co godzinę, daty i godziny transakcji finansowych, znaczniki czasowe postów na mediach społecznościowych czy zapisy medycznych pomiarów pacjentów. Utworzenie DataFrame z danymi czasowymi Za pomocą pandas.data_range stworzymy […]
Pomyślmy o uczeniu maszynowym jako o sztuce tworzenia modeli, które dobrze przewidują wyniki na podstawie przyszłych, nieznanych danych. Okej, wydaje się proste, ale w tym kontekście zadać można sobie pytanie: na ile dokładnie chcemy nauczyć się danych obecnych? W praktyce to, że model działa świetnie na danych, na których go trenowaliśmy, nie musi wcale oznaczać, […]
Że co? Ostatnio Brent Ozar miał bardzo ciekawy livestream odnośnie znajdowania najdłuższych wartości tekstowych w kolumnach w tabeli. W tym celu użył tabeli dbo.Users z kopii bazy StackOverflow i chciał znaleźć po dwie najdłuższe wartości z kolumn DisplayName, Location oraz WebsiteUrl. My spróbujemy zrobić to samo i porównać różne podejścia. Testy zostaną przeprowadzone na bazie […]
Że co? Mamy proste zadanie. Określić medianę czasu odpowiedzi na pytanie zadane na StackOverflow w tagu “sql-server” w czasie tygodnia. Kiedy najszybciej otrzymamy odpowiedź? O której godzinie zadać pytanie? Którego dnia tygodnia? Użyjemy do tego celu średniej bazy StackOverflow z roku 2013 (trochę stare dane) stąd. Zaczynamy! Dane na temat wpisów znajdują się w tabeli […]
NEWS
Witajcie, ziemscy towarzysze. Niedoli może nie, no bo możecie czytać teraz ten tekst – to wielkie szczęście i wyróżnienie! Nie wiem, czy odważę się napisać, że należycie do elitarnego; przecież niewielkiego, grona; ale zanim się namyślę, to zapraszam do przeczytania podsumowania tygodnia! News #Prawo Sytuacja w Ameryce Północnej jest napięta od dłuższego czasu – wielopłaszczyznowo. […]
Cześć! Koniec miesiąca coraz bliżej, trzeba domknąć pewne tematy. Elon Musk, który lubi palić, aktywnie podróżuje; to po Polsce (fizycznie), to po Hongkongu (mentalnie) – przekonując, że inwestycja w jego xAI to antonim przepalonych pieniędzy. A poza tym: FTC Federalna Komisja Handlu, w skrócie FTC, wszczęła dochodzenie w sprawie niedawnych inwestycji i partnerstw z udziałem […]
Cześć! Nie przedłużając.. DAVOS Na Światowym Forum Ekonomicznym w Davos duży nacisk położono na wpływ sztucznej inteligencji – między innymi na edukację młodego pokolenia. Entuzjastycznie wypowiadano się na temat prywatnych korepetycji, które odgrywają istotną rolę w edukacji, a na które nie każda rodzina może sobie pozwolić. Teraz będą mogły być prowadzone przez wirtualnych nauczycieli, w […]
Dzień dobry! Oto drugi tydzień naszych newsów. W Zdroficie już jakby luźniej, choć niektórzy są mocni i zaciskają zęby aż do lutego. Są też jednostki wierne swojej strategii przez długi czas. Dla przykładu tak jak przez cały 2023 rok, tak i w tym tygodniu Google nie zwalnia tempa w swoim projekcie GenAI. Zwalnia za to […]
Cześć! Nowy Rok, wszystko wskazuje na to, że Ważny Rok – globalnie. A zainteresowanie całego świata skrada temat sztucznej inteligencji, do której przypisywane są niejednokrotnie narzędzia niezgodne z jej definicją. My jednak jesteśmy świadomi definicji, a dzięki naszej cotygodniowej prasówce ze świata AI, Wy świadomi będziecie najbardziej dyskusjogennych wydarzeń, oświadczeń i zapowiedzi z branży. Prasówka […]