The Data Game
About all data related stuff
TECHNIKALIA
Drzewa decyzyjne to jedna z najbardziej intuicyjnych i wszechstronnych technik analizy danych, stosowanych zarówno w statystyce, jak i uczeniu maszynowym. Niezwykła w swojej prostocie metoda potrafi dostarczyć potężnych wyników. W tym wpisie zajmiemy się podstawami drzew decyzyjnych oraz przyjrzymy się, jak można je wykorzystać. Wzory i przykładowe wyliczenia miar używanych podczas podziału zostały opisane w […]
Co to jest Dropout? Warstwa Dropout to zaawansowana technika regularyzacji wykorzystywana w trakcie treningu sieci neuronowych, mająca na celu zapobieganie zjawisku przeuczenia/ overfittingu. Przeuczenie to sytuacja, w której model zbyt dokładnie dostosowuje się do danych treningowych, co sprawia, że traci zdolność do skutecznego generalizowania na nowe, nieznane dane. W praktyce, Warstwa Dropout działa poprzez losowe […]
W jaki sposób możemy ocenić, że nasz model do klasyfikacji działa dobrze, albo lepiej niż inny model? Potrzebujemy go w pewien sposób ‘zmierzyć’, sprawdzić, jak dobrze radzi sobie z klasyfikacją danych. Zacznijmy od wyjaśnienia czym jest macierz błędów. Jest to tabela o wymiarach NxN, gdzie N reprezentuje liczbę klas w problemie klasyfikacji. Dla uproszczenia przyjmijmy […]
Indeks klastrowy, po co? Wyobraźmy sobie biurko. Moje biurko. Zero porządku. Wszystkie rzeczy walają się we wszystkich miejscach. “Artystyczny nieład” jak to kiedyś ktoś ładnie określił. Żeby coś znaleźć trzeba się trochę naszukać, może nagrzebać pod stertami papieru. No koszmar. Albo, dla starszych wiekiem czytelników, wyobraźmy sobie książkę telefoniczną. Którą dopadł syn córki brata siostry […]
Drzewa decyzyjne to jedna z najbardziej intuicyjnych i wszechstronnych technik analizy danych, stosowanych zarówno w statystyce, jak i uczeniu maszynowym. Niezwykła w swojej prostocie metoda potrafi dostarczyć potężnych wyników. W tym wpisie zajmiemy się metrykami, dzięki którym możemy dokonać najlepszego podziału. Najpierw trochę teorii… Teoria Współczynnik Giniego Stosowana w statystyce miara koncentracji (nierównomierności) rozkładu zmiennej […]
Wolnoooooo Jak pamiętacie z poprzedniego wpisu, “Kiedy najlepiej zamieścić pytanie w tagu sql-server na StackOverflow?“, najlepiej pytania jest zamieszczać w sobotę między 02:15:00 a 02:29:59 😉 I pamiętacie zapewne, że zapytanie tam podane wykonywało się u mnie ponad 2 minuty. Za wolno, trzeba to przyspieszyć! Poniżej przypomnienie kwerendy i lecimy. Rzut oka na plan Mamy […]
Dane timestamp, czyli te zawierające informacje o dacie i czasie, występują w wielu dziedzinach, takich jak finanse, zdrowie publiczne czy telekomunikacja. Przykłady takich danych to pomiary temperatury zarejestrowane co godzinę, daty i godziny transakcji finansowych, znaczniki czasowe postów na mediach społecznościowych czy zapisy medycznych pomiarów pacjentów. Utworzenie DataFrame z danymi czasowymi Za pomocą pandas.data_range stworzymy […]
Pomyślmy o uczeniu maszynowym jako o sztuce tworzenia modeli, które dobrze przewidują wyniki na podstawie przyszłych, nieznanych danych. Okej, wydaje się proste, ale w tym kontekście zadać można sobie pytanie: na ile dokładnie chcemy nauczyć się danych obecnych? W praktyce to, że model działa świetnie na danych, na których go trenowaliśmy, nie musi wcale oznaczać, […]
Że co? Ostatnio Brent Ozar miał bardzo ciekawy livestream odnośnie znajdowania najdłuższych wartości tekstowych w kolumnach w tabeli. W tym celu użył tabeli dbo.Users z kopii bazy StackOverflow i chciał znaleźć po dwie najdłuższe wartości z kolumn DisplayName, Location oraz WebsiteUrl. My spróbujemy zrobić to samo i porównać różne podejścia. Testy zostaną przeprowadzone na bazie […]
Że co? Mamy proste zadanie. Określić medianę czasu odpowiedzi na pytanie zadane na StackOverflow w tagu “sql-server” w czasie tygodnia. Kiedy najszybciej otrzymamy odpowiedź? O której godzinie zadać pytanie? Którego dnia tygodnia? Użyjemy do tego celu średniej bazy StackOverflow z roku 2013 (trochę stare dane) stąd. Zaczynamy! Dane na temat wpisów znajdują się w tabeli […]
NEWS
Cześć! Zapraszam do podsumowania minionych 2 tygodni, wiadomości, które zaciekawiły mnie podczas surfowania po sieci telekomunikacyjnej Internet. Sekretarz Sił Powietrznych USA Frank Kendall ogłosił plany lotu myśliwcem F-16 sterowanym przez sztuczną inteligencję. Próba ma odbyć się wiosną tego roku i ma na celu zaprezentowanie potencjału sztucznej inteligencji w walce powietrznej, podkreślając przejście wojska w kierunku […]
Hejka naklejka! Świat jest podzielony. Jak zawsze, można by rzec. Wiecznie żywa reguła „dziel i rządź”, można by rzec. Świat podzielony na zwolenników sernika z rodzynkami, jak i bez rodzynków; wielbicieli sałatki jarzynowej jak i ludzi pozbawionych gustu; ludzi jeżdżących BMW, jak i masochistów, i tak dalej, i tym podobne. Przychodzę tu jednak ponad pewnymi […]
Siemson sportowe świry! Dumni po zwycięstwie, wierni po porażce. Tym razem jednak bez wstydu, hańby i kompromitacji. Nie podejrzewam naszego sztabu szkoleniowego o klasyczną inspirację rozwiązaniem stosowanym w Liverpoolu, natomiast nie miał bym nic przeciwko. We współpracy z Google DeepMind powstał bowiem TacticAI, model predykcyjny wspomagający wysiłki trenerów. Już w 2021 potrafił zgadnąć gdzie piłkarz […]
Dzień dobry. Friendship ended with ChatGPT-4, now Claude 3 Opus is my best friend. Tylko musimy przygotować się na pewnie niedogodności w związku z naszym pochodzeniem; i broń Boże nie chodzi o kolor skóry czy też rysy twarzy, ale wylosowane obywatelstwo. Jako Europa nie mamy bowiem, póki co, wygodnego dostępu do chatbota; zdaje się natomiast […]
Ahoj! Chińskie EMO Alibaba Group to siła, której już nie powstrzymamy! Tylko tej, zdaje się, naprawdę. Chiński Holding, ulicy kojarzący się zapewne z niewiarygodnie obficie zaopatrzonymi sklepami internetowymi, w ostatnich dniach zainwestował w marketing i bez problemu jest widywany na streszczeniach najważniejszych wiadomości ze świata IT. Kreatywne podejście i zaangażowanie Sory, tworu OpenAI, jako przykładu […]
Dzień dobry! Niedziela wieczur i humor zepsuty? Tak pomyśleli zapewne aktywni użytkownicy Reddita, który to zawarł umowę opiewającą na niebagatelną sumę 60 milionów dolarów. Umowę, która to jest poszerzeniem partnerstwa pomiędzy portalem a Googlem. Reddit, poza zastrzykiem „gotówki”, przydatnym przed swoim planowym wejściem na giełdę, otrzymał dostęp do platformy Vertex AI, ma także być lepiej […]
Witajcie, ziemscy towarzysze. Niedoli może nie, no bo możecie czytać teraz ten tekst – to wielkie szczęście i wyróżnienie! Nie wiem, czy odważę się napisać, że należycie do elitarnego; przecież niewielkiego, grona; ale zanim się namyślę, to zapraszam do przeczytania podsumowania tygodnia! News #Prawo Sytuacja w Ameryce Północnej jest napięta od dłuższego czasu – wielopłaszczyznowo. […]