The Data Game
About all data related stuff
TECHNIKALIA
Dane timestamp, czyli te zawierające informacje o dacie i czasie, występują w wielu dziedzinach, takich jak finanse, zdrowie publiczne czy telekomunikacja. Przykłady takich danych to pomiary temperatury zarejestrowane co godzinę, daty i godziny transakcji finansowych, znaczniki czasowe postów na mediach społecznościowych czy zapisy medycznych pomiarów pacjentów. Utworzenie DataFrame z danymi czasowymi Za pomocą pandas.data_range stworzymy […]
Pomyślmy o uczeniu maszynowym jako o sztuce tworzenia modeli, które dobrze przewidują wyniki na podstawie przyszłych, nieznanych danych. Okej, wydaje się proste, ale w tym kontekście zadać można sobie pytanie: na ile dokładnie chcemy nauczyć się danych obecnych? W praktyce to, że model działa świetnie na danych, na których go trenowaliśmy, nie musi wcale oznaczać, […]
Że co? Ostatnio Brent Ozar miał bardzo ciekawy livestream odnośnie znajdowania najdłuższych wartości tekstowych w kolumnach w tabeli. W tym celu użył tabeli dbo.Users z kopii bazy StackOverflow i chciał znaleźć po dwie najdłuższe wartości z kolumn DisplayName, Location oraz WebsiteUrl. My spróbujemy zrobić to samo i porównać różne podejścia. Testy zostaną przeprowadzone na bazie […]
Że co? Mamy proste zadanie. Określić medianę czasu odpowiedzi na pytanie zadane na StackOverflow w tagu “sql-server” w czasie tygodnia. Kiedy najszybciej otrzymamy odpowiedź? O której godzinie zadać pytanie? Którego dnia tygodnia? Użyjemy do tego celu średniej bazy StackOverflow z roku 2013 (trochę stare dane) stąd. Zaczynamy! Dane na temat wpisów znajdują się w tabeli […]
Czym są dane cykliczne? Dane cykliczne to rodzaj danych, które mają cykliczny lub powtarzający się charakter w określonym interwale lub cyklu. Te dane powtarzają się lub zmieniają w określony sposób w zależności od pewnego okresu czasu, kąta lub innego cyklu. Przykłady danych cyklicznych obejmują: Kodowanie dni tygodnia Weźmy pod lupę kodowanie dni tygodnia. Załóżmy, że […]
Przez ostatnie 4 miesiące pracowaliśmy wraz z Michaliną nad projektem na konkurs Kaggle CAFA 5 Protein Function Prediction. Było to nasze pierwsze uczestnictwo w konkursie na platformie Kaggle, ale udało nam się ostatecznie zająć 37 miejsce, na 1675 zespołów. Czego dotyczył konkurs? https://www.kaggle.com/competitions/cafa-5-protein-function-prediction W ramach konkursu mieliśmy przewidzieć funkcje (GO) dla określonych białek, wykorzystując jedynie […]
Unikatowość w indeksie Jak dobrze wiemy, czy to indeks nieklastrowy czy klastrowy (skupiamy się na indeksach “rowstore”) może zostać opatrzony opcjonalną klauzulą UNIQUE która definiuje go jako unikatowy, czyli nie posiadający duplikatów w kolumnach tworzących jego definicję (jednak duplikaty spokojnie mogą się znajdować wśród kolumn zawartych w klauzuli INCLUDE). Przygotujmy sobie tabelę z takim indeksem […]
W naszym codziennym życiu jesteśmy otoczeni cenami i kwotami pieniędzy zapisanymi w formacie zmiennoprzecinkowym, takim jak 4,49 zł za mleko czy 199,99 zł za nowe buty. Wydaje się to być naturalnym rozwiązaniem, które ułatwia nam zarówno dokonywanie zakupów, jak i prowadzenie finansów osobistych. Jednak warto zastanowić się, dlaczego eksperci finansowi i programiści zdecydowanie odradzają trzymanie […]
Dane odgrywają kluczową rolę w podejmowaniu decyzji i ważne jest, abyśmy rozumieli znaczenie czystości naszych danych treningowych i testowych. Kontaminacja danych treningowych i testowych to subtelny, ale potencjalnie destrukcyjny problem, który może prowadzić do błędnych wniosków i wyników modeli. Czym jest kontaminacja danych treningowych i testowych? Przypomnijmy, że walidacja ma na celu pomiar, jak model […]
Pytanie zawarte w tytule wydaje się być banalne, ale spotkałem się już z osobami, które mimo dużego doświadczenia potrafiły udzielić nie do końca poprawnej odpowiedzi 😉 Nauka przez zabawę Najprościej będzie wyjaśnić różnicę pomiędzy nimi za pomocą przykładów. Skorzystamy w nich z bazy StackOverflow2013 i tabeli dbo.Posts. Zaczniemy od wrzucenia pierwszych 100 000 wierszy do […]
NEWS
Witajcie, ziemscy towarzysze. Niedoli może nie, no bo możecie czytać teraz ten tekst – to wielkie szczęście i wyróżnienie! Nie wiem, czy odważę się napisać, że należycie do elitarnego; przecież niewielkiego, grona; ale zanim się namyślę, to zapraszam do przeczytania podsumowania tygodnia! News #Prawo Sytuacja w Ameryce Północnej jest napięta od dłuższego czasu – wielopłaszczyznowo. […]
Cześć! Koniec miesiąca coraz bliżej, trzeba domknąć pewne tematy. Elon Musk, który lubi palić, aktywnie podróżuje; to po Polsce (fizycznie), to po Hongkongu (mentalnie) – przekonując, że inwestycja w jego xAI to antonim przepalonych pieniędzy. A poza tym: FTC Federalna Komisja Handlu, w skrócie FTC, wszczęła dochodzenie w sprawie niedawnych inwestycji i partnerstw z udziałem […]
Cześć! Nie przedłużając.. DAVOS Na Światowym Forum Ekonomicznym w Davos duży nacisk położono na wpływ sztucznej inteligencji – między innymi na edukację młodego pokolenia. Entuzjastycznie wypowiadano się na temat prywatnych korepetycji, które odgrywają istotną rolę w edukacji, a na które nie każda rodzina może sobie pozwolić. Teraz będą mogły być prowadzone przez wirtualnych nauczycieli, w […]
Dzień dobry! Oto drugi tydzień naszych newsów. W Zdroficie już jakby luźniej, choć niektórzy są mocni i zaciskają zęby aż do lutego. Są też jednostki wierne swojej strategii przez długi czas. Dla przykładu tak jak przez cały 2023 rok, tak i w tym tygodniu Google nie zwalnia tempa w swoim projekcie GenAI. Zwalnia za to […]
Cześć! Nowy Rok, wszystko wskazuje na to, że Ważny Rok – globalnie. A zainteresowanie całego świata skrada temat sztucznej inteligencji, do której przypisywane są niejednokrotnie narzędzia niezgodne z jej definicją. My jednak jesteśmy świadomi definicji, a dzięki naszej cotygodniowej prasówce ze świata AI, Wy świadomi będziecie najbardziej dyskusjogennych wydarzeń, oświadczeń i zapowiedzi z branży. Prasówka […]