The Data Game
About all data related stuff
TECHNIKALIA
Dane timestamp, czyli te zawierające informacje o dacie i czasie, występują w wielu dziedzinach, takich jak finanse, zdrowie publiczne czy telekomunikacja. Przykłady takich danych to pomiary temperatury zarejestrowane co godzinę, daty i godziny transakcji finansowych, znaczniki czasowe postów na mediach społecznościowych czy zapisy medycznych pomiarów pacjentów. Utworzenie DataFrame z danymi czasowymi Za pomocą pandas.data_range stworzymy […]
Pomyślmy o uczeniu maszynowym jako o sztuce tworzenia modeli, które dobrze przewidują wyniki na podstawie przyszłych, nieznanych danych. Okej, wydaje się proste, ale w tym kontekście zadać można sobie pytanie: na ile dokładnie chcemy nauczyć się danych obecnych? W praktyce to, że model działa świetnie na danych, na których go trenowaliśmy, nie musi wcale oznaczać, […]
Że co? Ostatnio Brent Ozar miał bardzo ciekawy livestream odnośnie znajdowania najdłuższych wartości tekstowych w kolumnach w tabeli. W tym celu użył tabeli dbo.Users z kopii bazy StackOverflow i chciał znaleźć po dwie najdłuższe wartości z kolumn DisplayName, Location oraz WebsiteUrl. My spróbujemy zrobić to samo i porównać różne podejścia. Testy zostaną przeprowadzone na bazie […]
Że co? Mamy proste zadanie. Określić medianę czasu odpowiedzi na pytanie zadane na StackOverflow w tagu “sql-server” w czasie tygodnia. Kiedy najszybciej otrzymamy odpowiedź? O której godzinie zadać pytanie? Którego dnia tygodnia? Użyjemy do tego celu średniej bazy StackOverflow z roku 2013 (trochę stare dane) stąd. Zaczynamy! Dane na temat wpisów znajdują się w tabeli […]
Czym są dane cykliczne? Dane cykliczne to rodzaj danych, które mają cykliczny lub powtarzający się charakter w określonym interwale lub cyklu. Te dane powtarzają się lub zmieniają w określony sposób w zależności od pewnego okresu czasu, kąta lub innego cyklu. Przykłady danych cyklicznych obejmują: Kodowanie dni tygodnia Weźmy pod lupę kodowanie dni tygodnia. Załóżmy, że […]
Przez ostatnie 4 miesiące pracowaliśmy wraz z Michaliną nad projektem na konkurs Kaggle CAFA 5 Protein Function Prediction. Było to nasze pierwsze uczestnictwo w konkursie na platformie Kaggle, ale udało nam się ostatecznie zająć 37 miejsce, na 1675 zespołów. Czego dotyczył konkurs? https://www.kaggle.com/competitions/cafa-5-protein-function-prediction W ramach konkursu mieliśmy przewidzieć funkcje (GO) dla określonych białek, wykorzystując jedynie […]
Unikatowość w indeksie Jak dobrze wiemy, czy to indeks nieklastrowy czy klastrowy (skupiamy się na indeksach “rowstore”) może zostać opatrzony opcjonalną klauzulą UNIQUE która definiuje go jako unikatowy, czyli nie posiadający duplikatów w kolumnach tworzących jego definicję (jednak duplikaty spokojnie mogą się znajdować wśród kolumn zawartych w klauzuli INCLUDE). Przygotujmy sobie tabelę z takim indeksem […]
W naszym codziennym życiu jesteśmy otoczeni cenami i kwotami pieniędzy zapisanymi w formacie zmiennoprzecinkowym, takim jak 4,49 zł za mleko czy 199,99 zł za nowe buty. Wydaje się to być naturalnym rozwiązaniem, które ułatwia nam zarówno dokonywanie zakupów, jak i prowadzenie finansów osobistych. Jednak warto zastanowić się, dlaczego eksperci finansowi i programiści zdecydowanie odradzają trzymanie […]
Dane odgrywają kluczową rolę w podejmowaniu decyzji i ważne jest, abyśmy rozumieli znaczenie czystości naszych danych treningowych i testowych. Kontaminacja danych treningowych i testowych to subtelny, ale potencjalnie destrukcyjny problem, który może prowadzić do błędnych wniosków i wyników modeli. Czym jest kontaminacja danych treningowych i testowych? Przypomnijmy, że walidacja ma na celu pomiar, jak model […]
Pytanie zawarte w tytule wydaje się być banalne, ale spotkałem się już z osobami, które mimo dużego doświadczenia potrafiły udzielić nie do końca poprawnej odpowiedzi 😉 Nauka przez zabawę Najprościej będzie wyjaśnić różnicę pomiędzy nimi za pomocą przykładów. Skorzystamy w nich z bazy StackOverflow2013 i tabeli dbo.Posts. Zaczniemy od wrzucenia pierwszych 100 000 wierszy do […]
NEWS
Hejka! Zapraszam na skrót z minionych dwóch tygodni, który przyswoić możecie przy ciepłej herbatce w te mroczne, szare dni. W opublikowanym przez Google 14 listopada ostrzeżeniu wskazano kilka najważniejszych rodzajów oszustw internetowych. Uwagę zwrócono między na niebezpieczne techniki ataków typu cloaking, które nabierają nowego wymiaru dzięki wykorzystaniu sztucznej inteligencji. Cloaking polega na ukrywaniu przed użytkownikiem […]
Hejka po dłuższej przerwie! Zaczynamy świeżym tematem. Raptem kilkanaście godzin temu do użytkowników trafiła, zapowiedziana 25 lipca, funkcja SearchGPT od OpenAI, umożliwiająca, w przeciwieństwie do tradycyjnych modeli językowych, na integrację z internetem w czasie rzeczywistym. SearchGPT ma dostęp do aktualnych informacji z sieci, co pozwala na udzielanie odpowiedzi opartych na najnowszych danych. Ponadto SearchGPT dostarcza […]
Strzałeczka. Nvidia przejęła OctoAI, startup specjalizujący się w optymalizacji modeli uczenia maszynowego. To już piąta akwizycja Nvidii w 2024 roku, co czyni aktualnie nam panujący rok rekordowym pod względem liczby przejęć. OctoAI, założone w 2019 roku przez Luisa Ceze, skupiło się na tworzeniu oprogramowania zwiększającego wydajność modeli uczenia maszynowego na różnych platformach sprzętowych. Oprogramowanie OctoAI […]
Cześć i czołem! Przejdźmy od razu do rzeczy najistotniejszych, poważnych i brzemiennych w skutkach dla Nas wszystkich. Roblox właśnie pokazał nowe narzędzie AI, ubogacające możliwości platformy mocno stawiającej na sztuczną inteligencję. Zmiany mają zmienić sposób tworzenia gier i map, pozwalając na generowanie światów na bieżąco, bez potrzeby skomplikowanego programowania w języku Lua. Generatywna sztuczna inteligencja, […]
Siemka spocone świry 🥶 OpenAI ogłosiło znaczącą umowę z Condé Nast, jednym z największych wydawców na świecie, odpowiedzialnym za takie tytuły jak WIRED, The New Yorker czy Vogue. Jest to kolejna współpraca agencji mediowych z twórcami sztucznej inteligencji, a na celu ma naturalnie wykorzystanie treści tworzonych przez redaktorów do trenowania swoich modeli językowych. OpenAI dodało, […]
Siemka sportowe świrki! Jak Wasze babcie zapytają znów, na co Wam te ejaje (nie pytajcie skąd wiem), to macie już całkiem namacalny i tradycyjny przykład wykorzystania. Na pewno jest bardziej namacalny, niż zasilacze komputerowe napędzane AI. Przechodząc do sedna, to centrum danych firmy Equinix w Saint-Denis wykorzystuje nadmiar ciepła generowanego przez serwery do ogrzewania basenu […]
Cześć! Wam, młodym, dynamicznym, przepełnionym optymizmem niewątpliwie udziela się atmosfera wakacji, toteż dużo czasu Wam dziś nie zajmę 🙂 Meta ogłosiła wydanie modelu sztucznej inteligencji Llama 3.1, dystrybuowanego w modeli open-source, i podejmującego rywalizację z modelami, takimi jak GPT-4. Llama 3.1 405B składa się z 405 miliardów parametrów, co czyni go największym stworzonym przez Metę […]
Cześć i czołem, AI nowotworem Tak może uważać Kenijski rząd. Szybko przeszedłem do sedna, prawda? Ale teraz są wakacje, więc postanowiłem krótko i zwięźle, ew bd stos. sporo skrt. Protesty antyrządowe w Kenii, zainicjowane głównie przez młodych obywateli zorganizowanych za pośrednictwem platform takich jak TikTok i X, zyskały na sile dzięki wykorzystaniu zaawansowanych narzędzi AI. […]
Siemson. Konkurs 1839 Awards to wydarzenie przeznaczone dla miłośników fotografii, a od pewnego czasu znaleźć w nim możemy kategorię fotografii wygenerowanej przez sztuczną inteligencję. Tutaj właśnie doszło do dość zaskakującej sytuacji. Zdjęcie flaminga, wykonane przez Milesa Astraya, zostało początkowo uznane za jedno z najlepszych w kategorii AI, zdobywając, poza uznaniem, trzecie miejsce oraz nagrodę publiczności. […]