Myślisz, że człowiek nie napisałby takich głupot?
Sprawdź, czy pachnie AI.
01 / WKLEJ PODEJRZANY TEKST
INPUT: UTF-8 / PL / ENGotowy. Gotowość aplikacji nie potwierdza dostępności JEV.
TO AI!
Co wpłynęło na decyzję?
↗ ZA AI
Cechy podwyższające ocenę autorstwa AIUWAGA / NIE WIERZ MASZYNIE NA SŁOWO. Model szacuje prawdopodobieństwo autorstwa generatywnego AI na podstawie analizy statystycznej. Nie jest wyrocznią i często się myli. Zapisujemy przesłany tekst i wynik analizy [Prywatność i kontakt]. Fragmenty potrzebne do analizy przekazujemy do JEV firmy TypeSafe. Nie przesyłaj danych osobowych ani informacji poufnych, gdyż to narzędzie nie jest przeznaczone do ich przetwarzania. Załóż, że wszystko, co tu wkleisz, może być publicznie dostępne.
Narzędzie jest przyzwyczajone do tekstów z newsów, plotek, artykułów o nauce, technologii i pociągach, mających co najmniej 200 słów. Wiersz lub przepis na pizzę z ananasem? Model może ocenić Twoje wybory życiowe, ale niekoniecznie wiarygodnie oceni autorstwo.
Jak to działa? / Dla człowieka
HELP_01.TXTTekst zostaje rozłożony na części. Liczymy długości słów i zdań, przecinki, średniki, przymiotniki, przeczenia, orzeczenia i inne elementy języka. Szukamy też powtarzalnych konstrukcji, na przykład „nie X, nie Y, ale Z”.
Do rozpoznawania funkcji fragmentów tekstu używamy też JEV — zewnętrznego modelu językowego, który zamiast odpowiadać na pytania jak typowy chatbot, przypisuje fragmentom etykiety opisujące ich rolę, np. „podsumowanie”, „cytat” lub „metafora”. JEV nie wie, do czego wykorzystujemy te oznaczenia, i nie próbuje rozpoznać, czy tekst napisał inny LLM. Dopiero nasz model analizuje otrzymane etykiety, buduje z nich reguły i mierzalne cechy, a następnie ocenia prawdopodobne autorstwo tekstu.
TEKST
Twój artykuł trafia do analizatora.
ETYKIETY
Narzędzia językowe oznaczają części mowy i strukturę zdań.
JEV + REGUŁY
Warstwa analizy wykrywa bardziej złożone konstrukcje, np. dygresje i anegdoty.
LICZBY
Statystyki i trafienia zamieniamy na liczby, które podstawiamy do równania.
WYNIK
Model porównuje cechy z tym, czego nauczył się na oznaczonych tekstach.
Model jest trochę jak bardzo długie równanie: statystyki i reguły to jego zmienne, a odpowiedzią jest ocena prawdopodobieństwa, że tekst napisała maszyna. Uczy się na tysiącach oznaczonych przykładów autorstwa ludzi i różnych modeli AI.
Dzięki takiej budowie modelu każdy wynik możemy dokładnie wyjaśnić: każda obliczona statystyka, każda reguła odkryta w tekście, każda z cech ma dokładną wagę i liczbowy wpływ na wynik. Dzięki temu pokazujemy nie tylko końcową ocenę, ale też wszystkie argumenty jakie mamy za i przeciw. Możesz je sam przeanalizować i wyciągnąć własne wnioski.
Potrafi się mylić. Celem projektu jest skuteczność rzędu 9 na 10 tekstów (dla tekstów podobnych do tych, na których trenowałem ten model), ale zawsze możesz być tym pechowcem 1/10. Dla niektórych tekstów (np. instrukcja podłączenia drukarki) wynik może być znacznie mniej wiarygodny. Nawet drobna ręczna redakcja lub tekst z nieznanego modelu potrafią zmienić ocenę.
Inne metody, w tym głębokie sieci neuronowe, mogą osiągać lepsze wyniki. Ten projekt stawia także na interpretowalne cechy. Wkład danej cechy w ocenę modelu nie musi jednak oznaczać, że faktycznie spowodowała ona powstanie tekstu z użyciem AI.
Co widzi nasz model? / Cechy i reguły
MODEL_EXPLAINER.EXEJakie statystyki, cechy i reguły językowe bierze pod uwagę model? W osobnym katalogu wyjaśniamy ich znaczenie, kierunki wpływu na ocenę i pokazujemy przeglądarkę aktywne reguły.
Katalog otworzy się w nowej karcie lub oknie.
Jak to działa? / Dla nerda
README_TECH.TXTDane: dwa języki, dwa rodzaje autorstwa
Model przygotowaliśmy na 7453 tekstach: 4693 AI i 2760 HUMAN. Po polsku było ich 3983 (2473 AI i 1510 HUMAN), a po angielsku 3470 (2220 AI i 1250 HUMAN). Źródła obejmują zbiór ŚMIGIEL, Wikinews, OANC, KPWr, NASA Earth Observatory, artykuły dziennikarskie i własne generacje AI. Wśród modeli generujących były m.in. rodziny GPT, Llama, Gemma, Mistral, Bielik i PLLuM. Poniżej załączamy przykładowe teksty, które znalazły się w naszej bibliotece.
Teksty mają od 193 do 2390 słów, średnio około 427, licząc fragmenty oddzielone spacjami i innymi białymi znakami.
Do nauki przeznaczyliśmy 5257 tekstów, a do oceny 2196, czyli w przybliżeniu 70/30. Podział uwzględniał proporcje języków i etykiet oraz grupy powiązanych tekstów, aby duplikaty nie trafiły po obu stronach.
NLP: od słów do mierzalnych cech
Całość działa w Pythonie. spaCy i osobne modele polski oraz angielski dzielą tekst na zdania i słowa, rozpoznają części mowy, formy podstawowe wyrazów oraz zależności składniowe. Liczymy długości, interpunkcję, proporcje części mowy i różnorodność słownictwa. Parser może się mylić, język polska jest trudna.
JEV od TypeSafe pomaga tylko tam, gdzie potrzebna jest ocena funkcji zdania. Na przykłąd sprawdza, czy zdanie na końcu akapitu jest podsumowaniem, z uwzględnieniem potrzebnego kontekstu. Nie pytamy go, czy tekst napisała AI. Pozostałe aktywne reguły działają lokalnie.
Obliczenia tablicowe wykonuje NumPy, a w narzędziach przygotowania modelu korzystamy także z SciPy i scikit-learn. Dane tabelaryczne obsługują pandas i PyArrow. To klasyczna analiza cech tekstu, a nie kolejny duży model językowy ukryty za formularzem.
Cechy i reguły: co zostawiliśmy
W eksperymentach znaleźliśmy definicje przydatnych wzorców. Obejmują one kolejność części mowy i wyrazów, związki między słowami oraz powtórzenia łączące zdania.
Przed uczeniem korekty sprawdziliśmy stałość cech na danych treningowych i usunęliśmy kolumny identyczne lub nadmiernie podobne. Z 516 przygotowanych kolumn zostało 508. Regularyzacja podczas uczenia wyzerowała część współczynników: w zapisanym modelu 229 aktywnych kolumn opisuje 202 wzorce językowe i trzy dodatkowe grupy reguł. Te trzy grupy mierzą podsumowania akapitów, rzeczowniki nazywające czynności lub zjawiska z ustalonej listy oraz słowa z przygotowanego słownika stylu.
„Aktywna” oznacza, że model rzeczywiście używa danej kolumny. Nie oznacza, że sama reguła rozpoznaje autora ani że każda musi wystąpić w przesłanym tekście. Aktualny zestaw można przejrzeć w katalogu.
Model: baza i korekta
Model bazowy to liniowy klasyfikator logistyczny, korzystający z 67 statystyk tekstu. W zaakceptowanej wersji 49 z nich ma niezerowe współczynniki. Zapamiętane podczas nauki uzupełnianie braków i skalowanie są takie same dla każdego kolejnego tekstu.
Druga, również liniowa część uczy się korekty wyniku modelu bazowego na podstawie reguł. Otrzymuje wynik bazowy jako punkt wyjścia, a regularyzacja ogranicza rozbudowywanie korekty o zbędne cechy. Obie części łączymy przed przeliczeniem wyniku na klasy AI/HUMAN. Ustawienia są zapisane razem z modelem; analiza użytkownika niczego nie doucza i nie wybiera nowych reguł.
Takie rozwiązanie pozwala rozłożyć decyzję na liczbowe wkłady. Waga cechy opisuje model, a jej wkład zależy także od tego, jaką wartość przyjęła w konkretnym tekście. Tych wkładów nie należy czytać jako zmian prawdopodobieństwa o podaną liczbę punktów procentowych.
Trening i zapisane wyniki
Model dopasowaliśmy na całym zbiorze treningowym, a następnie zapisaliśmy parametry, preprocessing i wybrane kolumny. W zapisanej ocenie model poprawnie rozpoznał autorstwo w około 95 na 100 tekstów.
Rezultat nie gwarantuje takiej skuteczności na nowym źródle, innym gatunku tekstu lub po ręcznej redakcji.
Co dzieje się po kliknięciu analizy?
- Parser wybranego języka analizuje oryginalny tekst, zachowując pozycje znaków.
- Obliczamy statystyki i sprawdzamy aktywne wzorce językowe.
- Po Twojej zgodzie JEV ocenia wymagane zdania i ich kontekst. Nie zastępujemy brakującej odpowiedzi zerem.
- Z pomiarów powstają cechy o tej samej definicji i skali co podczas nauki.
- Model bazowy oblicza wynik bazowy, warstwa regułowa go koryguje, a wspólny model zwraca wynik dla całego tekstu.
- Pokazujemy wkłady przesuwające decyzję w obie strony oraz cytaty z rzeczywistych lokalnych trafień. Statystyki całego tekstu nie dostają sztucznych cytatów.
Jak to działa? / Dla naukowca
PAPER_DRAFT.TXTOpis formalnej metodologii eksperymentu, hipotez, doboru korpusu, podziału danych, statystycznej istotności wyników i ograniczeń badania pojawi się po zakończeniu analizy.
█Teksty, na których się uczył
DATASET_EXPLORER.EXEPrzykładowe teksty użyte do treningu i testów modelu.
TRAIN: materiał treningowy. TEST: zbiór oceny, nie materiał treningowy. Dostępne są wyłącznie rekordy dopuszczone do publikacji.