logo
KURIER
Polska reklama i poligrafiaKURIER

Polski odpowiednik GPT?

  PR 10.03.2024, przeczytano 383 razy
ilustracja

Politechnika Gdańska i AI Lab z Ośrodka Przetwarzania Informacji (OPI) – Państwowego Instytutu Badawczego opracowały polskojęzyczne generatywne neuronowe modele językowe na bazie terabajta danych tekstowych wyłącznie w języku polskim. Qra to pierwszy tej skali i najlepszy w modelowaniu języka polskiego odpowiednik otwartych narzędzi Mety czy Mistral AI. Qra lepiej rozumie treści w języku polskim, lepiej rozumie pytania zadawane w tym języku i lepiej sama tworzy spójne teksty.


Artykuł pochodzi z portalu Signs.pl: https://www.signs.pl/polski-odpowiednik-gpt,403393,artykul.html

PG i OPI opracowały polskojęzyczne generatywne modele językowe o nazwie Qra, które zostały utworzone na podstawie korpusu danych zawierającego teksty wyłącznie w języku polskim. Wykorzystany korpus liczył inicjalnie łącznie prawie 2TB surowych danych tekstowych, w wyniku procesu czyszczenia i deduplikacji uległ prawie dwukrotnemu zmniejszeniu, aby zachować najlepszej jakości unikalne treści. To pierwszy model generatywny wstępnie wytrenowany na tak dużym zasobie polskich tekstów, do którego uczenia użyto wielkich mocy obliczeniowych. Dla porównania modele Llama, Mistral czy GPT są w większości trenowane na danych anglojęzycznych, a jedynie ułamek procenta korpusu treningowego stanowią dane w języku polskim.

Dzięki STOS, najbardziej złożoną wersję modelu wytrenowano w miesiąc

Środowisko obliczeniowe dedykowane pod budowę modeli sztucznej inteligencji powstało na Politechnice Gdańskiej w Centrum Kompetencji STOS, jednym z najnowocześniejszych centrów IT w tej części Europy, gdzie znajduje się superkomputer Kraken. W procesie wykorzystano klaster 21 kart graficznych NVidia A100 80GB. Przygotowanie środowiska, utworzenie narzędzi i modeli oraz ich trenowanie (w oparciu m.in. o treści z takich obszarów jak prawo, technologia, nauki społeczne, biomedycyna, religia czy sport) i testowanie zajęło zespołom około pół roku. Dzięki rozbudowanej infrastrukturze CK STOS właściwy proces trenowania w przypadku najbardziej złożonego z modeli został skrócony z lat do około miesiąca.

Qra lepiej posługuje się językiem polskim

W wyniku współpracy PG i OPI powstały trzy modele, które różnią się złożonością, tj. Qra 1B, Qra 7B, Qra 13B. Modele Qra 7B oraz Qra 13B uzyskują istotnie lepszy wynik perplexity, czyli zdolności do modelowania języka polskiego w zakresie jego rozumienia, warstwy leksykalnej, czy samej gramatyki, niż oryginalne modele Llama-2-7b-hf (Meta) oraz Mistral-7B-v0.1 (Mistral-AI).

Testy pomiaru perplexity przeprowadzono m.in. na zbiorze pierwszych 10 tysięcy zdań ze zbioru testowego PolEval-2018 oraz dodatkowo przetestowano modele na zbiorze 5 tysięcy długich i bardziej wymagających dokumentów napisanych w 2024 roku.

Pod rozwiązania wymagające lepszego rozumienia języka

Modele Qra będą stanowić podstawę rozwiązań informatycznych do obsługi spraw i procesów, które wymagają lepszego zrozumienia języka polskiego.

Na tym etapie Qra jest fundamentalnym modelem językowym, który potrafi generować poprawne gramatycznie i stylistycznie odpowiedzi w języku polskim. Tworzone treści są bardzo wysokiej jakości, co potwierdza m.in. miara perplexity. Teraz zespół rozpocznie pracę nad strojeniem modeli, aby zweryfikować ich możliwości pod kątem takich zadań, jak klasyfikacja tekstów, dokonywanie ich streszczeń, odpowiadania na pytania.

Opracowane modele zostały upublicznione w dedykowanym repozytorium OPI-PG na platformie huggingface. Każdy może pobrać model i dostosować go do swojej dziedziny i problemów czy zadań jak np. udzielanie odpowiedzi.

Prezentacja modelu Qra w CK STOS

Rezultaty współpracy PG i OPI zostaną zaprezentowane w najbliższych tygodniach.

Źródło: Politechnika Gdańska

PR - Tekst opublikowany bezpłatnie na podstawie promocyjnych materiałów prasowych. Redakcja nie odpowiada za jego treść.

REKLAMA

Komentarze

Zaloguj się i dodaj komentarz

Najnowsze w tym dziale

Herbapol odświeża markę: rebranding i nowy logotyp
Herbapol, producent produktów ziołowych, ogłasza strategiczną zmianę w swojej linii kosmetyków. Firma postanowiła skupić się na eksponowaniu silnej i wiarygodnej marki Herbapol, rezygnując z submarki Polana. Zmiana ta jest efektem dogłębnych badań rynkowych i ma na celu wzmocnienie zaufania konsumentów oraz podkreślenie najwyższej jakości produktów...
Kampanie programmatic DOOH z platformą Display&Video360
AMS, Salestube i Value Media zrealizowały pierwsze kampanie programmatic DOOH za pośrednictwem platformy Display&Video360
Logo Superbet koszulkach Górnika Zabrze
Nowa, dwuletnia umowa, w ramach której logo Superbet znajdzie się na froncie koszulki Górnika Zabrze to ukoronowanie udanej współpracy w poprzednich trzech latach. – Chcemy razem budować wielkiego Górnika. Widzimy, że klub zmierza w dobrym kierunku i dlatego zdecydowaliśmy się jeszcze mocniej zaangażować w ten sponsoring – podkreśla Łukasz...
Premiera Danio Jogurt Pitny ze wsparciem Altavia Kamikaze + K2
Agencja Altavia Kamikaze + K2 wygrała przetarg na koncept i realizację kreatywno-strategicznych działań aktywacyjnych związanych z launchem nowego produktu w portfolio Danone - Danio Jogurt Pitny.
Moc równowagi w kampanii Energi Obrót
Fotobalkonika, magazyny energii czy pompy ciepła – to tylko kilka z wielu produktów okołoenergetycznych, które w swojej ofercie posiada Energa Obrót. Spółka 15 lipca rozpoczyna nową kampanię świadomościowo-produktową sygnowaną hasłem Moc równowagi w Twoim ekosystemie. Kampania potrwa do końca października. Jej...
 
Signs.pl - Polska Reklama i Poligrafia © 1997-2024 ICOSWszystkie prawa zastrzeżone. ISSN 2657-4764