Výskumné projekty v oblasti spracovania prirodzeného jazyka

Vedecký projekt

Príprava na bakalársky projekt pre študentov 2. ročníka programu Počítačové siete.

Vedúci: Ing. Daniel Hládek PhD.

Požiadavky:

• Chuť naučiť sa niečo nové.

Obsah:

• Naštudujete si zadanú problematiku.
• Naučte sa základy jazyka Python.
• Podrobne si prejdite minimálne dva tutoriály.
• Napíšte krátky report na 2 strany kde napíšete čo ste urobili a čo ste sa dozvedeli.

Graph RAG - vyhľadávanie s pomocou znalostného grafu

• oboznámte sa graph-rag plugin pre langchain
• oboznámte sa s graphrag.com

Tvorba grafov pomocou jazykového modelu

• oboznámte sa graph-rag plugin pre langchain
• oboznámte sa s graphrag.com
• zistite, ako sa extrahujú entity z textu.

Zarovnávanie jazykových modelov

• zistite, čo je to DPO
• oboznámte sa s Huggingface TRL

Bakalárske práce

Ak ste študentom 2. alebo 3. ročníka odboru Počítačové siete na KEMT a máte záujem o niektorú z týchto tém, napíšte e-mail na daniel.hladek@tuke.sk.

Naučíte sa:

• niečo o spracovaní prirodzeného jazyka
• vytvárať webové aplikácie
• pracovať s nástrojmi v jazyku Python
• prekonávať technické problémy

Požiadavky:

• chcieť sa naučiť niečo nové

Témy:

Sumarizácia medicínskych textov

• pomôžete pri písaní zdravotnej dokumentácie

Znalostný graf z oblasti vzdelávania

• Zostavíte pravidlá, ktoré pomôžu učiteľom pri príprave na hodinu

Získavanie právnych informácií cez OpenWebUI

• napíšete modul pre vyhľadávanie v zákonoch.

Zostavenie myšlienkovej mapy zo zadaného textu.

• nakreslíte schému myšlienok z textu

Vyhľadávanie v judikatúre

• Vyhľadáte rozsudky súvisiace so zadaným kľúčom.

Generovanie trénovacích dát pre úlohu vyhľadávania

• Použijete jazykový model pre zlepšenie iného jazykového modelu

Generovanie trénovacích dát pre plnenie inštrukcií.

• Použijete jazykový model pre zlepšenie iného jazykového modelu

Dotrénovanie jazykového modelu pre plnenie inštrukcií

• Zlepšíte slovenský jazykový model

Agent pre podporu manažmentu záverečných prác

• Pomôžete mne aj kolegom z katedry

Učenie odmenou a trestom vo veľkých jazykových modeloch RHLF

• Zistite čo je to veľký jazykový model a ako sa trénuje.
• Zistite čo je to učenie odmenou a trestom.
• Oboznámte sa s frameworkom https://huggingface.co/docs/trl/index
• Zistite, ako je možné modifikovať správanie modelu pomocou učenia s odmenou a trestom.

Dolovanie otázok a odpovedí vo webovom korpuse.

• Vytvorte webový korpus otázok a odpovedí v slovenskom jazyku. Preskúmajte existujúce dáta zo slovenského internetu a nájdite časti kde sa nachádzajú otázky a odpovede.
• Spracujte nájdené otázky a odpovede do podoby vhodnej na strojové spracovanie.

Vyhľadávanie právnych informácií pomocou neurónových sietí

• Oboznámte sa s existujúcimi modelmi pre vyhľadávanie v texte.
• Vytvorte systém pre vyhľadávanie v zákonoch a vyhláškach.
• Vyhľadajte súvisiace paragrafy so zadanou otázkou
• Vyhodnotte či je zadané tvrdenie v súlade s legislatívou alebo nie.

Staršie témy

Veľký jazykový model ako inteligentný agent

• Zistite čo je to veľký jazykový model
• Oboznámte sa frameworkom LangChain
• Prečítajte si článok https://arxiv.org/abs/2210.03629
• Prejdite si tutoriál https://python.langchain.com/v0.1/docs/modules/agents/agent_types/react/

Korekcia textu pomocou neurónových sietí

• Oboznámte sa s existujúcimi systémami pre neurónový strojový preklad.
• Aplikujte existujúci model na opravu textu vo vybraných úlohách.
• Vyhodnoťte model pomocou overovacej množiny.

Vyhodnotenie a dotrénovanie generatívnej umelej inteligencie

• Vypracovať prehľad existujúcich spôsobov vyhodnotenia a množín pre trénovanie veľkých jazykových modelov
• Vykonať strojový preklad vybranej dátovej množiny

RAG: Generovanie jazyka s pomocou vyhľadávania -Retrieval augmented generation

• Zistite čo je to Retrieval Augmented Generation a napíšte o tom správu.
• Nainštalujte si a vyskúšajte softvér PrivateGPT

Dialógový systém pomocou RASA

• Nainštalujte si a vyskúšajte framework RASA
• Vytvorte pravidlá pre chatbota hovoriaceho po slovensky.

Práca s frameworkom ParlAI

• Nainštalujte si a vyskúšajte framework ParlAI
• Vypracujte tutoriál.

Tvorba slovenského webového korpusu

• Zostavte zoznam kvalitných zdrojov slovenských textov.
• Nastavte agenta pre zber textu pre zber textu zo slovenského internetu.
• Vytvorte webovú aplikáciu pre sledovanie zberu.

Slovenská konverzačná umelá inteligencia

• Oboznámte sa s existujúcimi modelmi pre generovanie slovenského jazyka.
• Pripravte korpus diskusií v slovenskom jazyku. Vyberte vhodný zdroj diskusií a pripravte ho do podoby vhodnej na trénovanie neurónových sietí. Napr. Modrý koník, Modrá strecha, iné diskusie.
• Natrénujte neurónovú sieť pre odpovedanie v diskusiách.
• Vytvorte webové demo.

Dialógový systém pre potreby samosprávy

• Zostavte bázu pravidiel dialógového systému pre komunikáciu samosprávy s občanmi pre riešenie problémov súvisiacich s vybranou agendou.
• Vytvorte množinu pre vyhodnotenie navrhnutej databázy.

Systém pre monitoring médií

• Navrhnite a implementujte systém pre extrakciu textu a metainformácií z webových stránok alebo sociálnych sietí
• Modifikujte agenta pre získavanie textu tak, aby do databázy ukladal sledované webové stránky v pravidelných intervaloch.

Systém pre generovanie textu

• Natrénujte neurónovú sieť tak, aby vedela generovať nové texty na základe zadaných vstupov
• Vytvorte virtuálneho poradcu, ktorý bude „riešiť“ zadaný problém. Na naučenie použite existujúcu databázu „dobrých“ rád zo serverov typu „Modrý koník“.

Extrakcia informácií z webových stránok

• Naštudujte si knižnicu BeautifulSoup a navrhnite skripty pre parsovanie niekoľkých webových stránok

Dotrénovanie jazykových modelov

• Naučte sa pracovať s knižnicou HuggingFace transformers.
• Naučíte sa základy neurónových jazykových modelov.
• Dotrénujete neurónovú sieť na vybraný problém.