Større mængder af danske tekst / Artikler

Jeg arbejder pt på et lille hobby projekt, og har i den forbindelse brug for større mængder af danske tekster / artikler. De skal helst gerne være noget som ligger frit tilgængeligt for alle - og helst gerne noget som er "let læseligt" for pøblen, men dette er ikke super vigtigt :). Hvis det ligger i dumps, ville det være optimalt :P - men heller ikke nødvendigt. Har pt: lex.dk Alle danske wiki-artikler Det må gerne være tekst, lignende ting man kan finde på ovenstående sider :). Har DR nogen gode forslag :)?

Er der tale om en klassisk ldls?

#1 Ved ikke hvad ldls er - så det gør jeg ikke sige :P

#2 Lav dine lektier selv.:D

#3 Læste du faktisk mit indlæg inden du besluttede dig for at kommentere? jeg beder om forslag til hjemmesider med artikler, ikke om at folk skal scrape det for mig - eller vurdere om jeg kan bruge det ;). Jeg har tydeligtvis brugt tid på det, når jeg allerede har fundet et par større samlinger - men til fremtiden, hvad er cutoff'et mellem "ldls" og "du må gerne spørge om forslag"?

Hvad med det kongelige bibliotek? Det ligner at der er en hulens masse litteratur til rådighed dér: https://tekster.kb.dk/

Og bare ud af ren nysgerrighed :) - Hvad går dit hobbyprojekt ud på?

#4 Jeg havde lige glemt, at det ikke er alle, der kender alle DR-memes. Jeg beklager.:)

#5 / #6 Tak, den vil jeg give et kig! Træner/fine-tuner en GPT-2 model til at kunne snakke/skrive dansk

Hvis det blot handler om tekst: Hestenettet.dk dailyrush.dk Dr.dk har også en hulens masse tekst der er let tilgængelig. Altinget.dk måske? Videnskab.dk men der er alt ikke nødvendigvis lige tilgængelig. Hvad fylder alle danske wikipedia artikler?

#8 fedt, pøj pøj med det??

#9 Perfekt! Jeg havde ikke overvejet nogen af de sider. Det dump jeg har er 350mb zippet ~ 120k artikler or so

Med #9 forslag er jeg oppe på ~ 700mb (efter alt er formateret, og strippet for "unødvendige ting") eller godt og vel 353.000 danske artikler. Danske Artikler med specifikke emner søges stadig - er gået lidt væk fra random text (dvs. hestenettet, diverse forum posts osv), da det præger model'en og hvordan den skriver :)

Artikler fra diverse nyheds medier kan ikke bruges? Hvis det skal være lidt mere emne relateret kan du måske undersøge diverse fagblade de er dog desværre ofte låst men måske du er medlem et sted,

Der er måske ikke 1000'vis af artikler, men der mange fagtekster til skoleelever ved Gyldendal, Clio og Alinea, men de kræver desværre login. Muligvis har de for tiden mulighed for gratis login.

Hvad med sports fora fx bold.dk og Tech og film - newz.dk, filmz.dk og kan ikke huske hvad den anden filmside der er bedre hedder.

#15 Har allerede et par sider med film reviews - meeen mon ikke man også lige kunne klare filmz :P. Rigtig god ide med sport, det havde jeg ikke overvejet (bold.dk er dog ikke super god til formålet). Jeg har ret meget tech, så det er godt med lidt andre genre - måske skal jeg seogså at finde nogen sider med krop/sundhed/mad/(sport)

Videnskab.dk Skeptica.dk (se under "Indeks" i toppen)

#17 Videnskab.dk, havde små 30k artikler - så den var perfekt :+1: skeptica.dk, virker umiddelbart ikke til at ha så mange? eller kan jeg ikke finde dem?

#18 Der ligger da en del her (ikke så meget som ved ægte medier): https://www.skeptica.dk/?page_id=9834