Feat/sparse

[magbb]

Implements sparse matrices for counts:

import dhlab as dh
corpus = dh.Corpus(doctype="digibok", limit=1000)

# with sparse matrix
cnt=corpus.count(sparse=True)

# without sparse matrix (this will probably not work on a 16 GB RAM laptop)
cnt=corpus.count()

Combined with cutoff, this could be a powerful option, especially for larger corpora.

[Yoonsen]

Det her er jo framifrå!
Eksisterende kode vil fungere normalt?

[magbb]

Det her er jo framifrå! Eksisterende kode vil fungere normalt?

Jepp, det skal den gjøre. Defaulten er false. Merger i morgen.

[magbb]

La til funksjonalitet for summering over glisne matriser. Uten dette ser det ut til at Pandas gjøre matrisene tette og fyller minnet.

import dhlab as dh
corpus = dh.Corpus(doctype="digibok", limit=1000)

# with sparse matrix
cnt=corpus.count(sparse=True)
cnt.sum()

[Ingerid]

Ser bra ut!