Raw databasen

class: title-slide

# Raw databasen
### Pre-prossessing av grunnkrets data

---

## Raw databasen

Frontend **raw-database_FE.accdb** i `\PRODUKSJON\STYRING` mappe

Backend **raw-database_BE.accdb** i `\PRODUKSJON\STYRING\org-innlesing` mappe

.panelset[
.panel[.panel-name[Tabeller]

Tabeller:
- tbl_Filgruppe
- tbl_Orgfile
- tbl_Innlesing
- tbl_Koble
- tbl_Kode

]

.panel[.panel-name[Filgruppe]
.pull-left[
- ID
- FILGRUPPE
- AGGREGERE
- ADDKOL
- ADDVAL
]
.pull-right[
- NAVAL
- SPLITTFRA
- SPLITTIL
]]

.panel[.panel-name[Orgfile]
- FILID
- KILDE
- FILNAVN
- DEFFAR
- IBURKFRA
- IBURKTIL
]

.panel[.panel-name[Innlesing]
.pull-left[
- LESIDV
- FILGRUPPE
- INNLESARG
- EXTRA
- MANHEADER
- GEO
]

.pull-right[
- AAR
- KJONN
- ALDER
- UTDANN
- LANDBAK
- VAL
]
]

.panel[.panel-name[Koble]
- KOBLID
- FILGRUPPE
- FILID
- LESID
]

.panel[.panel-name[Kode]
.pull-left[
- ID
- FILGRUPPE
- LESID
- KOL
- TYPE
- FRA
]
.pull-right[
- TIL
- KOMMENTAR
- VERSJONFRA
- VERSJONTIL
]]
]

---

## Geo koder

Databasen **org-norgeo.accdb** ligger i  `..\PRODUKSJON\STYRING\org-innlesing` mappe

- *tblGeo* : Geo koder med inndelinger
- *grunnkrets2021* : Gjeldene grunnkretskoder for omkoding
- ...

.panelset[.panel[.panel-name[tblGeo]
Bruke `write = TRUE` for å lage ny tabell evt. `append = TRUE`
for å legge til en eksisterende tabell

```r
geo_level(year = 2020, write = TRUE)

geo_level(year = 2021, append = TRUE)
```
]

.panel[.panel-name[grunnkrets2021]
Tabell for omkoding

```r
geo_recode(type = "grunnkrets",
           from = 2016, to = 2021,
           write = TRUE)
```
]
]

---
class: hide-logo
background-image: url(logo.png)
background-size: 200px
background-position: 850px 80px

## orgdata pakke

Dokumenter [https://helseprofil.github.io/orgdata/](https://helseprofil.github.io/orgdata/)

Bruk av *seepaafil.R*. Klone *user* branch from Github

`
git clone -b user https://github.com/helseprofil/orgdata
`

To filer som er skal brukes:
- *setup.R* : for å hente alle pakkene
- *sepaafil.R* : for å kjøre noen standard funksjoner

---
## Aggregere filer

.panelset[
.panel[.panel-name[read_raw]

```r
library(orgdata)

# Lese alle filer i en filgruppe
df <- make_file("TEST01")
*df

# Lese bare en koblid i den filgruppen
df <- make_file("TEST01", koblid = 15) 
```

Innehold i object `df` (gul linje) vises i output fanen

]

.panel[.panel-name[output]

```
## File(s) to be processed in TEST01: 2
## ===========================================================Koblid: 2File: F:/Forskningsprosjekter/PDB 2455 - Helseprofiler og til_/PRODUKSJON/ORGDATA/SSB\BEFOLKNING\MOTTAK\TEST-2021.csvColumname(s) defined in codebook as ALLE: "INNVKAT", "LANDBAK"---------------------------------Starts aggregating data from grunnkrets to bydel---------------------------------Starts aggregating data from grunnkrets to fylke
## ===========================================================Koblid: 3File: F:/Forskningsprosjekter/PDB 2455 - Helseprofiler og til_/PRODUKSJON/ORGDATA/SSB\BEFOLKNING\MOTTAK\TEST-2019.csvColumname(s) defined in codebook as ALLE: "INNVKAT", "LANDBAK"Warning:  Are you sure the deleted column(s) doesn't contain subtotal?
## Else aggregating will be incorrect. Define it in FILGRUPPE and delete laterDeleted column(s): "V7"---------------------------------Starts aggregating data from grunnkrets to bydel---------------------------------Starts aggregating data from grunnkrets to fylkeChecking for implicit null for: bydelNumber of row(s) with implicit null for bydel: 7Checking for implicit null for: fylkeNumber of row(s) with implicit null for fylke: 7Columname(s) defined in codebook for type AGGREGERE (AG): "INNVKAT", "LANDBAK", "UTDANN"
```

```
##       GEO LEVEL  AAR KJONN ALDER UTDANN LANDBAK INNVKAT ANTALL
## 1:     11 fylke 2019     1     0      0       0       0   2858
## 2:     11 fylke 2019     1     1      0       0       0   3018
## 3:     11 fylke 2019     1     2      0       0       0   3199
## 4:     11 fylke 2019     1     3      0       0       0   3183
## 5: 999999 bydel 2021     1     0      1       1       2      0
## 6: 999999 bydel 2021     1     0      2       1       2      0
## 7: 999999 bydel 2021     1     0      3       1       2      0
## 8: 999999 bydel 2021     1     0      4       1       2      0
```
]

.panel[.panel-name[lag filen]

```r
save_file(df, "TEST01")

# lager filer directer
make_file("TEST01", save = TRUE)
```

]
]

---

## Options

.panelset[
.panel[.panel-name[options]

```r
# endre oppsettet
options(orgdata.aggregate = FALSE)
options(orgdata.verbose = TRUE)

# nullstill oppsettet
reset_options()
```
]

.panel[.panel-name[output]

```r
names(orgdata:::opt.orgdata)
```

```
##  [1] "orgdata.drive"           "orgdata.folder.db"       "orgdata.folder.data"     "orgdata.db"              "orgdata.geo"            
##  [6] "orgdata.verbose"         "orgdata.aggregate"       "orgdata.implicit.null"   "orgdata.tabs"            "orgdata.vals"           
## [11] "orgdata.columns"         "orgdata.integer"         "orgdata.debug"           "orgdata.debug.nrow"      "orgdata.debug.aggregate"
## [16] "orgdata.debug.geo"
```
]
]

---

## Les fil

For å lese filen som den er uten å hente noe oppsettet fra innlesing

Les filen ved valg av `FILID` evt. skriv hele filenavn med sti til filen

```r
read_file(file = 2)
```