Product Presentation @ Client

---

# Automatisk *versionsjämförelse* och *ändrings-kategorisering*

<div style="margin-top: -30px; padding-left: 350px;">
	<h3>- endast med tillgång till binärerna</h3>
</div>

---

# Agenda

- **Arbetsprocess**

- **Introduktion**

- **Metod**

- **Tidigare arbete**

- **Resultat**

- **Diskussion**

- **Framtida arbete och utmaningar**

- **DEMO**

---

class: breadcrumb
> **Arbetsprocess** → Introduktion → Metod → Tidigare arbete → Resultat → Diskussion → Framtida arbete och utmaningar

## Arbetsprocess

- Träffade Jesper på en gästföreläsning på LiU

- Projektplan påbörjades i en kurs under november-december

- Fått ta del av ett tidigare kandidatarbete handlett av Jesper

- Veckovisa möten från slutet av januari

---

class: breadcrumb
> ~~Arbetsprocess~~ → **Introduktion** → Metod → Tidigare arbete → Resultat → Diskussion → Framtida arbete och utmaningar

## Introduktion

**Problem:** Kunskap och antaganden från tidigare analys kan bli föråldrad vid nya versioner

**Syfte:** Utveckla en metod för detektering och kategorisering av kodändringar *(Fokus ligger på Android. Signal-Android används som testdata)*

**Bidrag:** Effektivisera ad-hoc processen genom att snabbt kunna identifiera ändringarna som påverkar den forensiska analysen

>[!Important]
> **Viktigt**
> <br>- Inga forensiska verktyg har använts.
> <br>- Projektet fokuserar enbart på jämförelse av Android-binärer

---

# Metod

---

class: breadcrumb
> ~~Arbetsprocess~~ → ~~Introduktion~~ → **Metod** → Tidigare arbete → Resultat → Diskussion → Framtida arbete och utmaningar
><br>       
>          
>↳ **Översikt** → Detektera ändringar → Kategorisering → Evaluering

## Översikt

>[!check]
> **Framtagen pipeline**
><br>
><br>
>- 3 olika moduler används för att generera en HTML rapport 
><br>
><br>
>- Fokus på Android-APKer, men Ghidriff/Ghidra stödjer fler arkitekturer

<br>

---

class: breadcrumb
> ~~Arbetsprocess~~ → ~~Introduktion~~ → **Metod** → Tidigare arbete → Resultat → Diskussion → Framtida arbete och utmaningar
><br>       
>          
>↳ ~~Översikt~~ → **Detektera ändringar** → Kategorisering → Evaluering

## Detektera ändringar

- **Efter bakgrundsarbete valde vi Ghidriff, ett Python-baserat verktyg som använder Ghidra-APIet** *(headless)*

- **Ghidriff kan varken kategorisera eller ranka ändringar**

- **Ghidriff producerar en detaljerat output**
	- Vi har kunna fokusera på att arbeta med datan istället för att extrahera den
	- Inga ändringar har behövt göras i verktyget. Det har kunnat integreras i vårt egna verktyg

---

## Detektera ändringar

>[!info]
> Så arbetar Ghidriff
><br>
><br>
>*1)* Låter Ghidra utföra binäranalys
><br>
>*2)* Använder sig av Ghidras **Version Tracking (VT) för diffing** på analysdatan. 
>Mha Ghidras API:er körs olika **"correlators" som föreslår matchingar mellan funktioner**. 
><br>
>*3)* Ghidriff skriver ut analysdata i `json`, `html` och `md` *(samma data)*. Vi tittar enbart på datan i `json` -filerna.

</div>

<div class="mermaid">
flowchart LR

a(old binary - classes.dex-v1) --> b[GhidraDiffEngine]
c(new binary - classes.dex-v2) --> b

b --> e(Ghidra Project Files)
b --> diffs_output_dir

subgraph diffs_output_dir
		direction LR
		i(classes.dex-classes.dex.ghidriff.md)
		h(classes.dex-classes.dex.ghidriff.json)
		j(classes.dex-classes.dex.ghidriff.html)
end
</div>

---

class: breadcrumb
> ~~Arbetsprocess~~ → ~~Introduktion~~ → **Metod** → Tidigare arbete → Resultat → Diskussion → Framtida arbete och utmaningar
><br>       
>          
>↳ ~~Översikt~~ → ~~Detektera ändringar~~ → **Kategorisering** → Evaluering

## Kategorisering

>[!info]
> Så kategoriserar vi
> <br>
> <br>
>- **Syntax matching med hjälp av reguljära uttryck**
> <br>
> <br>
>- **Fördefinierade kategorier med tillhörande keywords**

<br>

>> Delas upp i två typer av kategorier:

<div class="columns">
	<div class="column">
		<h4>Kritiska</h4>
		Operationer som har **större** sannolikhet att påverka forensiska verktyg
	</div>
	<div class="column">
		<h4>Icke-kritiska</h4>
		Operationer som har **mindre** sannolikhet att påverka forensiska verktyg
	</div>
</div>

---

## Kategorisering

| *Kritisk* **kategori**    | **Ändringar i..** |
|------------------------|---------------------------|
| `Data storage`         |  ..datastruktur, nya läsningar och skrivningar, etc.|<br><br>
| `File write`           |  ..tillägg eller borttagning av filer.|<br><br>
| `Logging`              |  ..vad, var, när och hur data loggas.|<br><br>
| `Authentication`       |  ..in/ut-loggningsprocesser, sessionshantering, etc.|<br><br>
| `Error handling`       |  ..hur fel och undantag fångas, hanteras eller loggas, etc.|<br><br>
| `Cryptographic`        |  ..krypteringsalg., nyckelhantering, hashmetoder, etc.|<br><br>

---

## Kategorisering

| *Icke-kritisk* **kateg.**    | **Ändringar i..** |
|------------------------|---------------------------|
| `UI update`            | ..användargränssnitt (ex. Views, layouter, etc.) |<br><br>
| `Network call`         | ..nätverksoperationer, API-anrop, Endpoints|<br><br>
| `Library function`     | ..externa bibliotekspaket.|<br><br>
| `Text manipulation`    | ..textsträngar, promptar, etc. *(snabb ändring krävs)*|<br><br>

---

## Kategorisering

>[!info]
>Förtydligande
><br>
>**"Normala"**: Ord som endast är relevanta i en kategori,
><br>
>**"Tvetydiga"**: Ord som med rimlighet kan finnas i flera kategorier.

---

## Evaluering

**Varje ändring** (metod/funktion) **blir tilldelad en poäng.**

Påverkande faktorer
- Antal tilldelade kategorier
- “Normala” ord får 1p
- “Tvetydiga” ord får 0.5p

**Syfte:** De ändringar med mest relevant data ska hamna först

---

class: breadcrumb
> ~~Arbetsprocess~~ → ~~Introduktion~~ → ~~Metod~~ → **Tidigare arbete** → Resultat → Diskussion → Framtida arbete och utmaningar

## Jämförelse mot tidigare arbete

>[!note]
> **Tidigare arbete**
><br>
><br>
>**Kategorisering baserad på regex med nyckelord**
><br>
>- Saknades dock kategorier → En lista med "viktiga" ord
><br>
><br>
>**Inget GUI**

>[!check]
> **Vår metod**
><br>
><br>
>**Mer djupgående**
><br>
>- Kategoriseringen använder sig av dekompilerad P-code från Ghidra för kategorisering av kritiska operationer
><br>
>- Subkategorier för intressant och icke-intressanta ändringar
><br>
>- Större mängd relevant data presenterad för användaren
><br>
><br>
>**HTML-Rapport** *(genererad vid körning)*
><br>
>- Inkluderar diffar i den dekompilerad P-code:en
><br>
>- Enkelt att söka, sortera och filtrera bland intressanta ändringar
><br>
><br>
>**Mer konkret resultat**
><br>
>- Siffror på träffsäkerhet för nyckelord och kategorier *(finns i rapport)*

---

# Resultat

---

class: breadcrumb
> ~~Arbetsprocess~~ → ~~Introduktion~~ → ~~Metod~~ → ~~Tidigare arbete~~ → **Resultat** → Diskussion → Framtida arbete och utmaningar
><br>               
>               
>↳ **Översikt** → Träffsäkerhet (kategorier)

## Översikt

<div style="margin-top: -30px;">
>[!question]
>**Test data:** Android version av Signal

>[!info]
>Resultatet är framtaget genom **jämförelse av pipeline-resultat med manuell analys av källkoden** (3 versions-släpp)
</div>

<div class="columns">
>[!check]
>Inhämtade resultat
><br>
>**91.4%** av ändringarna detekterades
><br>
><br>
>**78.6%** av dessa fick rätt status
><br>
><br>
>**74.3%** fick rätt kategori
><br>
>     Kritiska **77.9%**
><br>
>     Icke-kritisk **69.8%**
><br>
><br>
>**3.3%** av unika ändringar kategoriseras som uncategorized
<img src="images/resultat-overview.png" width="80%" style="margin-left: 75px;">
</div>

---

class: breadcrumb
> ~~Arbetsprocess~~ → ~~Introduktion~~ → ~~Metod~~ → ~~Tidigare arbete~~ → **Resultat** → Diskussion → Framtida arbete och utmaningar
><br>               
>               
>↳ ~~Översikt~~ → **Träffsäkerhet (kategorier)**

## Träffsäkerhet (kategorier)

>[!question]
>**Varför får kategorierna `Cryptographic`, `File write` och `Text manipulation` 100% fel träffar?**
><br>
><br>
>**1)** Om kategorin inte finns i källkods-ändringarna kommer det påverka resultatet pga binärt sätt att redovisa resultat.
><br>
><br>
>**2)** Resultatet visar att träffsäkerheten främst påverkas av hur många korrekta träffar som görs. Alla kategorier har en liknande mängd inkorrekta matchningar *(möjlig konsekvens av sättet vi hämtar resultatet)*

---

class: breadcrumb
> ~~Arbetsprocess~~ → ~~Introduktion~~ → ~~Metod~~ → ~~Tidigare arbete~~ → ~~Resultat~~ → **Diskussion** → Framtida arbete och utmaningar

## Diskussionspunkter

>[!tip]
>Relevanta för er
><br>
><br>
>- **Effektiv negligering av irrelevanta ändringar** *(hög träffsäkerhet av UI-ändringar och nätverksanrop)*
><br>
><br>
>- **Externa negativa påverkningar**: Vissa `.dex` -filer går aldrig igenom Ghidra/Ghidriff. **Oklart varför!**

<br>

- **Subjektiv manuell analys av källkod skapar tveksamheter i resultatet** *(små mängder sampel punkter → Mer tillförlitligt vid större mängd)*
	- Svårt att hitta testdata där alla kategorier blir representerade

- **Vad är en korrekt kategorisering?**
	- +/- spel där resultatet är lite skevt åt båda håll

---

class: breadcrumb
> ~~Arbetsprocess~~ → ~~Introduktion~~ → ~~Metod~~ → ~~Tidigare arbete~~ → ~~Resultat~~ → ~~Diskussion~~ → **Framtida arbete och utmaningar**

## Framtida arbeten och utmaningar

<div class="columns">
<div class="column">
<h4>1) Förbättring av pipeline</h4>
<ul>
	<li>Titta på rekursiva funktionsanrop för att få hela kedjan.</li>
	<br>
	<li>ML för kategorisering</li>
</ul>
</div>
<div class="column">
<h4>2) Säkrare resultat</h4>
Gå ifrån en manuell analys för identifiering av korrekt data.
<ul>
	<li>Med ML?</li>
	<br>
	<li>Köra vår kategorisering på källkoden?</li>
</ul>
</div>
</div>

---

# Demo!