\section{Experiments}

\subsection{Mean Integrated Squared Error}
We now empirically evaluate the accuracy of our method, using the mean integrated squared error (MISE).
The ground truth is given as $N=1000$ synthetic samples drawn from a bivariate mixture normal density $f$
\begin{equation}
\begin{split}
  \bm{X} \sim & ~\G{\VecTwo{0}{0}}{0.5\bm{I}} + \G{\VecTwo{3}{0}}{\bm{I}} + \G{\VecTwo{0}{3}}{\bm{I}} \\ 
              &+ \G{\VecTwo{-3}{0} }{\bm{I}} + \G{\VecTwo{0}{-3}}{\bm{I}}
\end{split}
\end{equation}
where the majority of the probability mass lies in the range $[-6; 6]^2$.
Clearly, the structure of the ground truth affects the error in the estimate, but as our method approximates the KDE only the closeness to the KDE is of interest.
Therefore, the particular choice of the ground truth is only of minor importance here.

The exact KDE, evaluated at $50^2$ points, is compared to the BKDE, box filter, and extended box filter approximation, which are evaluated at a smaller grid with $30^2$ points.
The MISE between $f$ and the estimates as a function of $h$ are evaluated, and the resulting plot is given in figure~\ref{fig:evalBandwidth}.

Both the BKDE and the extended box filter estimate resemble the error curve of the KDE quite well and stable.
They are rather close to each other, with a tendency to diverge for larger $h$.
In contrast, the error curve of the box filter estimate has noticeable jumps at $h=(0.4; 0.252; 0.675; 0.825)$.
These jumps are caused by the rounding of the integer-valued box width given by \eqref{eq:boxidealwidth}.
As the extend box filter is able to approximate an exact $\sigma$, it lacks these discontinues.
Consequently, reducing the overall error of the approximation, but only marginal in this scenario.
The global average MISE over all value of $h$ is $0.0049$ for the regular box filter and $0.0047$ in case of the extended version.
Likewise, the maximum MISE is $0.0093$ and $0.0091$, respectively.
The choice between the extended and regular box filter algorithm depends on how large the acceptable error should be, thus on the particular application.


\begin{figure} [t]
\label{fig:evalBandwidth}
    \includegraphics[width=\columnwidth]{gfx/tmpPerformance.png}
    \caption{Hier kommt Performance Plot 2 spaltig}  \label{fig:eval1GroundTruth}
\end{figure}

Other test cases of theoretical relevance are the MISE as a function of the grid size $G$ and the sample size $N$.
However, both cases do not give a deeper insight of the error behavior of our method, as it closely mimics the error curve of the KDE and only confirm the theoretical expectations.

% kde, box filter, exbox in abhänigkeit von h (bild)
% sample size und grid size text
% fastKDE fehler vergleich macht kein sinn weil kernel und bandbreite unterschiedlich sind


\subsection{Performance}
In the following, we underpin the promising theoretical linear time complexity of our method with empirical time measurements compared to other methods.
All tests are performed on a Intel Core \mbox{i5-7600K} CPU with a frequency of \SI{4.2}{\giga\hertz}, and \SI{16}{\giga\byte} main memory.
We compare our C++ implementation of the extended box filter based KDE approximation to the KernSmooth R package and the \qq{FastKDE} Python implementation \cite{oBrien2016fast}.
The KernSmooth packages provides a FFT-based BKDE implementation based on optimized C functions at its core.
% Vergleich zu weighted average (in c++) um unseren großen Geschwindigkeitsvorteil zu zeigen.

%The results are presented in plot \ref{...}
% O(N) gut erkennbar für box KDE und weighted average
% Gerade bei kleinen G bis 10^3 ist die box KDE schneller als R und fastKDE, aber das WA deutlich schneller als alle anderen
% Bei zunehmend größeren G wird der Abstand zwischen box KDE und WA größer.
% (Das kann auch daran liegen, weil das Binning mit größeren G langsamer wird, was ich mir aber nicht erklären kann! Vlt Cache Effekte)

% Auffällig ist der Stufenhafte Anstieg der Laufzeit bei der R Implementierung.
% Dies kommt durch die FFT. Der Input in für die FFT muss immer auf die nächste power of two gerundet werden.
% Daher wird die Laufzeit sprunghaft langsamer wenn auf eine neue power of two aufgefüllt wird, ansonsten bleibt sie konstant.
% Der Abbruch bei G=4406^2 liegt daran, weil für größere Gs eine out of memory error ausgelöst wird.

% Der Plot für den normalen Box Filter wurde aus Gründen der Übersichtlichkeit weggelassen.
% Sowohl der box filter als auch der extended box filter haben ein sehr ähnliches Laufzeit Verhalten und somit einen sehr ähnlichen Kurvenverlauf.
% Während die durschnittliche Laufzeit über alle Werte von G beim box filter bei 0.4092s liegt, benötigte der extended box filter im Durschnitt 0.4169s.

\begin{figure} [t]
\label{fig:evalBandwidth}
    \includegraphics[width=\columnwidth]{gfx/tmpPerformance.png}
    \caption{Hier kommt Performance Plot 2 spaltig}  \label{fig:eval1GroundTruth}
\end{figure}

\begin{figure} [b]
\label{fig:evalBandwidth}
    \includegraphics[width=\columnwidth]{gfx/Eval1Bandwidth_abs.png}
    \caption{Hier kommt bandwith error plot single}  \label{fig:eval1GroundTruth}
\end{figure}


\input{chapters/realworld}
