This repository has been archived on 2020-04-08. You can view files and clone it, but cannot push or open issues or pull requests.
Files
OTHER2017/tex/chapters/experiments.tex
2017-04-18 20:35:48 +02:00

203 lines
9.5 KiB
TeX

experiments
\todo{obwohl das angepasste modell doch recht gut laeuft und der fehler recht klein wird, sind immernoch stellen dabei,
wo es einfach nicht gut passt, unguenstige mehrdeutigkeiten vorliegen, oder regionen einfach nicht passen wie sie sollten.
das liegt teils auch daran, dass die fingerprints drehend aufgenommen wurden und beim laufen nach hinten durch den
menschen abgeschottet wird. auch zeitlicher verzug kann ein problem darstellen.}
\todo{GPS ist leider kaum eine hilfe. entweder kein empfang wegen ueberdachung oder abschattung, oder
zu kurz draußen um einen guten gps-fix zu bekommen.}
wir betrachten nur die fest-installierten APs die man meist anhand einer bestimmten mac-range ausmachen kann
portable geraete von studenten, beamer, aehnliches werden ignoriert
modell direkt fuer den gelaufenen pfad optimiert (also wirklich jede wifi messung direkt auf den ground-truth)
der fehler wird zwar kleiner, ist aber immernoch deutlich spürbar. das spricht dafür, dass das modell einfach nicht
gut geeignet ist.
outdoor fehler kann gemnindert werden mit z.B.
nicht nur die APs nehmen die ich sehe, sondern auch die, die ich sehen müsste
dann wird klar, dass es nicht gut passt. allerdings ist das auch gefaehrlich
[nicht immer tauchen alle APs im scan auf] und welchen fehler bzw. welche
dBm zahl nimmt man fuer fehlende APs an? das ist eine hardware-frage.
ein workaround fuer steigende fehler durch optimierung koennte sein,
dass man nicht jeden AP einzeln optimiert, sondern das gesamtsystem.
und auch nicht den dB fehler, sondern 'die wahrscheinlichkeit an dieser stelle zu sein'
bzw: 'die wahrscheinlichkeit aller anderen positionen minimieren' dass keine
fehl-positionierungen [wie outdoor] mehr stattfinden. allerdings ist das
problematisch da man auch hier entscheiden müsste wann ein AP nicht mehr
sichtbar ist etc.
walk1 hat eine issue kurz bevor man zur tuer zum hoersaalgebaude reingeht
je nach resampling killt dieser wlan error evtl alle partikel!
optimierungs input: alle 4 walks samt ground-truth
dann kommt fuer die 4 typen [fixed, all same par, each par, each par pos]
log probability 50 75, meter 50, 75
path1
31.8|38.9 7.8|11.6
27.3|36.8 7.2|9.8
24.0|30.3 5.8|10.24
22.9|29.9 5.0|7.6
hoherer fehler weil mehr outdoor anteil
path2
32.0|42.4 12.6|20.9
28.4|35.2 10.1|16.1
27.0|34.0 7.0|10.1
25.4|33.3 8.0|17.2
je mehr outdoor, desto schlechter wird es.
outdoor schadet auch der optimierung
outdoor schadet mehr als indoor, weil das wifi modell fuer indoor noch halbwegs passt
aber fuer outdoor so garned
fenster sind metallbedampft und schirmen stark ab
siehe beispielgrafik
gps wird so schnell nicht warm, versagt denn auf dem hof als hilfestellung
reines wifi eval mittels num-opt springt stark durch die gegend
d.h. das bewegungsmodell rettet uns
kann man auch testen wenn man beim particle-filter das resampling ganz aus macht
\todo{
we analyzed various paths throughout the whole building
}
\todo{
mit grafik: exp-dist vergroesert teils den abstand zu anderen locations , der GT selbst wird also besser,
aber an anderen stellen geht dafür der fehler hoch und kann zu verlaufen führen (z.B. treppenhaus)
}
% -------------------------------- other distributions, unseen APs, etc -------------------------------- %
To reduce the amount of misclassifications, where other locations within the building are (almost)
as likely (see \refeq{eq:wifiProb}) as the pedestrians actual location, we examined various
approaches. Unfortunately, none of which provided a viable enhancement under all conditions within
the performed walks.
One possibility to dissolve an equal \docWIFI{}-likelihood between two (or more) locations within in the building
is, to not only consider the \docAPshort{}s seen by the Smartphone, but also the \docAPshort{}s not seen
by the Smartphone. Maybe there is an \docAP{} that should be visible at the other locations. However,
as the Smartphone did not see this \docAPshort{} the other location can be ruled out.
While this works in theory, evaluations revealed several issues:
There is a chance that an \docAPshort{} is unseen during a scan due to packet collisions or
temporal effects within the surrounding. It thus might make sense to opt-out other locations
only, if at least two \docAPshort{}s are missing. On the other hand, this obviously requires (at least)
two \docAPshort{}s to actually be different between the two locations, which might not always be
the case.
Also, this requires the signal strength prediction model to be fairly accurate. Within our testing
walks there are several places surrounded by concrete walls, which cause a harsh, local drop in signal strength.
The models used within this work will not accurately predict the signal strength for such locations.
Including \docAPshort{}s unseen by the Smartphone thus often increases the estimation error instead
of fixing the multimodality.
We therefore examined variations of the probability calculation from \refeq{eq:wifiProb}.
Removing the strongest/weakest \docAPshort{} from $\mRssiVecWiFi{}$ yielded similar results.
While some estimations were improved, the overall estimation error increased for our walks,
as there are many situations where only a handful \docAP{}s can be seen. Removing (valid)
information will highly increase the error for such situations.
Using a more strict exponential distribution for
\begin{figure}
\input{gfx/wifiCompare_normalVsExp_cross.tex}
\input{gfx/wifiCompare_normalVsExp_meter.tex}
\label{fig:normalVsExponential}
\caption{
Comparison between normal- (black) and exponential-distribution (red) for \refeq{eq:wifiProb}.
While misclassifications are slightly reduced (upper chart),
the error between ground-truth and estimation (lower chart) increases by
about \SI{1}{\meter} for the median.
}
\end{figure}
\todo{
erkenntnisse:
schlechte messwerte (niedrige RSSI) aus der messung ignorieren hilft nur sehr sehr bedingt.. eher im gegenteil. meist geht der fehler (stark) hoch
schlechteste messung weglassen ist auch schlecht
sigma je nach signalstärke anpassen bringt leider auch nichts. wenn man das aber macht,
dann: fuer grosse signalstaerken ein grosses sigma! andersrum gehts nach hinten los!
veto funktioniert auch nicht immer. es gibt stellen da ist ein AP wegen abschattung in der realität nicht sichtbar
das smpartphone sieht ihn deshalb nicht, im model ist er aber fälschlicherweise da deshalb falsches veto
oder das smartphone sieht einen AP wegen kollisionen nicht oder weil er durch den rücken stark verdeckt wird
es gibt einfach stellen an denen das wifi nicht eindeutig ist, die an anderen stellen quasi exakt genauso vorliegen
da laesst sich dann nicht viel machen
}
\todo{
das bbox modell hat probleme an den uebergängen zwischen bboxes da dort teils starke spruenge sind
die nicht immer in der realität so auch vorliegen. z.B. z-wechsel machen teils probleme.
hier wäre ein kontinuierliches modell hilfreich bzw interpolation in randbereichen
}
\todo{
wenn ich beim fingerprinten einen AP an einer stelle NICHT gesehen habe,
ist das auch eine aussage für die model optimierung.. da kann dann sicher keine signatlstaerke > -90 an der stelle raus kommen
}
\todo{
wir wollen nicht, dass die position des ground-truths durch das wifi so wahrscheinlich wie möglich ist,
wir wollen dass die position des ground-truth einfach eine höhere wahrscheinlichkeit hat, als alle anderen punkte im gebäude
das pruefen wir ab
}
\begin{figure}
\centering
\input{gfx/compare-wifi-in-out.tex}
\caption{
Measurable signal strengths of a testing \docAPshort{} (black dot).
While the signal diminishes slowly along the corridor (upper rectangle)
the metallised windows (dashed outline) attenuate the signal by over \SI{30}{\decibel} (lower rectangle).
}
\end{figure}
ware das grid-model nicht da, wuerde der outdoor teil richtig schlecht laufen,
weil das wlan hier absolut ungenau ist.. da die partikel aber aufgrund des vorherigen
walks schon recht dicht beisamen sind, kittet das das ganze sehr gut.
kann man testen, indem man z.B. weniger resampling macht und mehr alte partikel aufhebt.
geht sofort kaputt sobald man aus dem gebäude raus kommt
signalstaerke limitieren, wie : alles was im model oder scan < -90 ist, wird auf -90 abgeschnitten hilft
zwar an manchen stellen, im groben und ganzen führt es aber eher zu fehlern als zu verbesserungen.
zudem ist zu erwarten, dass diese zahl stark vom geraet/hardware abhaengt
jeweils beim weighting die niedrigste wifi probability weglassen [je nach particle also ein anderer AP]
bringt auch nicht immer was.. killt gelegentlich floor-changes. zudem stehen am ende nur sehr wenige
APs zur verfügung. da einen zu ignorieren, macht noch mehr kaputt
auch ein versuch wie werfe alle APs aus dem handy-scan weg, die kleiner -90 sind, birgt die selben risiken
es scheint wirklich am sinnvollsten, die scan-daten einfach 1:1 zu nehmen wie sie sind
kurz vor ende von path 2 will die estimation nicht in die cafeteria, weil ein paar particle
die treppe richtung h.1.5 hochgehen und durch das wlan sehr sehr hoch gewichtet werden.
die mittelwert-estimation versagt hier
\input{gfx/wifi-opt-error-hist-methods.tex}
\input{gfx/wifi-opt-error-hist-stair-outdoor.tex}
outdoor hat insgesamt nicht all zu viel einfluss, da die meisten APs
an den outdoor punkten kaum gesehen werden. auf einzelne APs kann
der einfluss jedoch recht groß sein, siehe den fingerprint plot von
dem einen ausgewählten AP
wenn noch zeit ist: wie aendert sich die model prediction wenn man z.B. nur die haelfte der referenzmessungen nimmt?