Test-Erklärung

Smartphone-Tests: So testet teltarif.de

Smart­phone-Test: Wir erklären, wie teltarif.de testet und welchen Test­parcours die Geräte durch­laufen müssen.
Von Rita Deutschbein / /

Im Zuge der Hard­ware-Tests beschäf­tigt sich teltarif.de regel­mäßig mit Smart­phones und Handys. Die Test­kandidaten müssen dabei nicht nur unserer subjek­tiven Begut­achtung stand­halten, sie durch­wandern auch einen strengen, genau defi­nierten Test­parcours. Den Ablauf und die Test­kriterien dieses Test­parcours haben wir stan­dardi­siert. Dadurch können unsere Leser die Test­ergebnisse in den einzelnen Kate­gorien oder aber das Gesamt­ergebnis eines Tests besser mitein­ander verglei­chen.

Die Test­note setzt sich aus verschie­denen Teil­noten zusammen, wobei wir folgende Kate­gorien unter­scheiden: Smartphone und Co.: So testet teltarif.de Smartphone und Co.: So testet teltarif.de
Bild: Dmitri Stalnuhhin - Fotolia.com, teltarif.de, Montage: teltarif.de

  • Design
  • Display
  • Leis­tung
  • Soft­ware
  • Internet
  • Tele­fonie
  • Schnitt­stellen
  • Spei­cher
  • Akku
  • Kamera
In jeder Kate­gorie kann stan­dard­mäßig ein Ergebnis von 10 Punkten erreicht werden. Spezi­elle Features bewerten wir mit Bonus­punkten, die beispiels­weise für Outdoor-Eigen­schaften und die Stift-Bedie­nung etc. hinzu kommen können. Bei der Punkte­vergabe orien­tieren wir uns an dem aktuell maximal mögli­chen tech­nischen Stan­dard, weshalb unsere Bewertungs­skala in regel­mäßigen Abständen der Entwick­lung ange­passt wird.

Tests von teltarif.de
Handys und Smart­phones im Test
Aktu­elle Tablet-Modelle im Test
In unseren Tests bewerten wir aber nicht nur die tech­nische Ausstat­tung, sondern auch die Bedien­barkeit und den Eindruck, den ein Gerät hinter­lässt. Unsere subjek­tiven Beob­achtungen führen eben­falls zu einer Punkte­vergabe in den entspre­chenden Kate­gorien. Die Gewich­tung der verschie­denen Krite­rien vari­iert: So fällt die Sprach­qualität bei der Tele­fonie in der Endnote beispiels­weise höher ins Gewicht als die Mate­rial­wahl beim Gehäuse. Unsere Test­note ist eine Ausstat­tungs- und Leistungs­note. High-End-Smart­phones mit aktu­eller Ausstat­tung werden somit im Regel­fall ein besseres Test­ergebnis erzielen als die weniger gut ausge­stat­teten Mittel­klasse- oder Einsteiger-Geräte.

Test­note für Preis-Leis­tungs-Verhältnis

Im Test nennen wir sowohl die unver­bind­liche Preis­empfehlung als auch den Markt­preis des Test­gerätes. Die Markt­preise beziehen wir vom Preis­verglei­cher idealo.de, in einigen Fällen auch durch Online-Recherche.

Die Besten im Test
Die Preis-Leis­tungs-Sieger
Die zehn besten Smart­phones 2017
Neben der eigent­lichen Test­note ermit­teln wir zusätz­lich auch eine Preis-Leis­tungs-Note, bei der die Leistungs­note mit dem aktu­ellen Preis ins Verhältnis gesetzt wird. Anders als bei der eigent­lichen Test­note können gut ausge­stat­tete, güns­tige Mittel­klasse-Smart­phones oder auch im Test vergleichs­weise gut abge­schnit­tene Preis­brecher aus dem untersten Preis­segment somit ein besseres Preis-Leis­tungs-Ergebnis erhalten als gut ausge­stat­tete, aber sehr teure Top-Modelle, gegen die die Geräte aus den unteren oder mitt­leren Preis­klassen im reinen Leistungs­vergleich keine Chance haben.

Dyna­mische Wertung

Im Laufe der Zeit verän­dern sich die Stan­dards der Geräte. Es kommen neue Tech­nolo­gien dazu, oder Soft­ware-Anpas­sungen sorgen für ein besseres Zusammen­spiel wich­tiger Kompo­nenten. Daher hat teltarif.de die soge­nannte dyna­mische Wertung einge­führt, bei der das Test­ergebnis auf Basis der tech­nischen Entwick­lungen in regel­mäßigen Abständen aktua­lisiert wird. In der Regel wird die zeit­liche Anpas­sung dafür sorgen, dass sich das ursprüng­liche Test­ergebnis stufen­weise verschlech­tert, da Stan­dards mit der Zeit veralten. Auf das Ergebnis zum Test­zeit­punkt mit den entspre­chenden Test­kriterien können unsere Leser aber auch nach der Anpas­sung weiterhin zugreifen.

Unsere Test­geräte

Die Test­geräte werden uns in der Regel von den Herstel­lern leih­weise zur Verfü­gung gestellt. In einigen Fällen kauft teltarif.de aller­dings auch Geräte über das Internet oder aber im Handel. Es kann vorkommen, dass wir mit Vorserien­modellen arbeiten - in diesen Fällen weisen wir in den Test­berichten deut­lich darauf hin. Vor Test­beginn instal­lieren wir jeweils alle zur Verfü­gung stehenden Betriebs­system-Updates.

Die Einzel­krite­rien im Test

Gehäuse/Verar­beitung:
Zu Beginn des Tests machen wir uns einen Eindruck vom Test­gerät und dessen Verar­beitung. Hier schauen wir uns nicht nur die beim Gehäuse verwen­deten Mate­rialien, sondern auch die Stabi­lität und Pass­genauigkeit der einzelnen Gehäuse­komponenten an. Punkte wie die Größe und das Gewicht des Gerätes sowie die Über­gänge der Bauteile spielen bei der Haptik eine wich­tige Rolle. Auch die Druck­punkte der Tasten sowie die Verar­beitung der Anschlüsse werden geprüft. Die Bewer­tung erfolgt nach subjek­tiven Beob­achtungen der erfah­renen teltarif.de-Tester.
Display:
Die Besten im Test
Die hellsten Displays
Das Display-Test­verfahren ist vergleichs­weise komplex. Neben der verwen­deten Display­technologie bewerten wir auch die subjek­tive Reak­tions­zeit des Touch­screens und es fließen objek­tive Werte in das Ergebnis ein. In einem speziell abge­dunkelten Raum mit immer glei­cher Licht­umge­bung ermit­teln wir folgende Werte:
  • Maxi­male Hellig­keit des Displays (xyz cd/m²)
  • Kontrast des Bild­schirms (xyz:1)
  • Durch­schnitt­licher Delta E (Average dE)
  • Blick­winkel­stabi­lität
CIE-Diagramm zeigt Details zur Farbwiedergabe des Displays CIE-Diagramm zeigt Details zur Farbwiedergabe des Displays
Bild: teltarif.de / Rita Deutschbein Zur Berech­nung des Kontrastes, der maxi­malen Display­helligkeit und der Farb­genauig­keit nutzen wir den Sensor von Spyder4Elite sowie das Programm HCFR. Bei der Display­helligkeit, gemessen in cd/m², und beim Kontrast gilt: Je höher der Mess­wert, desto besser das Ergebnis. Die Delta-E-Angabe zeigt an, wie genau das Display eine Farbe wieder­gibt. Je geringer der Wert, desto näher liegt die Farb­wieder­gabe am Ideal.

Manuell ausge­wertet werden muss die Blickwinkel­stabilität. Dabei wird das Display aus verschie­denen Winkeln betrachtet und dabei die Ables­barkeit bewertet. Im Zuge des Tests werden zur Veran­schaulichung vier Fotos gemacht, die aus unter­schiedlichen Winkeln aufge­nommen werden. Bei allen Fotos ist die maxi­male Display­helligkeit ein- und die adap­tive Hellig­keit ausge­schaltet. Die Blickwinkelstabilität des Displays (Samsung Galaxy S21 Ultra) Die Blickwinkelstabilität des Displays (Samsung Galaxy S21 Ultra)
Bild: teltarif.de

Soft­ware:
Bei der Soft­ware geben wir neben der ab Werk instal­lierten Betriebs­system-Version auch an, ob even­tuell bereits ein Update zur Verfü­gung steht. Wir bewerten die Nutzer­ober­fläche auf ihre Bedien­barkeit und unter­suchen, welche Apps ab Werk instal­liert sind und ob sie sich deinstal­lieren lassen. Auch die Frage, wie viel Spei­cher das System belegt, fließt in die Bewer­tung ein.
Tele­fonie:
Tele­foniert wird, soweit nicht anders ange­geben, über das UMTS-Netz. Dabei steht die Sprach­qualität im Vorder­grund, die wir in beide Rich­tungen (Anrufer und Ange­rufener) sowohl mit als auch ohne Umgebungs­lärm testen. Im Frei­sprech­modus klären wir, wie die Tonwie­dergabe über den Laut­spre­cher des Test­gerätes funk­tioniert.

Bei einem Dual-SIM-Telefon wird getestet, ob das Telefon den gleich­zeitigen Betrieb von zwei SIM-Karten ermög­licht (also zwei voll­wertige Sende-/Empfangs­einheiten verbaut sind) oder nur zwei Karten parallel im Standby online sind (eine Sende-/Empfangs­einheit). Auch die Verwal­tung der SIM-Karten über das Menü wird bewertet und wir führen aus, ob sich die zweite SIM-Karte ihren Platz mit der microSD-Karte teilen muss (Hybrid-Slot) bzw. ob für sie ein eigener Slot bereit steht.

Internet:
Neben der Bewer­tung der Empfangs­qualität werden die gene­rellen Verbindungs­möglich­keiten mit dem Internet bewertet. Werden alle wich­tigen Frequenzen unter­stützt? Lässt sich das Test­gerät im Ausland nutzen? Findet das Gerät alle Netz­werke? Und werden Verbin­dungen stabil gehalten?

Die Schnel­ligkeit des Stan­dard-Brow­sers testen wir mit einem von teltarif.de erstellten Test­verfahren, bei dem 76 fest­gelegte Webseiten per schnellem WLAN von einem direkt vor Ort stehenden Server abge­rufen werden. Dadurch wird in einer stan­dardi­sierten Internet-Umge­bung geprüft, wie lange der Browser braucht, um alle Seiten aufzu­bauen und darzu­stellen.

Kamera:
Weitere Infos zu Kamera-Tests
Wer hat die beste Handy-Kamera?
Alles zu Zoom und Licht­verhält­nissen
Mega­pixel sind nicht alles
Die Qualität einer Kamera und des verwen­deten Chips ist meist unab­hängig von der bewor­benen Mega­pixel-Anzahl. Daher bewerten wir nicht die Zahl der Pixel, sondern die Qualität der von uns geschos­senen Test­fotos. Auch Merk­male wie die Blende, der Bild­stabi­lisator, die Zeit bis zum Auslösen, der Aufbau der Kamera-App und die vorhan­denen Modi fließen in die Bewer­tung ein. Wir machen in einem Raum mit immer glei­chen Licht­verhältnissen und im Automatik­modus Beispiel­fotos, die wir subjektiv hinsicht­lich Farb­wiedergabe, Bild­rauschen, Kontrast und Schärfe bewerten: Bei der Haupt­kamera wird die Bild­qualität bei hellem Kunst­licht mit Blitz und bei schlechten Licht­verhält­nissen ohne Blitz getestet. Für Selfies mit der Front­kamera verwenden wir eine Schaufenster­puppe, die wir aus immer der glei­chen Posi­tion heraus foto­grafieren. Einen Vergleich der Bilder gibt es beispiels­weise in unserem Kamera-Vergleich, der regel­mäßig aktua­lisiert wird. Foto-Testwand von teltarif.de Foto-Testwand von teltarif.de: Links das Testbild für die Hauptkamera,
rechts der Puppenkopf zum Test der Frontkamera
Bild: teltarif.de
Spei­cher:
Beim Spei­cher schauen wir uns die Spei­cher-Kapa­zität des getes­teten Modells an. Geräte mit hoher Speicher­kapazität erhalten mehr Punkte. Es kann daher vorkommen, dass ein Modell mit 256 GB eine bessere Endnote im Test erhält als die 32-GB-Version - obwohl es sich um das gleiche Gerät handelt.

Zudem wird bewertet, ob das Smart­phone einen Speicher­karten­slot besitzt. Eine kleine Abwer­tung gibt es in Fällen, in denen es sich um einen Hybrid-Slot handelt. Denn Nutzer müssen sich hier entscheiden, ob sie eine zweite SIM-Karte oder eine SD-Karte im Slot betreiben.

Leis­tung:
Wir listen detail­liert, was für einen Prozessor der Hersteller im Test­gerät verwendet. Natür­lich spielen auch die Grafik­einheit sowie die Kapa­zität des Arbeits­spei­chers eine Rolle.

Wie gut oder schlecht das Gesamt­konstrukt arbeitet, testen wir mithilfe verschie­dener Bench­mark-Tests. Dazu nutzen wir AnTuTu und Geek­bench. Jeder Test läuft insge­samt dreimal auf dem Test­gerät: Dadurch können wir die Werte nicht nur besser absi­chern und mögliche Bench­mark-Ausreißer ermit­teln. Das Gerät läuft durch die Bean­spru­chung auch heiß, sodass - falls vom Chip vorge­sehen - die ther­mische Dros­selung einsetzt und wir realis­tischere Werte ermit­teln können. Wir verwenden die zum Zeit­punkt des Tests aktu­ellste Firm­ware, da das System die Leis­tung beein­flussen kann.

Akku:
Weitere Infos zum Akku­test
Sieger im teltarif.de-Akku­test
Beim Akku spielen verschie­dene Faktoren eine Rolle: Wie viel Kapa­zität bietet die Batterie? Lässt sie sich viel­leicht kabellos per Induk­tion und/oder beson­ders schnell aufladen (Fast Char­ging, Quick Char­ging)? Gibt es sinn­volle Stromspar­einstellungen? Bewertet wird auch die Lauf­zeit der Batterie bei durch­schnittlicher Nutzung. Dafür hat teltarif.de ein eigenes Test­verfahren erstellt, bei dem das Surfen im Internet, das Durch­führen von Berech­nungen sowie das Anschauen von Videos simu­liert wird. Im Test wird ermit­telt, wie lange die Batterie benö­tigt, um von einer Ladung von 100 Prozent auf 0 Prozent zu fallen, während die vorein­gestellten Smart­phone-Anwen­dungen in einer Dauer­schleife durch­geführt werden. Für eine bessere Vergleich­barkeit der Lauf­zeit verschie­dener Geräte, regu­lieren wir die Display­hellig­keit vor dem Akku­test auf 200 cd/m².

Einige Smart­phones haben in unserem Akku­test beson­ders gut abge­schnitten. Die Dauer­läufer stellen wir in unserer Liste der Akku­test-Sieger vor, die wir regel­mäßig aktua­lisieren.

Schnitt­stellen/Sensoren:
Die in Smart­phones und Tablets verwen­deten Sensoren werden immer umfang­reicher. Neben altbe­kannten Schnitt­stellen wie der Klinken­buchse, Blue­tooth und Navi­gation nehmen wir auch neuere Sensoren wie den Finger­abdruck­sensor unter dem Display, Iris-Scanner, Schritt­zähler, Herzfrequenz­messer etc. in Augen­schein. Der Finger­abdruck­sensor fließt dabei als Siche­rungs­faktor für das Smart­phone direkt in die auto­mati­sche Bewer­tung mit ein.

Test­ergeb­nisse im Über­blick

Die Besten im Handy-Test:
Die einzelnen Teil­noten lassen sich auf Wunsch über ein Drop-Down-Menü ausklappen. So können sich unsere Leser im Detail darüber infor­mieren, in welchen Berei­chen das Test­gerät wie abge­schnitten hat. Die Fazitbox findet sich am Ende jedes Tests.

Zudem haben wir wesent­liche Pro- und Contra-Punkte veran­schau­licht, sodass sich unsere Leser ein erstes Bild über die Vor- und Nach­teile des Smart­phones machen können.

Abonnieren

Handy­tests bei teltarif.de

mehr zum Thema
Abonnieren