MENU

by • February 27, 2012 • ProductComments (11)678

Succeeding at the default metrics will kill you

Folks who know nothing about your business will evaluate it based on the default metrics: traffic & revenue. They will advise you to increase these 2 numbers. Accepting the default metrics is bad.

The top cause of startup death is trying to grow before the foundation is solid. The default metrics are dangerous because they compel you to scale prematurely and kill your company.

It’s tempting, too. Everyone understands and is impressed by a growing traffic graph. It’s harder for people (including your own team) to intuit the implications of your retention rate.

Plus, you don’t even have to make a conscious decision to use these bad metrics. They’re default. You must actively reject them.

It is therefore doubly important to be rigorous.

Picking good metrics

The lean startup book’s engines of growth is a great starting point for picking good metrics:

  • Growing virally? Focus on referral.
  • Users never leave (e.g. subscription webapps)? Focus on retention.
  • Buying new customers via ads or salespeople? Focus on cost of acquisition versus lifetime value.

If those aren’t relevant then take your pick from amongst McClure’s pirate metrics, Ellis’ 40% disappointed test, the net promoter score, or something of your own creation.

Ultimately, it’s the CEOs job to decide on the metrics you care about[1]. It’s one of the most important things you’ll ever do. Learn from the starting points listed above and then make your own decision based on what your company needs.

The metrics you care about will also evolve over time. When one has been refined to near perfection then it’s time to shift some focus to quantifying the next big open question.

Slipping back to the deadly defaults

Here’s the rub: you know that vanity metrics are bad and that traffic is [usually] a vanity metric. So you’re ignoring your traffic for now to focus on “product”. That’s not good enough.

You need to be rigorous about your numbers and hold yourself accountable or you’ll slip up at two predictable points:

  1. When you’re convincing other people how great you are
  2. When you’re deciding where to invest your team’s finite energy

Ways I’ve failed thanks to default metrics

We once re-designed a site 3 times because “not enough people are using it.” Poor usage seemed like the sort of thing a “better” site would fix. We wasted our time there not because we were stupid, but rather because we hadn’t spent the time to figure out which metrics did matter at the time. So we slipped back to the defaults.

Another time, I was pitching a VC and mentioned a bit of adoring press coverage we had received. I intended it as evidence that the product was resonating and we were building something people loved. She responded with “Yes, I saw that spike on your Alexa graph… It looks like it went back down.” The moment I failed to re-orient her toward the metrics which mattered, I had lost the meeting and the pitch. We were now talking about the site’s crappy traffic instead of its fanatical early adopters.

My first company’s first product, Fuzzwich, was once demoed on live TV in front of 7mm ideal users. We had a traffic graph that looked like a telephone pole: straight up and straight down. The cruel irony is that we had spent the preceding months ignoring our one crucial metric (referral) while trying to figure out how to use clever marketing to get new visitors in the door. When we “succeeded” and the traffic windfall finally came, we weren’t in a position to reap the rewards. We had focused on the default metrics in an attempt to seem impressive and had built our early traction on a foundation of sand.

Figure out which numbers matter to your business and don’t let anyone frame the conversation or decision back around the defaults.

 

[1] The acronym (crapronym?) for these is KPIs, which means Key Performance Indicators. The term carries a lot of baggage (in the form of vanity metrics) from the corporate world, so I try to avoid it. Still, you should know the word for when you talk to investors.

Related Posts

11 Responses to Succeeding at the default metrics will kill you

  1. I thought this piece that I saw on TechCrunch yesterday on creating habits among your users might be a nice follow-up to your post since it compliments the idea of perhaps not worrying about viral growth:
    http://techcrunch.com/2012/02/26/habits-are-the-new-viral-why-startups-must-be-behavior-experts/

  2. Josh Ledgard says:

    Great post. Loved the line:

    “We were now talking about the site’s crappy traffic instead of its fanatical early adopters.”

    It says just how important it is to listen and learn from successful users. That’s why at http://www.kickofflabs.com we make sure to measure our customers own conversion rates (on their landing pages from our product). Because we know if they have success they will recommend us.

  3. [...] are building a business model for a web-based product or service, Rob Fitzpatrick points out that using the standard metrics (traffic and revenue) will lead you astray. Instead, he says: The lean startup book’s engines of growth is a great starting point for [...]

  4. motocross, motorcycle, off-road and street bike superstore for: Motocross, go kart parts Dirt Bike parts,ATV parts, UTV parts.

  5. Rocio says:

    Hmm… I seem to be in the situation where I’m relying on traffic to ncrease, to see sign ups increase, to see revenue increase… It seems to be a Catch 22 at times. However, I do remember that when we had an increase in referrals was when we saw the most quality traffic to our site. I’m glad I read this post because I can now go back and focus on the metrics which do in fact matter.

  6. Hashim Warren says:

    Clap, clap, clap!

    So much of the marketing advice I read leads NE onto playing a game of increasing this default metrics instead of figuring out what I should track that will show NE real growth in my business

  7. [...] Succeeding at the default metrics will kill you [...]

  8. Jeder weiß gut , dass nicht nur ein interessantes Geburtstagsgeschenk auf einer Geburtstagsparty wirklich wichtig ist.
    Offensichtlich freut sich jedes Geburtstagskind auch über einen schönen Geburtstagspruch, der seinen Geburtstag einfach unvergesslich macht.

    Heute gibt es tatsächlich viele Möglichkeiten, einen tollen Spruch zum Geburtstag zu finden.
    Allgemein gesagt, kann man sich sowohl für kurze Geburtstagswünsche als auch
    für ein wenig längere Wünsche zum Geburtstag entschließen.
    Die kurzen Grüße zum Geburtstag kann man natürlicherweise sogar per SMS schicken.
    Die auf Webseiten gebotenen lange Geburtstagssprüche kann man einfach auf der Party zum
    Geburtstag vortragen – sicher wird der Jubilar davon einfach begeistert.

    Ein bisschen ironische Geburtstagswünsche bedeuten eine ausgezeichnete
    Lösung, im Fall, wenn man Gedichte z.B. zum 18. Geburtstag braucht.
    Falls man aber neutrale Geburtstagswünsche sucht, die sich für jedes Geburtstagskind eignen,
    sollte man einfach ein Zitat auswählen. Ein neutraler Geburtstagsspruch oder ein nicht besonders langes Gedicht können wir z.

    B. auf der Party des Chefs oder eines Arbeitskollegen vortragen.

    In jedem Fall kann man auch einen gefundenen Spruch zum Geburtstag ein bisschen abwandeln,
    damit er besser zur Gelegenheit und zum Geburtstagskind passt.
    Man kann sicher sein, interessante Grüße zum Geburtstag bleiben lange im Kopf des Jubilars.

  9. Alle wissen , dass nicht nur ein gutes Geschenk auf einer Geburtstagsparty bedeutend
    ist. Natürlich freut sich der Jubilar auch über einen gut gewählten Geburtstagspruch, der seine
    Geburtstagsparty toll macht.
    Zur Zeit gibt es sehr viele Möglichkeiten, einen tollen Geburtstagsspruch zu finden.
    Allgemein gesagt, kann man sich sowohl für kurze Geburtstagswünsche
    als auch für schon längere Wünsche zum Geburtstag entscheiden.
    Die kürzeren Grüße zum Geburtstag kann man natürlicherweise auch per SMS senden.
    Die auf vielen Webseiten vorgeschlagenen lange Sprüche
    zum Geburtstag kann man dagegen auf der Geburtstagsparty rezitieren
    – natürlich wird der Jubilar davon begeistert.
    Witzige Geburtstagsgrüße bedeuten eine interessante Lösung, im Fall, wenn man einen
    Spruch z.B. zum 18. Geburtstag sucht. Wenn man aber
    eher neutrale Wünsche zum Geburtstag sucht, die sich für jedes Geburtstagskind eignen, soll man einfach einen Aphorismus wählen.

    Ein neutraler Spruch oder ein nicht langes Geburtstagsgedicht kann
    man u.a. auf der Party des Vorgesetzten oder eines Arbeitskollegen deklamieren.

    Jedenfalls können wir auch einen ausgewählten Spruch zum Geburtstag ein wenig abwandeln,
    damit er besser zur Gelegenheit und zum Charakter des Geburtstagskindes passt.
    Man kann sicher sein, angebrachte Geburtstagswünsche machen auf den
    Jubilar großen Eindruck.

  10. I’ve learn a few just right stuff here. Definitely price bookmarking for revisiting. I surprise how much attempt you place to make such a wonderful informative web site.

  11. Jeder weiß , dass nicht nur ein schönes Geburtstagsgeschenk auf einer Geburtstagsparty bedeutend ist.
    Sicher freut sich jeder Jubilar auch über einen gut gewählten Geburtstagspruch,
    der seine Geburtstagsparty unvergesslich macht.

    Heute gibt es tatsächlich viele Möglichkeiten, einen guten Geburtstagsspruch zu finden.

    Allgemein gesagt, kann man sich sowohl für eher
    kurze Wünsche zum Geburtstag als auch für ziemlich lange Geburtstagswünsche entscheiden.

    Die kurzen Geburtstagsgedichte kann man natürlicherweise sogar per SMS senden.
    Die auf vielen Webseiten angebotenen längeren Geburtstagswünsche kann
    man einfach auf der Party zum Geburtstag vortragen – selbstverständlich wird jedes Geburtsgaskind davon begeistert.

    Lustige Grüße zum Geburtstag sind eine
    tolle Lösung, im Fall, wenn man einen Spruch z.B. zum 18.
    Geburtstag sucht. Im Fall, wenn man aber neutrale Wünsche zum Geburtstag sucht, die sich
    für alle Geburtstagskinder eignen, soll man einfach einen Aphorismus auswählen.
    Ein neutraler Spruch oder ein nicht langes Geburtstagsgedicht kann man z.B.
    auf der Party des Vorgesetzten oder eines Mitarbeiters vortragen.

    Jedenfalls kann man auch einen gefundenen Spruch beliebig abwandeln, damit er besser zum Anlass
    und zum Jubilar passt. Man kann sicher sein, entsprechende Gedichte zum Geburtstag bleiben lange
    im Kopf des Jubilars.

Leave a Reply

Your email address will not be published. Required fields are marked *

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>