Asegurar el crecimiento del negocio es lo que quieren lograr los gerentes de producto, y probablemente por eso está leyendo este artículo. Y si bien la medición es la clave para cuantificar el éxito, el objetivo final debe ser comunicar los resultados en términos de impacto en las ganancias. Esto asegura que los equipos de crecimiento puedan mostrar victoria, obtener apoyo interno y aumentar los recursos del equipo.
El informe de los resultados obviamente comienza cuando se planifican los experimentos y requiere una mirada crítica a los datos a lo largo del proceso. Comenzar con la experimentación lo ayudará a comprender lo que necesita lograr, comprender cuándo los resultados pueden no contar toda la historia y relacionar claramente los datos con el impacto comercial.
Elección de indicadores de crecimiento
Comprender el impacto de los experimentos de crecimiento es crucial para las organizaciones, pero puede ser difícil para la alineación interna. En algunos casos, esto conduce a una definición retroactiva de los objetivos del experimento para que coincida con la narrativa deseada. Para garantizar la cohesión del equipo en las estrategias de crecimiento y lograr experimentos efectivos, la planificación debe comenzar con la elección de los indicadores de crecimiento correctos.
Es importante comprender primero las sutiles diferencias entre los términos generales de medición. Estos son algunos términos que con demasiada frecuencia se usan indistintamente y cuál es la mejor manera de distinguirlos.
- Estrella del Norte: ¿Qué debemos lograr como organización o equipo? Ejemplo: aumentar la vida útil (LTV).
- OKR: ¿Cuál es el objetivo y cuál es el resultado clave que desea lograr este trimestre o año? Por ejemplo, aumentar conversión pagada por 10 por ciento.
- Meta: ¿Qué quieres que hagan tus usuarios? Tal vez sea para convertir a los usuarios de un producto gratuito a uno de pago.
- Señal: ¿Qué acciones del usuario indican que se ha logrado su objetivo? Estas pueden ser visitas a la página de precios.
- Métricas básicas: ¿Cómo se pueden obtener datos sobre estas señales? Como datos de transacciones (pagos recibidos).
- Hipótesis: ¿Qué cambios esperas? Como una nueva característica que mejorará la propuesta de valor y aumentará la velocidad de actualización.
- Datos de soporte: ¿Qué datos confirman su creencia de que logrará los cambios deseados? Tenga en cuenta los comentarios de los usuarios beta sobre la nueva función.
Puede confundir fácilmente las señales, los indicadores primarios y los indicadores de la Estrella del Norte; sé que lo hice al comienzo de mi carrera.
Tener uno, un máximo de dos, indicadores clave lo ayuda a mantenerse enfocado en los resultados que desea y tomar decisiones más rápido. Los principales indicadores son cómo se evalúa finalmente el éxito del experimento, como aquí tarifas por renovación y almacenamiento pagado del producto. En comparación, una señal puede decirle algo sobre el comportamiento de sus usuarios finales, pero no puede cambiar su decisión de implementar una nueva característica. Las alertas pueden incluir la tasa de clics, el número total de usuarios o visitantes de la página. Te dicen cómo interactúa tu audiencia con la marca, pero eso no significa necesariamente que tenga un impacto real en el negocio.
Mientras tanto, los indicadores de North Star son cruciales para nivelar a todo el equipo, señalando a todos en una dirección para lograr el máximo impacto y priorizar los recursos. Piense en las estrellas del norte como los objetivos de éxito de todo el equipo, mientras que los indicadores clave son específicos de funciones o experimentos.
Por ejemplo, imagine que la empresa A tiene un producto con varios tipos de planes. Cuando la empresa A examina los datos, se da cuenta de que su plan mensual tenía actualizaciones más altas, pero el plan anual tenía actualizaciones más altas. LTV. Esto les dice que no todos los tipos de planes son iguales. La empresa A puede decidir fácilmente si le importa más la prioridad de los planes mensuales o anuales con North Star.
Verificación de indicadores mediante mediciones
Hay una gran cantidad de datos hoy en día, y hay muchas maneras de obtenerlos. Puede ver pruebas A / B, datos de transacciones o datos de rendimiento. Al establecer sus tasas de crecimiento primero, debe comprender lo que debe verificar. Elija el mejor enfoque para la medición en función de sus métricas de rendimiento.
Desafortunadamente, hay momentos en que la medición no funcionará, al menos no de inmediato. Por ejemplo, si su objetivo es aumentar sus suscripciones anuales, deberá esperar un año para determinar si el experimento fue exitoso. En tales situaciones, considere utilizar datos de calidad recopilados durante entrevistas o encuestas a clientes.
La influencia se transmite claramente.
Una vez que haya establecido las tasas de crecimiento y realizado los experimentos, es hora de cuantificar el impacto. Después de completar el experimento, cuantifico el impacto de los resultados para comunicarlos mejor a mi equipo.
Veamos un ejemplo simple: un producto que es una compra única sin pagos regulares (no un producto de suscripción). Supongamos que acaba de realizar una prueba A / B y obtuvo un 20 estadísticamente significativo por ciento aumentar la frecuencia de actualización el primer día para los usuarios de computadoras. ¿Qué significa esto realmente en términos de impacto real en las ganancias?
Los factores importantes a considerar son el porcentaje de ingresos de la actualización en una computadora el primer día, los ingresos anuales del año pasado y la tasa de crecimiento anual. Después de obtener estas cifras, podrá calcular el impacto relativo de este experimento y su impacto general en los ingresos. En este ejemplo, será un cálculo simple con esta fórmula:
= 20% (aumento experimental) X % de ingresos por actualización de computadora para el primer día X ingreso anual el año pasado X tasa anual de crecimiento.
Al medir su impacto, es importante realizar un seguimiento de los siguientes errores comunes:
- Ignorar los efectos secundarios: Mi uso del producto ha aumentado, pero estoy canibalizando otro producto.
- Corto plazo versus largo plazo: La frecuencia de actualización mejoró, pero luego volvió al mismo nivel o más bajo.
- Indicadores de vanidad: Más usuarios hacen clic, pero la frecuencia de actualización no cambia.
- Atribución: Este cambio resultó en un aumento de X en la retención, pero también hicimos otros tres cambios al mismo tiempo.
La transición del experimento a la producción.
Es raro ver que el efecto esperado coincida con el efecto real: en experimentos con un aumento de dos más dos, a menudo es igual a tres en lugar de cuatro. Hay varias razones por las que esto es así.
Aprovecha el efecto de novedad. Los datos mostrarán un crecimiento a corto plazo con una nueva característica después de la implementación, pero las innovaciones para los consumidores disminuirán. Esto eventualmente empeorará los resultados del experimento.
Además, no estás tratando de optimizar un mundo estático. Creas una nueva experiencia para un cliente que cambia su comportamiento. Esto significa que sus experimentos y la forma en que mide los mismos efectos deberán desarrollarse para mantenerse al día.
Otra posibilidad es que el comportamiento del usuario solo se pueda cambiar antes en el ciclo de vida. Por ejemplo, como resultado de un experimento, un usuario podría actualizarlo durante la primera semana en lugar del primer mes. Esto significa que el impacto puede ser menor de lo esperado originalmente. Es importante hacer un seguimiento de las cohortes a lo largo del tiempo para ver si esto puede suceder.
Todo esto puede parecer mucha planificación y reservas, pero en última instancia, establecer sus métricas y tener cuidado al interpretar sus datos puede ser importante para el crecimiento real del negocio. Desde mi experiencia como gerente de producto, seguir estos pasos lo ayudará a asegurarse de que no solo puede lograr sus objetivos, sino también transmitir de manera significativa lo que apuntan en la hoja de ruta de su organización.