Непрерывное профилирование

Непрерывное профилирование показывает, на что ваше приложение тратит процессорное время и память, функция за функцией. Status200 предоставляет API приёма, совместимый с Pyroscope, поэтому всё, что умеет отправлять данные на сервер Pyroscope (профилировщик eBPF из Grafana Alloy или SDK Pyroscope для вашего языка), может отправлять их в Status200, а результат вы видите в виде flame-графов рядом с логами, метриками и трассировками.

Как это работает#

Профилировщик снимает выборки с ваших процессов и каждые несколько секунд загружает профиль на конечную точку Status200 /pyroscope с вашим ключом приёма. Status200 сохраняет каждый профиль под сервисом, который в нём указан, и рисует его в виде flame-графа в разделе Профили производительности.

Перед началом работы#

Вам нужен ключ приёма телеметрии типа Сервер. Если его ещё нет:

1. Откройте ключи приёма#

   Перейдите в Продукты → Настройки проекта, откройте Телеметрия и APM в боковом меню и выберите Ключи приема.

   

2. Создайте ключ#

   Нажмите Создать ключ приёма. В диалоге имя ключа уже заполнено и выбран Сервер (тип ключа, с которым отправляют данные приложение или коллектор), поэтому нажмите Создать ключ приёма, чтобы создать его, или сначала переименуйте.

3. Скопируйте секрет#

   Новый ключ откроется на своей странице. Скопируйте его Секретный ключ: это токен приёма, который в примерах ниже называется YOUR_STATUS200_INGESTION_TOKEN.

   

Конечная точка приёма#

Клиенты добавляют к базовому URL свой путь (/ingest у большинства SDK Pyroscope, /push.v1.PusherService/Push у Grafana Alloy и у SDK для .NET начиная с v0.14), поэтому вы всегда указываете только базовый URL, без завершающей косой черты.

Status200 читает токен приёма из любого из этих мест; используйте то, что поддерживает ваш клиент:

Поддерживаемые форматы профилей#

Отправка профилей#

Grafana Alloy профилирует все процессы на хосте без изменения кода, и с него рекомендуется начинать. SDK Pyroscope, напротив, работает внутри вашего приложения.

discovery.process "all" {
  refresh_interval = "60s"
}

discovery.relabel "alloy_profiles" {
  targets = discovery.process.all.targets

  rule {
    action       = "replace"
    source_labels = ["__meta_process_exe"]
    target_label  = "service_name"
  }
}

pyroscope.ebpf "default" {
  targets    = discovery.relabel.alloy_profiles.output
  forward_to = [pyroscope.write.status200.receiver]

  collect_interval = "15s"
  sample_rate      = 97
}

pyroscope.write "oneuptime" {
  endpoint {
    url = "https://status200.ru/pyroscope"
    headers = {
      "x-status200-token" = "YOUR_STATUS200_INGESTION_TOKEN",
    }
  }
}

services:
  alloy:
    image: grafana/alloy:latest
    privileged: true
    pid: host
    volumes:
      - ./alloy-config.alloy:/etc/alloy/config.alloy
      - /proc:/proc:ro
      - /sys:/sys:ro
    command:
      - run
      - /etc/alloy/config.alloy

alloy run alloy-config.alloy

import "github.com/grafana/pyroscope-go"

pyroscope.Start(pyroscope.Config{
    ApplicationName: "my-service",
    ServerAddress:   "https://status200.ru/pyroscope",
    AuthToken:       "YOUR_STATUS200_INGESTION_TOKEN",
    ProfileTypes: []pyroscope.ProfileType{
        pyroscope.ProfileCPU,
        pyroscope.ProfileAllocObjects,
        pyroscope.ProfileAllocSpace,
        pyroscope.ProfileInuseObjects,
        pyroscope.ProfileInuseSpace,
        pyroscope.ProfileGoroutines,
    },
})

const Pyroscope = require("@pyroscope/nodejs");

Pyroscope.init({
  serverAddress: "https://status200.ru/pyroscope",
  appName: "my-service",
  authToken: "YOUR_STATUS200_INGESTION_TOKEN",
});

Pyroscope.start();

import pyroscope

pyroscope.configure(
    application_name="my-service",
    server_address="https://status200.ru/pyroscope",
    auth_token="YOUR_STATUS200_INGESTION_TOKEN",
)

FROM alpine:3.20 AS pyroscope-profiler
ARG PYROSCOPE_DOTNET_VERSION=1.5.1
ADD https://github.com/grafana/pyroscope-dotnet/releases/download/pyroscope-${PYROSCOPE_DOTNET_VERSION}/pyroscope.${PYROSCOPE_DOTNET_VERSION}-glibc-x86_64.tar.gz /tmp/pyroscope.tar.gz
RUN mkdir -p /pyroscope && tar -xzf /tmp/pyroscope.tar.gz -C /pyroscope

FROM mcr.microsoft.com/dotnet/aspnet:10.0
# ... your application ...
COPY --from=pyroscope-profiler /pyroscope /pyroscope
ENV CORECLR_ENABLE_PROFILING=1
ENV CORECLR_PROFILER={BD1A650D-AC5D-4896-B64F-D6FA25D6B26A}
ENV CORECLR_PROFILER_PATH=/pyroscope/Pyroscope.Profiler.Native.so
ENV LD_PRELOAD=/pyroscope/Pyroscope.Linux.ApiWrapper.x64.so
ENV LD_LIBRARY_PATH=/pyroscope

PYROSCOPE_APPLICATION_NAME=my-service
PYROSCOPE_PROFILING_ENABLED=1
PYROSCOPE_SERVER_ADDRESS=https://status200.ru/pyroscope
PYROSCOPE_BASIC_AUTH_USER=oneuptime
PYROSCOPE_BASIC_AUTH_PASSWORD=YOUR_STATUS200_INGESTION_TOKEN

Ruby и Rust работают так же, как Go, Node.js и Python: установите SDK Pyroscope для вашего языка и задайте адрес сервера https://status200.ru/pyroscope с токеном приёма в качестве токена аутентификации (или, если ваша версия SDK предлагает только базовую аутентификацию, в качестве её пароля).

Поддерживаемые типы профилей#

pprof может объявлять несколько типов выборок; каждый загруженный профиль сохраняется под одним из них: время CPU (cpu в наносекундах), если оно есть, иначе реальное время, иначе используемые, а затем выделенные байты, иначе первый объявленный тип. Любой тип сохраняется и доступен для просмотра; для типов ниже в Status200 есть отдельная группировка, единицы и подписи:

Всё остальное (например, пользовательский тип выборок) появляется в разделе «Другое» под своим исходным именем.

Проверка работы#

1. Проверьте токен#

   Конечные точки приёма отвечают 401 на отсутствующий или неверный токен, но большинство профилировщиков не показывают это там, где вы это увидите (профилировщик для .NET, например, пишет HTTP-ответы в журнал только на уровне debug). Спросите конечную точку проверки напрямую:

   Bash

   curl -i -H "x-status200-token: YOUR_STATUS200_INGESTION_TOKEN" \
     https://status200.ru/otlp/v1/validate

   Действительный токен возвращает 200 с {"valid": true, ...}, и его keyType должен быть Server: ключ браузера тоже действителен, но не может отправлять профили. Неизвестный, отозванный, отключённый или просроченный токен возвращает 401.

2. Откройте страницу профилей#

   В дашборде Status200 перейдите в Продукты → Профили производительности. При интервале сбора Alloy в 15 секунд (или интервале загрузки SDK от 10 до 15 секунд) первые профили и их flame-графы появляются через минуту-две после запуска агента.

3. Проверьте сервис#

   Профили привязываются к сервису телеметрии, указанному в application_name / appName / PYROSCOPE_APPLICATION_NAME SDK (или к имени исполняемого файла процесса при правиле перемаркировки Alloy, приведённом выше).

4. Всё ещё ничего? Посмотрите статус загрузок#

   Для профилировщика .NET задайте приложению DD_TRACE_DEBUG=1 на минуту: тогда он будет писать строку PyroscopePprofSink <status> для каждой загрузки. 200 означает, что Status200 принял загрузку; 401 — проблема с токеном; 404 обычно означает, что в PYROSCOPE_SERVER_ADDRESS нет суффикса /pyroscope; 413 означает, что прокси перед Status200 отклонил загрузку из-за размера (см. вкладку .NET в разделе Отправка профилей). Если вы размещаете Status200 самостоятельно, журнал доступа ingress (nginx) записывает тот же статус для каждого запроса к /pyroscope.

Изучение профилей в Status200#

Продукты → Профили производительности открывает профилировщик на странице Обзор. Он отвечает словами раньше любого графика: куда уходит время («В checkout на JSON.parse приходится 42% по метрике «время CPU».») и, если самая загруженная функция принадлежит библиотеке или среде выполнения, какая функция вашего собственного кода занимает больше всего вместе с вызываемым ею кодом библиотек и среды выполнения. Вверху выберите сервис, тип профиля, по которому у него есть данные (Время CPU, Реальное время, Память, Аллокации, Блокировки или Горутины, или один тип в Другие типы профилей), и интервал.

Сравнение двух интервалов#

Сравнить с задаёт, с чем сравнивается интервал: Предыдущий период, То же время вчера, То же время на прошлой неделе или деплой в разделе До и после изменения. Сравниваются доли, а не суммы, поэтому один лишь рост трафика ничего не сдвигает. Заголовок называет функцию, доля которой выросла больше всего, и ваш собственный код, который вырос; flame-граф становится Что изменилось, где красные фреймы после занимают большую долю, а зелёные — меньшую; а Изменившиеся функции показывает долю каждой функции до и после.

Одна функция#

Нажмите на функцию, чтобы открыть её панель: её доля как Собственное, Всего и Ваш код, Кто её вызывает и Что она вызывает, ссылка на её файл и строку в вашем репозитории, если он подключён, и Выделить во flame-графе. Для функции библиотеки или среды выполнения панель называет функцию вашего собственного кода, которая её вызывает: там изменение может её удешевить. Ссылка под долями настраивает оповещение о доле функции выше того, что она занимает сегодня: см. Мониторинг профилей.

Когда функция вашего собственного кода занимает не меньше 5 % времени или памяти профиля либо её доля выросла на 3 п. п. или больше по сравнению с интервалом, с которым её сравнивают, панель предлагает Исправить с ИИ: Status200 AI запускает задачу в репозитории, где находится функция, с профилем в качестве доказательства и открывает pull request, который вы проверяете (см. Code). Status200 AI также читает профили в своих ответах и расследованиях, поэтому можно спросить, какие функции используют больше всего времени CPU.

Один профиль#

Все профили показывает каждую загрузку. У страницы профиля три представления:

Download pprof сохраняет профиль для локальных инструментов, таких как go tool pprof.

Связь с трассировками#

Если профиль содержит ID трассировок и спанов (например, как метки выборок trace_id / span_id), вы можете перейти прямо от медленного спана трассировки к соответствующему профилю CPU или памяти и точно понять, какой код выполнялся, а Open linked trace ведёт в обратную сторону.

Вкладка Профиль спана также включает выборки, связанные с вложенными в него спанами, потому что профилировщики часто относят время CPU запроса к дочернему спану, а не к самому спану запроса.

Страница трассировки также ведёт в профилировщик на сервисе трассировки за 15 минут до и после неё, если сервис тогда профилировался, а страница Профили производительности сервиса или хоста открывает профилировщик на этом сервисе или хосте.

Хранение данных#

Профили хранятся столько же, сколько телеметрия проекта: Настройки проекта → Телеметрия и APM → Хранение данных задаёт Срок хранения по умолчанию (дни), 15 дней, если его не менять. По окончании срока хранения данные удаляются автоматически. Тарифы с переопределением сроков хранения позволяют также хранить профили дольше или меньше остальной телеметрии или задавать срок хранения для отдельного сервиса на его странице Настройки.

Дальнейшие шаги#