Что это за число
Snowflake id - это 64-битное целое, которое кластер выдает сам, не спрашивая у одной базы следующее значение. Twitter опубликовал раскладку, которую использует эта страница: 1 знаковый бит, он остается 0, 41 бит миллисекунд от выбранной эпохи, 5 бит дата-центра, 5 бит worker и 12 бит sequence. 1 + 41 + 5 + 5 + 12 = 64. Знаковый бит равен 0, поэтому значение помещается и в знаковое 64-битное целое, и в беззнаковое.
Поле в 41 бит считает миллисекунды, поэтому id растет со временем и база может взять его кластерным ключом. Поле вмещает 2^41 - 1 миллисекунд, около 69,7 года, считая от выбранной эпохи. Само по себе оно не является календарной датой.
Раскладка бит и число, которое можно проверить
Страница собирает число как (delta << 22) | (datacenter << 17) | (worker << 12) | sequence. delta - это время Unix в миллисекундах минус эпоха, обрезанное до 41 бита. Дата-центр и worker обрезаются до 5 бит каждый (от 0 до 31). Sequence обрезается до 12 бит (от 0 до 4095).
Возьмите метку 2020-01-01T00:00:00.000Z, это 1577836800000. Вычтите эпоху Twitter 1288834974657 (2010-11-04T01:42:54.657Z). delta равна 289001825343. При дата-центре 1, worker 2 и sequence 3 целое равно 1212161512043585539. Разбор идет в обратную сторону: 41 бит выше позиции 22 плюс та же эпоха дают 1577836800000. Биты 17-21 - это дата-центр 1, биты 12-16 - worker 2, младшие 12 бит - sequence 3.
1212161512043585539
bit 63 sign 0
bits 22-62 timestamp 00100001101001001110110011110010000111111
bits 17-21 datacenter 00001 = 1
bits 12-16 worker 00010 = 2
bits 0-11 sequence 000000000011 = 3Эпоха - часть идентификатора
В целом числе не записано, какая эпоха использовалась. На странице три пресета. Twitter - 1288834974657. Discord - 1420070400000, это 2015-01-01T00:00:00.000Z. Unix - 0. Разбор 1212161512043585539 с эпохой Discord не вернет 2020-01-01. Получится время на 1420070400000 миллисекунд раньше истины, потому что прибавлена не та константа.
Поле в 41 бит задает и дату окончания. Эпоха Twitter плюс 2^41 - 1 миллисекунд - это 2080-07-10T17:30:30.208Z. Эпоха Discord доходит до 2084-09-06T15:47:35.551Z. После этой точки генератор той же ширины зациклит метку, если операторы не сменят эпоху или не расширят поле. Зацикливание повторно выдает старые id.
Когда это нужно
- Нужен числовой первичный ключ, который сортируется по времени создания и помещается в 64-битную целую колонку.
- Каждому процессу можно выдать уникальную пару дата-центра и worker и вести sequence для этой пары.
- Вы читаете id из лога и хотите вернуть время. Эпоха производителя и то, что он использовал разбиение 5/5/12, должны быть известны заранее.
Ошибки
- Два процесса с одним дата-центром и одним worker выдадут одно и то же число, если совпадут еще миллисекунда и sequence. Уникальность - это задача назначения, а не случайности.
- 4096 - не скорость, которую один worker может превысить внутри миллисекунды. Правильный генератор ждет следующую миллисекунду или возвращает ошибку. Генератор, который обнуляет sequence, получит коллизию.
- Discord, Mastodon и другие кластеры используют те же ширины с другими эпохами, а некоторые меняют смысл двух 5-битных полей местами. Разбирайте по карте производителя. Эта страница считает биты 17-21 дата-центром, а биты 12-16 - worker.
- JavaScript не хранит это число в Number. Предел безопасного целого - 2^53 - 1, а Snowflake больше. Держите его строкой или BigInt, пока оно не попадет в 64-битную колонку.
- Поле своего времени на странице ставит те часы, которые вы ввели. Оно не проверяет, что момент позже эпохи. Метка до эпохи дает отрицательную delta.
Snowflake рядом с ULID и UUID v4
| Snowflake (эта страница) | ULID | UUID v4 | |
|---|---|---|---|
| Как хранится | 64-битное целое | Строка из 26 символов, 128 бит | Hex-строка из 36 символов, 128 бит |
| Порядок по времени | Да, из 41-битного поля | Да, из 48-битного префикса | Нет |
| Нужен worker id | Да, иначе id совпадут | Нет | Нет |
| Бюджет на миллисекунду | 4096 на один worker | 2^80 случайных суффиксов | Не делится по времени |
| Часы читаются | Только если известна эпоха | Да, префикс - абсолютное время Unix | Часов нет |
Вопросы
Какие биты задают метку времени?
Биты с 22 по 62, всего 41 бит. Сдвиньте число вправо на 22 и наложите маску 0x1ffffffffff. Прибавьте эпоху в миллисекундах, чтобы получить время Unix. Бит 63 - знаковый, он остается 0.
Почему одно и то же число разбирается в две разные даты?
Эпоха в числе не хранится. Эпоха Twitter и эпоха Discord отличаются на 1420070400000 - 1288834974657 миллисекунд. Берите эпоху производителя, иначе календарное время ошибочно ровно на эту константу.
Что будет в 2080 году?
Для эпохи Twitter 41-битный счетчик миллисекунд заканчивается в 2080-07-10T17:30:30.208Z. После этого поле не представляет более позднюю delta. Операторам нужно сменить эпоху или ширину заранее. Эпоха Discord действует до 2084-09-06T15:47:35.551Z.
Snowflake случаен?
Нет. По времени, дата-центру, worker и sequence число определено. Устойчивость к коллизиям идет от того, что этот набор не повторяют, а не от границы дней рождения.
Можно ли вставить сюда snowflake Discord?
Да, если сначала выбрать эпоху Discord. Ширины бит совпадают с раскладкой страницы. Если производитель назначил 5-битные поля в обратном порядке, числа дата-центра и worker поменяются местами, но метка времени останется верной.