Котятки,Мне очень понравилась вот эта статья по масштабированию данных. Аккурат как раз когда я решаю вопрос о горизонте хранения:https://arxiv.org/html/2501.13779v1Несмотря на то, что она относится к LLM, в ней важные мысли про критерии качества данных и расширение этих критериев для разных целей, и как это влияет на масштабирование. Грубо говоря, зачем хранить факт за 10 лет, если его поведение стабильно и доп горизонт хранения не даст дополнительных полезных свойств ни в задачах анализа, ни в задачах прогнозирования? Ну то есть, результат расчета всяких корреляций за 10 лет и за 3 года дает близкие коэффициенты? Впрочем, эти проблемы решены в Data vault 2.0, где мы можем сжать сателлит до состояния ‘признак-период’, оптимизировать производительность и оставить неограниченной глубину хранения.
