Textual Data Bias Detection and Mitigation - An Extensible Pipeline with Experimental Evaluation
Обнаружение и Смягчение Смещений в Текстовых Данных – Расширяемый Конвейер с Экспериментальной Оценкой Большие языковые модели (БЯМ), обученные на обширных текстовых данных, часто демонстрируют многогранные смещения, включая вредоносный язык и искаженные демографические представления. Регламенты, такие как Европейский закон об ИИ, требуют выявления и смягчения этих смещений, однако практические рекомендации и эффективные технические решения для неструктурированных данных остаются недостаточными. Данная работа предлагает всеобъемлющий четырехкомпонентный конвейер, специально разработанный для обнаружения и смягчения двух ключевых типов смещения данных: смещения представления и явных стереотипов, настраиваемых для различных чувствительных атрибутов. Конвейер использует списки слов, сгенерированные БЯМ, для обнаружения меток групп, количественно оценивает смещение представления с помощью показателя демографического представления, применяет социолингвистически информированную фильтрацию для стереотипов и компенсирует смещение представления посредством увеличения данных с помощью грамматически и контекстно-ориентированной контрфактической аугментации. Оценка подтвердила, что отдельные компоненты успешно сократили смещение представления и явные стереотипы в текстовых наборах данных. Однако критически важное открытие показало, что БЯМ, дообученные на дебиасированных данных, не демонстрировали последовательного улучшения производительности на бенчмарках смещения. Это выявляет существенные пробелы в текущих методологиях оценки смещения и подчеркивает необходимость более целенаправленных стратегий манипуляции данными для эффективного устранения смещения моделей. #СмещениеДанных #БММ #ОбнаружениеСмещения #СмягчениеСмещения #ЗаконОбИИ #МашинноеОбучение #Справедливость #НЛП #ТекстовыеДанные #ЭтикаИИ документ - https://arxiv.org/pdf/2512.10734v1 подписаться - https://t.me/arxivpaperu отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM
Обнаружение и Смягчение Смещений в Текстовых Данных – Расширяемый Конвейер с Экспериментальной Оценкой Большие языковые модели (БЯМ), обученные на обширных текстовых данных, часто демонстрируют многогранные смещения, включая вредоносный язык и искаженные демографические представления. Регламенты, такие как Европейский закон об ИИ, требуют выявления и смягчения этих смещений, однако практические рекомендации и эффективные технические решения для неструктурированных данных остаются недостаточными. Данная работа предлагает всеобъемлющий четырехкомпонентный конвейер, специально разработанный для обнаружения и смягчения двух ключевых типов смещения данных: смещения представления и явных стереотипов, настраиваемых для различных чувствительных атрибутов. Конвейер использует списки слов, сгенерированные БЯМ, для обнаружения меток групп, количественно оценивает смещение представления с помощью показателя демографического представления, применяет социолингвистически информированную фильтрацию для стереотипов и компенсирует смещение представления посредством увеличения данных с помощью грамматически и контекстно-ориентированной контрфактической аугментации. Оценка подтвердила, что отдельные компоненты успешно сократили смещение представления и явные стереотипы в текстовых наборах данных. Однако критически важное открытие показало, что БЯМ, дообученные на дебиасированных данных, не демонстрировали последовательного улучшения производительности на бенчмарках смещения. Это выявляет существенные пробелы в текущих методологиях оценки смещения и подчеркивает необходимость более целенаправленных стратегий манипуляции данными для эффективного устранения смещения моделей. #СмещениеДанных #БММ #ОбнаружениеСмещения #СмягчениеСмещения #ЗаконОбИИ #МашинноеОбучение #Справедливость #НЛП #ТекстовыеДанные #ЭтикаИИ документ - https://arxiv.org/pdf/2512.10734v1 подписаться - https://t.me/arxivpaperu отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM