🛠️ToolsShed

Очиститель текста

Удаляйте лишние пробелы, пустые строки, специальные символы и HTML-теги.

Инструмент очистки текста удаляет нежелательное форматирование, лишние пробелы и распространённый мусор из текста в один клик. При копировании текста из PDF, Word-документов, веб-страниц или писем результат часто содержит лишние переносы строк, несколько последовательных пробелов, невидимые символы Unicode или HTML-сущности вроде & и  .

Выберите нужные операции очистки и нажмите «Очистить». Доступные операции: удаление лишних пробелов и пустых строк, обрезка пробелов в начале и конце, сворачивание нескольких пробелов в один, преобразование «умных» кавычек в прямые, удаление HTML-тегов, декодирование HTML-сущностей, удаление непечатаемых символов.

Очистка текста — распространённый первый шаг в конвейерах обработки данных. При импорте текстовых данных в базы данных, модели машинного обучения или API неожиданные пробелы и специальные символы являются частым источником ошибок разбора.

Часто задаваемые вопросы

Реализация кода

import re
import unicodedata

def remove_control_chars(text: str) -> str:
    """Remove non-printable control characters (keep tab, newline, carriage return)."""
    return "".join(
        ch for ch in text
        if unicodedata.category(ch) not in ("Cc", "Cf") or ch in ("\t", "\n", "\r")
    )

def normalize_line_endings(text: str, style: str = "lf") -> str:
    """Normalize line endings to LF (Unix) or CRLF (Windows)."""
    text = text.replace("\r\n", "\n").replace("\r", "\n")
    if style == "crlf":
        text = text.replace("\n", "\r\n")
    return text

def collapse_whitespace(text: str) -> str:
    """Replace multiple consecutive spaces/tabs on each line with a single space."""
    return "\n".join(re.sub(r"[ \t]+", " ", line) for line in text.splitlines())

def trim_lines(text: str) -> str:
    """Strip leading and trailing whitespace from each line."""
    return "\n".join(line.strip() for line in text.splitlines())

def remove_blank_lines(text: str) -> str:
    """Collapse multiple consecutive blank lines into one."""
    return re.sub(r"\n{3,}", "\n\n", text)

def clean_text(text: str,
               control_chars: bool = True,
               normalize_endings: bool = True,
               collapse_spaces: bool = True,
               trim: bool = True,
               blank_lines: bool = True) -> str:
    """Run all cleaning steps in sequence."""
    if control_chars:
        text = remove_control_chars(text)
    if normalize_endings:
        text = normalize_line_endings(text)
    if collapse_spaces:
        text = collapse_whitespace(text)
    if trim:
        text = trim_lines(text)
    if blank_lines:
        text = remove_blank_lines(text)
    return text

sample = "  Hello\t  world!  \n\n\nExtra blank lines   \n\x00Null byte here  "
print(repr(clean_text(sample)))
# 'Hello world!\n\nExtra blank lines\nNull byte here'

Comments & Feedback

Comments are powered by Giscus. Sign in with GitHub to leave a comment.