import loggingimport requestsfrom bs4 import BeautifulSoupfrom urllib.parse import urljoin
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')logger = logging.getLogger(__name__)
def fetch_page(url): try: response = requests.get(url, timeout=10) # Устанавливаем таймаут 10 секунд response.raise_for_status() # Проверяем, что запрос успешен return response.text except requests.exceptions.RequestException as e: logger.error(f"Ошибка при запросе страницы: {e}") return None
def get_headers(html): soup = BeautifulSoup(html, "html.parser") headers = soup.find_all("h1") # Ищем все заголовки h1 for header in headers: print(header.text.strip()) # Выводим текст заголовка return bool(headers) # Возвращаем True, если заголовки найдены
def main(): url = "https://jedig.ru" html = fetch_page(url) if html: if get_headers(html): logger.info("Заголовки успешно извлечены и выведены") else: logger.error("Не удалось извлечь заголовки") else: logger.error("Не удалось загрузить страницу")
if __name__ == "__main__": main()