【Python】concurrent.futures の ProcessPoolExecutor でログを記録するコード例（まとめて記録）

Python の concurrent.futures.ProcessPoolExecutor でロギングするコード例を書きました。

1 つのファイルにログをまとめて記録する Python コード例です。

ProcessPoolExecutor で並列処理（マルチプロセス処理）しているときに、logging でログを記録する方法です。

環境は Windows 10 Pro (64 bit) で、Python 3.10.4 (64 bit) を使用しました。

説明
メインモジュールをロギングする
自作ライブラリをロギングする
関連記事

説明

QueueListenerキューリスナーと QueueHandlerキューハンドラを使用して、ログを記録します。

「ログの画面表示」と「ログファイルへの書き込み」は、全部 QueueListener のスレッドにおまかせします。

親おやプロセスと各かく子こプロセスのロガーには、QueueHandler だけを取り付けます。

QueueListener のスレッドがログを受信して、QueueListener のスレッドだけが、画面やファイルに書き込みます。

これで、ログを 1 つのファイルにまとめることができました。

⇒ 【Python】logging でログを記録する方法のドキュメントの場所（コメント付き）

メインモジュールをロギングする

メインモジュールを ProcessPoolExecutor で並列実行するときのコード例です。

コード例

メインモジュールのコードです。

app_main.py

import logging, logging.handlers, pathlib
import concurrent.futures, multiprocessing
logger = logging.getLogger(__name__) # NOTSET (0)
# 親プロセスの名前付きロガー または 各子プロセスの名前付きロガー

def main():
    """メイン関数です。"""
    root = logging.getLogger() # 親プロセスのルートロガー
    root.setLevel(logging.INFO) # WARNING (30) ⇒ INFO (20)

    with multiprocessing.Manager() as manager:
        print(f'(manager._process) {manager._process}')
        que = manager.Queue(-1)
        # type(manager): <class 'multiprocessing.managers.SyncManager'>
        # type(que): <class 'multiprocessing.managers.AutoProxy[Queue]'>

        qh = logging.handlers.QueueHandler(que) # NOTSET (0)
        root.addHandler(qh)

        sh = logging.StreamHandler() # NOTSET (0)
        sh.setFormatter(logging.Formatter( # %()-14s: 14 文字分のスペースで左寄せ。
            '%(processName)-14s %(name)-11s %(levelname)-8s '
            '%(module)s.py %(funcName)s(): %(message)s'))

        log_txt = pathlib.Path(rf'F:\apps\log\cf-qh-{__name__}.txt')
        fh = logging.FileHandler(log_txt, encoding='utf-8', mode='a') # NOTSET (0)
        fh.setFormatter(logging.Formatter(
            '%(processName)-14s %(name)-11s %(levelname)-8s '
            '%(module)s.py %(funcName)s(): %(message)s'))

        listener = logging.handlers.QueueListener(que, sh, fh, respect_handler_level=True)
        listener.start() # type(listener): <class 'logging.handlers.QueueListener'>
        try:
            root.info('(QueueListener) start')
            root.info(f'root.level: {logging.getLevelName(root.level)} ({root.level})')
            root.info(f'logger.level: {logging.getLevelName(logger.level)} ({logger.level})')
            root.info(f'qh.level: {logging.getLevelName(qh.level)} ({qh.level})')
            root.info(f'sh.level: {logging.getLevelName(sh.level)} ({sh.level})')
            root.info(f'fh.level: {logging.getLevelName(fh.level)} ({fh.level})')

            logger.debug('デバッグログ') # 今は出ません root: INFO (20)
            logger.info('インフォログ')
            logger.warning('ウォーニングログ')
            logger.error('エラーログ')
            logger.critical('クリティカルログ')

            logger.info('executor.map() を実行します。')
            max_workers = 1
            logger.info(f'プロセス数 max_workers: {max_workers}')
            args_list = [
                [100, 'あいうえお'],
                [200, 'かきくけこ'],
                [300, 'さしすせそ'],
                [400, 'たちつてと'],
                [500, 'なにぬねの'],
            ]
            datas = []
            with concurrent.futures.ProcessPoolExecutor(
                    max_workers=max_workers,
                    initializer=jisaku_initializer, initargs=(que,),
                ) as executor:
                # type(executor): <class 'concurrent.futures.process.ProcessPoolExecutor'>
                results  = executor.map(jisaku_func_wrapper, args_list)
                for result in results: # type(results): <class 'generator'>
                    datas.append(result)

            logger.info('executor.map() の結果を表示します。')
            for data in datas:
                logger.info(data)
            root.info('(QueueListener) end')
        finally:
            listener.stop()

        print('QueueListener を止めたので、以降はロガーを使用しても記録されません。')
        print(root.handlers)
        logger.critical('クリティカルログ')
        root.critical('クリティカルログ')
    print(f'(manager._process) {manager._process}')

    print('もちろん、ハンドラを追加すれば、再び記録されます。')
    root.removeHandler(qh)
    root.addHandler(sh)
    root.addHandler(fh)
    root.info(f'\n{root.handlers}')
    logger.critical('クリティカルログ')
    root.critical('クリティカルログ')
    return

def jisaku_initializer(que):
    """各子プロセスで最初に 1 回だけ実行される関数です。"""
    root = logging.getLogger() # 各子プロセスのルートロガー
    root.setLevel(logging.DEBUG) # WARNING (30) ⇒ DEBUG (10)
    qh = logging.handlers.QueueHandler(que) # NOTSET (0)
    root.addHandler(qh)
    root.info('(キューハンドラ追加完了)')
    root.info(f'root.level: {logging.getLevelName(root.level)} ({root.level})')
    root.info(f'logger.level: {logging.getLevelName(logger.level)} ({logger.level})')
    root.info(f'qh.level: {logging.getLevelName(qh.level)} ({qh.level})')
    return

def jisaku_func_wrapper(args):
    return jisaku_func(*args)

def jisaku_func(number, text):
    """自作関数です。"""
    logger.debug(f'デバッグログ {number} {text}')
    logger.info(f'インフォログ {number} {text}')
    logger.warning(f'ウォーニングログ {number} {text}')
    logger.error(f'エラーログ {number} {text}')
    logger.critical(f'クリティカルログ {number} {text}')
    return [number, text, 'OK']

if __name__ == '__main__':
    main()

実行結果 (max_workers=1)

メインモジュールを max_workers=1 で実行しました。

実行結果の画面表示です。

(manager._process) <SpawnProcess name='SyncManager-1' pid=2264 parent=1912 started>
MainProcess    root        INFO     app_main.py main(): (QueueListener) start   
MainProcess    root        INFO     app_main.py main(): root.level: INFO (20)   
MainProcess    root        INFO     app_main.py main(): logger.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): qh.level: NOTSET (0)    
MainProcess    root        INFO     app_main.py main(): sh.level: NOTSET (0)    
MainProcess    root        INFO     app_main.py main(): fh.level: NOTSET (0)    
MainProcess    __main__    INFO     app_main.py main(): インフォログ
MainProcess    __main__    WARNING  app_main.py main(): ウォーニングログ        
MainProcess    __main__    ERROR    app_main.py main(): エラーログ
MainProcess    __main__    CRITICAL app_main.py main(): クリティカルログ        
MainProcess    __main__    INFO     app_main.py main(): executor.map() を実行します。
MainProcess    __main__    INFO     app_main.py main(): プロセス数 max_workers: 1    
SpawnProcess-2 root        INFO     app_main.py jisaku_initializer(): (キューハンドラ追加完了)
SpawnProcess-2 root        INFO     app_main.py jisaku_initializer(): root.level: DEBUG (10)  
SpawnProcess-2 root        INFO     app_main.py jisaku_initializer(): logger.level: NOTSET (0)
SpawnProcess-2 root        INFO     app_main.py jisaku_initializer(): qh.level: NOTSET (0)    
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 100 あいうえお    
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 100 あいうえお    
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 100 あいうえお
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 100 あいうえお      
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 100 あいうえお
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 200 かきくけこ    
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 200 かきくけこ    
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 200 かきくけこ
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 200 かきくけこ      
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 200 かきくけこ
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 300 さしすせそ    
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 300 さしすせそ    
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 300 さしすせそ
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 300 さしすせそ      
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 300 さしすせそ
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 400 たちつてと    
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 400 たちつてと    
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 400 たちつてと
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 400 たちつてと      
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 400 たちつてと
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 500 なにぬねの
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 500 なにぬねの
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 500 なにぬねの
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 500 なにぬねの
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 500 なにぬねの
MainProcess    __main__    INFO     app_main.py main(): executor.map() の結果を表示します。
MainProcess    __main__    INFO     app_main.py main(): [100, 'あいうえお', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [200, 'かきくけこ', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [300, 'さしすせそ', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [400, 'たちつてと', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [500, 'なにぬねの', 'OK']
MainProcess    root        INFO     app_main.py main(): (QueueListener) end
QueueListener を止めたので、以降はロガーを使用しても記録されません。
[<QueueHandler (NOTSET)>]
(manager._process) <SpawnProcess name='SyncManager-1' pid=2264 parent=1912 stopped exitcode=0>
もちろん、ハンドラを追加すれば、再び記録されます。
MainProcess    root        INFO     app_main.py main():
[<StreamHandler <stderr> (NOTSET)>, <FileHandler F:\apps\log\cf-qh-__main__.txt (NOTSET)>]
MainProcess    __main__    CRITICAL app_main.py main(): クリティカルログ
MainProcess    root        CRITICAL app_main.py main(): クリティカルログ

ログファイルの内容です。

cf-qh-__main__.txt

MainProcess    root        INFO     app_main.py main(): (QueueListener) start
MainProcess    root        INFO     app_main.py main(): root.level: INFO (20)
MainProcess    root        INFO     app_main.py main(): logger.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): qh.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): sh.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): fh.level: NOTSET (0)
MainProcess    __main__    INFO     app_main.py main(): インフォログ
MainProcess    __main__    WARNING  app_main.py main(): ウォーニングログ
MainProcess    __main__    ERROR    app_main.py main(): エラーログ
MainProcess    __main__    CRITICAL app_main.py main(): クリティカルログ
MainProcess    __main__    INFO     app_main.py main(): executor.map() を実行します。
MainProcess    __main__    INFO     app_main.py main(): プロセス数 max_workers: 1
SpawnProcess-2 root        INFO     app_main.py jisaku_initializer(): (キューハンドラ追加完了)
SpawnProcess-2 root        INFO     app_main.py jisaku_initializer(): root.level: DEBUG (10)
SpawnProcess-2 root        INFO     app_main.py jisaku_initializer(): logger.level: NOTSET (0)
SpawnProcess-2 root        INFO     app_main.py jisaku_initializer(): qh.level: NOTSET (0)
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 100 あいうえお
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 100 あいうえお
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 100 あいうえお
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 100 あいうえお
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 100 あいうえお
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 200 かきくけこ
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 200 かきくけこ
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 200 かきくけこ
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 200 かきくけこ
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 200 かきくけこ
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 300 さしすせそ
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 300 さしすせそ
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 300 さしすせそ
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 300 さしすせそ
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 300 さしすせそ
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 400 たちつてと
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 400 たちつてと
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 400 たちつてと
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 400 たちつてと
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 400 たちつてと
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 500 なにぬねの
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 500 なにぬねの
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 500 なにぬねの
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 500 なにぬねの
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 500 なにぬねの
MainProcess    __main__    INFO     app_main.py main(): executor.map() の結果を表示します。
MainProcess    __main__    INFO     app_main.py main(): [100, 'あいうえお', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [200, 'かきくけこ', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [300, 'さしすせそ', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [400, 'たちつてと', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [500, 'なにぬねの', 'OK']
MainProcess    root        INFO     app_main.py main(): (QueueListener) end
MainProcess    root        INFO     app_main.py main(): 
[<StreamHandler <stderr> (NOTSET)>, <FileHandler F:\apps\log\cf-qh-__main__.txt (NOTSET)>]
MainProcess    __main__    CRITICAL app_main.py main(): クリティカルログ
MainProcess    root        CRITICAL app_main.py main(): クリティカルログ

実行結果 (max_workers=2)

メインモジュールを max_workers=2 で実行しました。

実行結果の画面表示です。

(manager._process) <SpawnProcess name='SyncManager-1' pid=12872 parent=7912 started>
MainProcess    root        INFO     app_main.py main(): (QueueListener) start   
MainProcess    root        INFO     app_main.py main(): root.level: INFO (20)   
MainProcess    root        INFO     app_main.py main(): logger.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): qh.level: NOTSET (0)    
MainProcess    root        INFO     app_main.py main(): sh.level: NOTSET (0)    
MainProcess    root        INFO     app_main.py main(): fh.level: NOTSET (0)    
MainProcess    __main__    INFO     app_main.py main(): インフォログ
MainProcess    __main__    WARNING  app_main.py main(): ウォーニングログ        
MainProcess    __main__    ERROR    app_main.py main(): エラーログ
MainProcess    __main__    CRITICAL app_main.py main(): クリティカルログ        
MainProcess    __main__    INFO     app_main.py main(): executor.map() を実行します。
MainProcess    __main__    INFO     app_main.py main(): プロセス数 max_workers: 2    
SpawnProcess-2 root        INFO     app_main.py jisaku_initializer(): (キューハンドラ追加完了)
SpawnProcess-2 root        INFO     app_main.py jisaku_initializer(): root.level: DEBUG (10)  
SpawnProcess-2 root        INFO     app_main.py jisaku_initializer(): logger.level: NOTSET (0)
SpawnProcess-2 root        INFO     app_main.py jisaku_initializer(): qh.level: NOTSET (0)    
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 100 あいうえお    
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 100 あいうえお    
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 100 あいうえお
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 100 あいうえお      
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 100 あいうえお
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 200 かきくけこ    
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 200 かきくけこ    
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 200 かきくけこ
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 200 かきくけこ      
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 200 かきくけこ
SpawnProcess-3 root        INFO     app_main.py jisaku_initializer(): (キューハンドラ追加完了)
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 300 さしすせそ    
SpawnProcess-3 root        INFO     app_main.py jisaku_initializer(): root.level: DEBUG (10)  
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 300 さしすせそ    
SpawnProcess-3 root        INFO     app_main.py jisaku_initializer(): logger.level: NOTSET (0)
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 300 さしすせそ
SpawnProcess-3 root        INFO     app_main.py jisaku_initializer(): qh.level: NOTSET (0)    
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 300 さしすせそ      
SpawnProcess-3 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 400 たちつてと    
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 300 さしすせそ
SpawnProcess-3 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 400 たちつてと
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 500 なにぬねの
SpawnProcess-3 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 400 たちつてと
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 500 なにぬねの
SpawnProcess-3 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 400 たちつてと
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 500 なにぬねの
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 500 なにぬねの
SpawnProcess-3 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 400 たちつてと
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 500 なにぬねの
MainProcess    __main__    INFO     app_main.py main(): executor.map() の結果を表示します。
MainProcess    __main__    INFO     app_main.py main(): [100, 'あいうえお', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [200, 'かきくけこ', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [300, 'さしすせそ', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [400, 'たちつてと', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [500, 'なにぬねの', 'OK']
MainProcess    root        INFO     app_main.py main(): (QueueListener) end
QueueListener を止めたので、以降はロガーを使用しても記録されません。
[<QueueHandler (NOTSET)>]
(manager._process) <SpawnProcess name='SyncManager-1' pid=12872 parent=7912 stopped exitcode=0>
もちろん、ハンドラを追加すれば、再び記録されます。
MainProcess    root        INFO     app_main.py main():
[<StreamHandler <stderr> (NOTSET)>, <FileHandler F:\apps\log\cf-qh-__main__.txt (NOTSET)>]
MainProcess    __main__    CRITICAL app_main.py main(): クリティカルログ
MainProcess    root        CRITICAL app_main.py main(): クリティカルログ

ログファイルの内容です。

cf-qh-__main__.txt

MainProcess    root        INFO     app_main.py main(): (QueueListener) start
MainProcess    root        INFO     app_main.py main(): root.level: INFO (20)
MainProcess    root        INFO     app_main.py main(): logger.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): qh.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): sh.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): fh.level: NOTSET (0)
MainProcess    __main__    INFO     app_main.py main(): インフォログ
MainProcess    __main__    WARNING  app_main.py main(): ウォーニングログ
MainProcess    __main__    ERROR    app_main.py main(): エラーログ
MainProcess    __main__    CRITICAL app_main.py main(): クリティカルログ
MainProcess    __main__    INFO     app_main.py main(): executor.map() を実行します。
MainProcess    __main__    INFO     app_main.py main(): プロセス数 max_workers: 2
SpawnProcess-2 root        INFO     app_main.py jisaku_initializer(): (キューハンドラ追加完了)
SpawnProcess-2 root        INFO     app_main.py jisaku_initializer(): root.level: DEBUG (10)
SpawnProcess-2 root        INFO     app_main.py jisaku_initializer(): logger.level: NOTSET (0)
SpawnProcess-2 root        INFO     app_main.py jisaku_initializer(): qh.level: NOTSET (0)
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 100 あいうえお
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 100 あいうえお
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 100 あいうえお
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 100 あいうえお
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 100 あいうえお
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 200 かきくけこ
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 200 かきくけこ
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 200 かきくけこ
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 200 かきくけこ
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 200 かきくけこ
SpawnProcess-3 root        INFO     app_main.py jisaku_initializer(): (キューハンドラ追加完了)
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 300 さしすせそ
SpawnProcess-3 root        INFO     app_main.py jisaku_initializer(): root.level: DEBUG (10)
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 300 さしすせそ
SpawnProcess-3 root        INFO     app_main.py jisaku_initializer(): logger.level: NOTSET (0)
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 300 さしすせそ
SpawnProcess-3 root        INFO     app_main.py jisaku_initializer(): qh.level: NOTSET (0)
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 300 さしすせそ
SpawnProcess-3 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 400 たちつてと
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 300 さしすせそ
SpawnProcess-3 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 400 たちつてと
SpawnProcess-2 __mp_main__ DEBUG    app_main.py jisaku_func(): デバッグログ 500 なにぬねの
SpawnProcess-3 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 400 たちつてと
SpawnProcess-2 __mp_main__ INFO     app_main.py jisaku_func(): インフォログ 500 なにぬねの
SpawnProcess-3 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 400 たちつてと
SpawnProcess-2 __mp_main__ WARNING  app_main.py jisaku_func(): ウォーニングログ 500 なにぬねの
SpawnProcess-2 __mp_main__ ERROR    app_main.py jisaku_func(): エラーログ 500 なにぬねの
SpawnProcess-3 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 400 たちつてと
SpawnProcess-2 __mp_main__ CRITICAL app_main.py jisaku_func(): クリティカルログ 500 なにぬねの
MainProcess    __main__    INFO     app_main.py main(): executor.map() の結果を表示します。
MainProcess    __main__    INFO     app_main.py main(): [100, 'あいうえお', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [200, 'かきくけこ', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [300, 'さしすせそ', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [400, 'たちつてと', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [500, 'なにぬねの', 'OK']
MainProcess    root        INFO     app_main.py main(): (QueueListener) end
MainProcess    root        INFO     app_main.py main(): 
[<StreamHandler <stderr> (NOTSET)>, <FileHandler F:\apps\log\cf-qh-__main__.txt (NOTSET)>]
MainProcess    __main__    CRITICAL app_main.py main(): クリティカルログ
MainProcess    root        CRITICAL app_main.py main(): クリティカルログ

自作ライブラリをロギングする

自作ライブラリを ProcessPoolExecutor で並列実行するときのコード例です。

コード例

メインモジュールのコードです。

app_main.py

import logging, logging.handlers, pathlib
import concurrent.futures, multiprocessing
import jisaku
logger = logging.getLogger(__name__) # NOTSET (0)
# 親プロセスの名前付きロガー

def main():
    """メイン関数です。"""
    root = logging.getLogger() # 親プロセスのルートロガー
    root.setLevel(logging.INFO) # WARNING (30) ⇒ INFO (20)

    with multiprocessing.Manager() as manager:
        print(f'(manager._process) {manager._process}')
        que = manager.Queue(-1)
        # type(manager): <class 'multiprocessing.managers.SyncManager'>
        # type(que): <class 'multiprocessing.managers.AutoProxy[Queue]'>

        qh = logging.handlers.QueueHandler(que) # NOTSET (0)
        root.addHandler(qh)

        sh = logging.StreamHandler() # NOTSET (0)
        sh.setFormatter(logging.Formatter( # %()-14s: 14 文字分のスペースで左寄せ。
            '%(processName)-14s %(name)-11s %(levelname)-8s '
            '%(module)s.py %(funcName)s(): %(message)s'))

        log_txt = pathlib.Path(rf'F:\apps\log\cf-qh-lib-{__name__}.txt')
        fh = logging.FileHandler(log_txt, encoding='utf-8', mode='a') # NOTSET (0)
        fh.setFormatter(logging.Formatter(
            '%(processName)-14s %(name)-11s %(levelname)-8s '
            '%(module)s.py %(funcName)s(): %(message)s'))

        listener = logging.handlers.QueueListener(que, sh, fh, respect_handler_level=True)
        listener.start() # type(listener): <class 'logging.handlers.QueueListener'>
        try:
            root.info('(QueueListener) start')
            root.info(f'root.level: {logging.getLevelName(root.level)} ({root.level})')
            root.info(f'logger.level: {logging.getLevelName(logger.level)} ({logger.level})')
            root.info(f'qh.level: {logging.getLevelName(qh.level)} ({qh.level})')
            root.info(f'sh.level: {logging.getLevelName(sh.level)} ({sh.level})')
            root.info(f'fh.level: {logging.getLevelName(fh.level)} ({fh.level})')

            logger.debug('デバッグログ') # 今は出ません root: INFO (20)
            logger.info('インフォログ')
            logger.warning('ウォーニングログ')
            logger.error('エラーログ')
            logger.critical('クリティカルログ')

            logger.info('executor.map() を実行します。')
            max_workers = 1
            logger.info(f'プロセス数 max_workers: {max_workers}')
            args_list = [
                [100, 'あいうえお'],
                [200, 'かきくけこ'],
                [300, 'さしすせそ'],
                [400, 'たちつてと'],
                [500, 'なにぬねの'],
            ]
            datas = []
            with concurrent.futures.ProcessPoolExecutor(
                    max_workers=max_workers,
                    initializer=jisaku.jisaku_initializer, initargs=(que,),
                ) as executor:
                # type(executor): <class 'concurrent.futures.process.ProcessPoolExecutor'>
                results  = executor.map(jisaku.jisaku_func_wrapper, args_list)
                for result in results: # type(results): <class 'generator'>
                    datas.append(result)

            logger.info('executor.map() の結果を表示します。')
            for data in datas:
                logger.info(data)
            root.info('(QueueListener) end')
        finally:
            listener.stop()

        print('QueueListener を止めたので、以降はロガーを使用しても記録されません。')
        print(root.handlers)
        logger.critical('クリティカルログ')
        root.critical('クリティカルログ')
    print(f'(manager._process) {manager._process}')

    print('もちろん、ハンドラを追加すれば、再び記録されます。')
    root.removeHandler(qh)
    root.addHandler(sh)
    root.addHandler(fh)
    root.info(f'\n{root.handlers}')
    logger.critical('クリティカルログ')
    root.critical('クリティカルログ')
    return

if __name__ == '__main__':
    main()

自作ライブラリのコードです。

jisaku.py

import logging, logging.handlers
logger = logging.getLogger(__name__) # NOTSET (0)
# 親プロセスの名前付きロガー または 各子プロセスの名前付きロガー

def jisaku_initializer(que):
    """各子プロセスで最初に 1 回だけ実行される関数です。"""
    root = logging.getLogger() # 各子プロセスのルートロガー
    root.setLevel(logging.DEBUG) # WARNING (30) ⇒ DEBUG (10)
    qh = logging.handlers.QueueHandler(que) # NOTSET (0)
    root.addHandler(qh)
    root.info('(キューハンドラ追加完了)')
    root.info(f'root.level: {logging.getLevelName(root.level)} ({root.level})')
    root.info(f'logger.level: {logging.getLevelName(logger.level)} ({logger.level})')
    root.info(f'qh.level: {logging.getLevelName(qh.level)} ({qh.level})')
    return

def jisaku_func_wrapper(args):
    return jisaku_func(*args)

def jisaku_func(number, text):
    """自作関数です。"""
    logger.debug(f'デバッグログ {number} {text}')
    logger.info(f'インフォログ {number} {text}')
    logger.warning(f'ウォーニングログ {number} {text}')
    logger.error(f'エラーログ {number} {text}')
    logger.critical(f'クリティカルログ {number} {text}')
    return [number, text, 'OK']

実行結果 (max_workers=1)

自作ライブラリを max_workers=1 で実行しました。

実行結果の画面表示です。

(manager._process) <SpawnProcess name='SyncManager-1' pid=11684 parent=9484 started>
MainProcess    root        INFO     app_main.py main(): (QueueListener) start   
MainProcess    root        INFO     app_main.py main(): root.level: INFO (20)   
MainProcess    root        INFO     app_main.py main(): logger.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): qh.level: NOTSET (0)    
MainProcess    root        INFO     app_main.py main(): sh.level: NOTSET (0)    
MainProcess    root        INFO     app_main.py main(): fh.level: NOTSET (0)
MainProcess    __main__    INFO     app_main.py main(): インフォログ
MainProcess    __main__    WARNING  app_main.py main(): ウォーニングログ
MainProcess    __main__    ERROR    app_main.py main(): エラーログ
MainProcess    __main__    CRITICAL app_main.py main(): クリティカルログ
MainProcess    __main__    INFO     app_main.py main(): executor.map() を実行します。
MainProcess    __main__    INFO     app_main.py main(): プロセス数 max_workers: 1    
SpawnProcess-2 root        INFO     jisaku.py jisaku_initializer(): (キューハンドラ追加完了)
SpawnProcess-2 root        INFO     jisaku.py jisaku_initializer(): root.level: DEBUG (10)  
SpawnProcess-2 root        INFO     jisaku.py jisaku_initializer(): logger.level: NOTSET (0)
SpawnProcess-2 root        INFO     jisaku.py jisaku_initializer(): qh.level: NOTSET (0)    
SpawnProcess-2 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 100 あいうえお    
SpawnProcess-2 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 100 あいうえお    
SpawnProcess-2 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 100 あいうえお
SpawnProcess-2 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 100 あいうえお      
SpawnProcess-2 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 100 あいうえお
SpawnProcess-2 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 200 かきくけこ    
SpawnProcess-2 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 200 かきくけこ    
SpawnProcess-2 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 200 かきくけこ
SpawnProcess-2 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 200 かきくけこ      
SpawnProcess-2 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 200 かきくけこ
SpawnProcess-2 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 300 さしすせそ    
SpawnProcess-2 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 300 さしすせそ
SpawnProcess-2 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 300 さしすせそ
SpawnProcess-2 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 300 さしすせそ      
SpawnProcess-2 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 300 さしすせそ
SpawnProcess-2 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 400 たちつてと    
SpawnProcess-2 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 400 たちつてと    
SpawnProcess-2 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 400 たちつてと
SpawnProcess-2 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 400 たちつてと      
SpawnProcess-2 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 400 たちつてと
SpawnProcess-2 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 500 なにぬねの
SpawnProcess-2 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 500 なにぬねの
SpawnProcess-2 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 500 なにぬねの
SpawnProcess-2 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 500 なにぬねの
SpawnProcess-2 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 500 なにぬねの
MainProcess    __main__    INFO     app_main.py main(): executor.map() の結果を表示します。
MainProcess    __main__    INFO     app_main.py main(): [100, 'あいうえお', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [200, 'かきくけこ', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [300, 'さしすせそ', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [400, 'たちつてと', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [500, 'なにぬねの', 'OK']
MainProcess    root        INFO     app_main.py main(): (QueueListener) end
QueueListener を止めたので、以降はロガーを使用しても記録されません。
[<QueueHandler (NOTSET)>]
(manager._process) <SpawnProcess name='SyncManager-1' pid=11684 parent=9484 stopped exitcode=0>
もちろん、ハンドラを追加すれば、再び記録されます。
MainProcess    root        INFO     app_main.py main():
[<StreamHandler <stderr> (NOTSET)>, <FileHandler F:\apps\log\cf-qh-lib-__main__.txt (NOTSET)>]
MainProcess    __main__    CRITICAL app_main.py main(): クリティカルログ
MainProcess    root        CRITICAL app_main.py main(): クリティカルログ

ログファイルの内容です。

cf-qh-lib-__main__.txt

MainProcess    root        INFO     app_main.py main(): (QueueListener) start
MainProcess    root        INFO     app_main.py main(): root.level: INFO (20)
MainProcess    root        INFO     app_main.py main(): logger.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): qh.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): sh.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): fh.level: NOTSET (0)
MainProcess    __main__    INFO     app_main.py main(): インフォログ
MainProcess    __main__    WARNING  app_main.py main(): ウォーニングログ
MainProcess    __main__    ERROR    app_main.py main(): エラーログ
MainProcess    __main__    CRITICAL app_main.py main(): クリティカルログ
MainProcess    __main__    INFO     app_main.py main(): executor.map() を実行します。
MainProcess    __main__    INFO     app_main.py main(): プロセス数 max_workers: 1
SpawnProcess-2 root        INFO     jisaku.py jisaku_initializer(): (キューハンドラ追加完了)
SpawnProcess-2 root        INFO     jisaku.py jisaku_initializer(): root.level: DEBUG (10)
SpawnProcess-2 root        INFO     jisaku.py jisaku_initializer(): logger.level: NOTSET (0)
SpawnProcess-2 root        INFO     jisaku.py jisaku_initializer(): qh.level: NOTSET (0)
SpawnProcess-2 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 100 あいうえお
SpawnProcess-2 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 100 あいうえお
SpawnProcess-2 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 100 あいうえお
SpawnProcess-2 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 100 あいうえお
SpawnProcess-2 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 100 あいうえお
SpawnProcess-2 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 200 かきくけこ
SpawnProcess-2 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 200 かきくけこ
SpawnProcess-2 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 200 かきくけこ
SpawnProcess-2 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 200 かきくけこ
SpawnProcess-2 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 200 かきくけこ
SpawnProcess-2 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 300 さしすせそ
SpawnProcess-2 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 300 さしすせそ
SpawnProcess-2 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 300 さしすせそ
SpawnProcess-2 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 300 さしすせそ
SpawnProcess-2 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 300 さしすせそ
SpawnProcess-2 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 400 たちつてと
SpawnProcess-2 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 400 たちつてと
SpawnProcess-2 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 400 たちつてと
SpawnProcess-2 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 400 たちつてと
SpawnProcess-2 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 400 たちつてと
SpawnProcess-2 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 500 なにぬねの
SpawnProcess-2 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 500 なにぬねの
SpawnProcess-2 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 500 なにぬねの
SpawnProcess-2 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 500 なにぬねの
SpawnProcess-2 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 500 なにぬねの
MainProcess    __main__    INFO     app_main.py main(): executor.map() の結果を表示します。
MainProcess    __main__    INFO     app_main.py main(): [100, 'あいうえお', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [200, 'かきくけこ', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [300, 'さしすせそ', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [400, 'たちつてと', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [500, 'なにぬねの', 'OK']
MainProcess    root        INFO     app_main.py main(): (QueueListener) end
MainProcess    root        INFO     app_main.py main(): 
[<StreamHandler <stderr> (NOTSET)>, <FileHandler F:\apps\log\cf-qh-lib-__main__.txt (NOTSET)>]
MainProcess    __main__    CRITICAL app_main.py main(): クリティカルログ
MainProcess    root        CRITICAL app_main.py main(): クリティカルログ

実行結果 (max_workers=2)

自作ライブラリを max_workers=2 で実行しました。

実行結果の画面表示です。

(manager._process) <SpawnProcess name='SyncManager-1' pid=6976 parent=12160 started>
MainProcess    root        INFO     app_main.py main(): (QueueListener) start   
MainProcess    root        INFO     app_main.py main(): root.level: INFO (20)   
MainProcess    root        INFO     app_main.py main(): logger.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): qh.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): sh.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): fh.level: NOTSET (0)
MainProcess    __main__    INFO     app_main.py main(): インフォログ
MainProcess    __main__    WARNING  app_main.py main(): ウォーニングログ
MainProcess    __main__    ERROR    app_main.py main(): エラーログ
MainProcess    __main__    CRITICAL app_main.py main(): クリティカルログ
MainProcess    __main__    INFO     app_main.py main(): executor.map() を実行します。
MainProcess    __main__    INFO     app_main.py main(): プロセス数 max_workers: 2    
SpawnProcess-3 root        INFO     jisaku.py jisaku_initializer(): (キューハンドラ追加完了)
SpawnProcess-3 root        INFO     jisaku.py jisaku_initializer(): root.level: DEBUG (10)  
SpawnProcess-2 root        INFO     jisaku.py jisaku_initializer(): (キューハンドラ追加完了)
SpawnProcess-3 root        INFO     jisaku.py jisaku_initializer(): logger.level: NOTSET (0)
SpawnProcess-2 root        INFO     jisaku.py jisaku_initializer(): root.level: DEBUG (10)  
SpawnProcess-3 root        INFO     jisaku.py jisaku_initializer(): qh.level: NOTSET (0)    
SpawnProcess-2 root        INFO     jisaku.py jisaku_initializer(): logger.level: NOTSET (0)
SpawnProcess-3 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 100 あいうえお    
SpawnProcess-2 root        INFO     jisaku.py jisaku_initializer(): qh.level: NOTSET (0)    
SpawnProcess-3 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 100 あいうえお    
SpawnProcess-2 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 200 かきくけこ    
SpawnProcess-3 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 100 あいうえお
SpawnProcess-2 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 200 かきくけこ    
SpawnProcess-3 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 100 あいうえお      
SpawnProcess-2 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 200 かきくけこ
SpawnProcess-3 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 100 あいうえお
SpawnProcess-2 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 200 かきくけこ      
SpawnProcess-3 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 300 さしすせそ    
SpawnProcess-2 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 200 かきくけこ
SpawnProcess-3 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 300 さしすせそ    
SpawnProcess-3 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 300 さしすせそ
SpawnProcess-2 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 400 たちつてと    
SpawnProcess-3 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 300 さしすせそ      
SpawnProcess-2 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 400 たちつてと
SpawnProcess-3 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 300 さしすせそ
SpawnProcess-2 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 400 たちつてと
SpawnProcess-3 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 500 なにぬねの
SpawnProcess-3 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 500 なにぬねの
SpawnProcess-2 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 400 たちつてと
SpawnProcess-3 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 500 なにぬねの
SpawnProcess-3 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 500 なにぬねの
SpawnProcess-2 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 400 たちつてと
SpawnProcess-3 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 500 なにぬねの
MainProcess    __main__    INFO     app_main.py main(): executor.map() の結果を表示します。
MainProcess    __main__    INFO     app_main.py main(): [100, 'あいうえお', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [200, 'かきくけこ', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [300, 'さしすせそ', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [400, 'たちつてと', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [500, 'なにぬねの', 'OK']
MainProcess    root        INFO     app_main.py main(): (QueueListener) end
QueueListener を止めたので、以降はロガーを使用しても記録されません。
[<QueueHandler (NOTSET)>]
(manager._process) <SpawnProcess name='SyncManager-1' pid=6976 parent=12160 stopped exitcode=0>
もちろん、ハンドラを追加すれば、再び記録されます。
MainProcess    root        INFO     app_main.py main():
[<StreamHandler <stderr> (NOTSET)>, <FileHandler F:\apps\log\cf-qh-lib-__main__.txt (NOTSET)>]
MainProcess    __main__    CRITICAL app_main.py main(): クリティカルログ
MainProcess    root        CRITICAL app_main.py main(): クリティカルログ

ログファイルの内容です。

cf-qh-lib-__main__.txt

MainProcess    root        INFO     app_main.py main(): (QueueListener) start
MainProcess    root        INFO     app_main.py main(): root.level: INFO (20)
MainProcess    root        INFO     app_main.py main(): logger.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): qh.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): sh.level: NOTSET (0)
MainProcess    root        INFO     app_main.py main(): fh.level: NOTSET (0)
MainProcess    __main__    INFO     app_main.py main(): インフォログ
MainProcess    __main__    WARNING  app_main.py main(): ウォーニングログ
MainProcess    __main__    ERROR    app_main.py main(): エラーログ
MainProcess    __main__    CRITICAL app_main.py main(): クリティカルログ
MainProcess    __main__    INFO     app_main.py main(): executor.map() を実行します。
MainProcess    __main__    INFO     app_main.py main(): プロセス数 max_workers: 2
SpawnProcess-3 root        INFO     jisaku.py jisaku_initializer(): (キューハンドラ追加完了)
SpawnProcess-3 root        INFO     jisaku.py jisaku_initializer(): root.level: DEBUG (10)
SpawnProcess-2 root        INFO     jisaku.py jisaku_initializer(): (キューハンドラ追加完了)
SpawnProcess-3 root        INFO     jisaku.py jisaku_initializer(): logger.level: NOTSET (0)
SpawnProcess-2 root        INFO     jisaku.py jisaku_initializer(): root.level: DEBUG (10)
SpawnProcess-3 root        INFO     jisaku.py jisaku_initializer(): qh.level: NOTSET (0)
SpawnProcess-2 root        INFO     jisaku.py jisaku_initializer(): logger.level: NOTSET (0)
SpawnProcess-3 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 100 あいうえお
SpawnProcess-2 root        INFO     jisaku.py jisaku_initializer(): qh.level: NOTSET (0)
SpawnProcess-3 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 100 あいうえお
SpawnProcess-2 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 200 かきくけこ
SpawnProcess-3 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 100 あいうえお
SpawnProcess-2 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 200 かきくけこ
SpawnProcess-3 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 100 あいうえお
SpawnProcess-2 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 200 かきくけこ
SpawnProcess-3 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 100 あいうえお
SpawnProcess-2 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 200 かきくけこ
SpawnProcess-3 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 300 さしすせそ
SpawnProcess-2 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 200 かきくけこ
SpawnProcess-3 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 300 さしすせそ
SpawnProcess-3 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 300 さしすせそ
SpawnProcess-2 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 400 たちつてと
SpawnProcess-3 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 300 さしすせそ
SpawnProcess-2 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 400 たちつてと
SpawnProcess-3 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 300 さしすせそ
SpawnProcess-2 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 400 たちつてと
SpawnProcess-3 jisaku      DEBUG    jisaku.py jisaku_func(): デバッグログ 500 なにぬねの
SpawnProcess-3 jisaku      INFO     jisaku.py jisaku_func(): インフォログ 500 なにぬねの
SpawnProcess-2 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 400 たちつてと
SpawnProcess-3 jisaku      WARNING  jisaku.py jisaku_func(): ウォーニングログ 500 なにぬねの
SpawnProcess-3 jisaku      ERROR    jisaku.py jisaku_func(): エラーログ 500 なにぬねの
SpawnProcess-2 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 400 たちつてと
SpawnProcess-3 jisaku      CRITICAL jisaku.py jisaku_func(): クリティカルログ 500 なにぬねの
MainProcess    __main__    INFO     app_main.py main(): executor.map() の結果を表示します。
MainProcess    __main__    INFO     app_main.py main(): [100, 'あいうえお', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [200, 'かきくけこ', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [300, 'さしすせそ', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [400, 'たちつてと', 'OK']
MainProcess    __main__    INFO     app_main.py main(): [500, 'なにぬねの', 'OK']
MainProcess    root        INFO     app_main.py main(): (QueueListener) end
MainProcess    root        INFO     app_main.py main(): 
[<StreamHandler <stderr> (NOTSET)>, <FileHandler F:\apps\log\cf-qh-lib-__main__.txt (NOTSET)>]
MainProcess    __main__    CRITICAL app_main.py main(): クリティカルログ
MainProcess    root        CRITICAL app_main.py main(): クリティカルログ

concurrent.futures でログを記録するコード例。

ProcessPoolExecutor でログを記録するコード例（プロセスごとに分ける）
ProcessPoolExecutor でログを記録するコード例（まとめて記録）

multiprocessing でログを記録するコード例。

普通のシングルプロセスでログを記録するコード例。

並列処理のコード例。

以上です。

説明

メインモジュールをロギングする

コード例

実行結果 (max_workers=1)

実行結果 (max_workers=2)

自作ライブラリをロギングする

コード例

実行結果 (max_workers=1)

実行結果 (max_workers=2)

関連記事