파이썬 : 디스크 바인딩 작업, 스레드 대 프로세스

그는 침묵했다

큰 소스 코드 디렉토리 (10 만 개 파일)를 구문 분석합니다. 모든 파일의 모든 줄을 탐색하고 간단한 정규식 일치를 수행합니다. 이 작업을 여러 스레드로 스레딩하려고 시도했지만 속도가 향상되지 않았습니다. 멀티 프로세싱 만이 시간을 70 % 단축했습니다. 나는 GIL 죽음의 그립을 알고 있지만 스레드가 IO 바인딩 액세스를 도와야하지 않습니까?

디스크 액세스가 직렬 인 경우 여러 프로세스가 작업을 더 빨리 완료하는 이유는 무엇입니까?

워렌 듀

파이썬 "스레드"는 독립적 인 실행 스레드를 허용하지만 일반적으로 전역 인터프리터 잠금으로 인해 동시성을 허용하지 않습니다. 실제로 한 번에 하나의 스레드 만 실행할 수 있습니다. 이것이 글로벌 인터프리터 잠금을 공유하지 않고 동시에 실행할 수있는 여러 프로세스로만 속도를 높이는 이유 일 수 있습니다.

이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.

침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제

에서 수정
0

몇 마디 만하겠습니다

0리뷰
로그인참여 후 검토

관련 기사

분류에서Dev

하이퍼 스레딩 및 CPU 바인딩 프로세스

분류에서Dev

파이썬 스레딩-차단 작업-실행 종료

분류에서Dev

어떻게 CPU 바인딩 작업에 대한 런타임에 최적의 스레드 수를 결정하는?

분류에서Dev

워드 프레스로 KendoUi 모바일 데이터 바인딩

분류에서Dev

Windows 및 Linux에서 CPU 바인딩 작업에 대한 Python 다중 처리 대 스레딩

분류에서Dev

하드 디스크 업그레이드

분류에서Dev

자바 멀티 스레딩 및 링크드리스트 작업

분류에서Dev

파일 관련 작업 Python 하위 프로세스 대 네이티브 Python

분류에서Dev

`{자바}`에 대해 생성라는 이름의 스레드 (즉, 경량 프로세스)는 무엇인가?

분류에서Dev

CentOS 6 인터페이스 본딩, 활성 백업 대신 라운드 로빈, 프레임 복제

분류에서Dev

스레드-> 대기열-> 스레드를 사용한 자이 썬 스레딩

분류에서Dev

Google 스프레드 시트 스파크 라인 막대 그래프 가로

분류에서Dev

Android에서 프로세스, 활동, 스레드 및 작업의 차이점

분류에서Dev

스레드로부터 안전한 파이썬 스레딩 대기열 생산자 소비자

분류에서Dev

멀티 스레딩 : 스레드 대 데이터 경쟁에 의한 충돌 작업

분류에서Dev

작업이 상대적으로 큰 스레드 풀

분류에서Dev

하위 프로세스로 자바에서 실행 파이썬 스크립트

분류에서Dev

외부 프로세스 대 스레드 및 데이터 처리

분류에서Dev

파이썬 다중 처리 풀 대 프로세스?

분류에서Dev

프로세스 생성에 대한 후크 작업

분류에서Dev

작업을 제거하면 바인딩 될 때 백그라운드 프로세스가 종료됩니다.

분류에서Dev

파이썬 셀레늄, 자바 스크립트 팝업 극복

분류에서Dev

멀티 스레딩-바라건대 간단한 작업

분류에서Dev

파이썬. 스레딩

분류에서Dev

행렬에 대한 인덱스 작업은 파이썬에서 어떻게 작동합니까?

분류에서Dev

Laravel의 파일 시스템 대 업로드 된 파일 대 디스크

분류에서Dev

어레이 작업에 대한 작업 ID 액세스

분류에서Dev

스레드 대기열 프로세스

분류에서Dev

Bash : 파이프 된 "읽기 중"루프에서 벗어날 수 없습니다. 프로세스 대체 작업

Related 관련 기사

  1. 1

    하이퍼 스레딩 및 CPU 바인딩 프로세스

  2. 2

    파이썬 스레딩-차단 작업-실행 종료

  3. 3

    어떻게 CPU 바인딩 작업에 대한 런타임에 최적의 스레드 수를 결정하는?

  4. 4

    워드 프레스로 KendoUi 모바일 데이터 바인딩

  5. 5

    Windows 및 Linux에서 CPU 바인딩 작업에 대한 Python 다중 처리 대 스레딩

  6. 6

    하드 디스크 업그레이드

  7. 7

    자바 멀티 스레딩 및 링크드리스트 작업

  8. 8

    파일 관련 작업 Python 하위 프로세스 대 네이티브 Python

  9. 9

    `{자바}`에 대해 생성라는 이름의 스레드 (즉, 경량 프로세스)는 무엇인가?

  10. 10

    CentOS 6 인터페이스 본딩, 활성 백업 대신 라운드 로빈, 프레임 복제

  11. 11

    스레드-> 대기열-> 스레드를 사용한 자이 썬 스레딩

  12. 12

    Google 스프레드 시트 스파크 라인 막대 그래프 가로

  13. 13

    Android에서 프로세스, 활동, 스레드 및 작업의 차이점

  14. 14

    스레드로부터 안전한 파이썬 스레딩 대기열 생산자 소비자

  15. 15

    멀티 스레딩 : 스레드 대 데이터 경쟁에 의한 충돌 작업

  16. 16

    작업이 상대적으로 큰 스레드 풀

  17. 17

    하위 프로세스로 자바에서 실행 파이썬 스크립트

  18. 18

    외부 프로세스 대 스레드 및 데이터 처리

  19. 19

    파이썬 다중 처리 풀 대 프로세스?

  20. 20

    프로세스 생성에 대한 후크 작업

  21. 21

    작업을 제거하면 바인딩 될 때 백그라운드 프로세스가 종료됩니다.

  22. 22

    파이썬 셀레늄, 자바 스크립트 팝업 극복

  23. 23

    멀티 스레딩-바라건대 간단한 작업

  24. 24

    파이썬. 스레딩

  25. 25

    행렬에 대한 인덱스 작업은 파이썬에서 어떻게 작동합니까?

  26. 26

    Laravel의 파일 시스템 대 업로드 된 파일 대 디스크

  27. 27

    어레이 작업에 대한 작업 ID 액세스

  28. 28

    스레드 대기열 프로세스

  29. 29

    Bash : 파이프 된 "읽기 중"루프에서 벗어날 수 없습니다. 프로세스 대체 작업

뜨겁다태그

보관