파이썬 기초 - 제너레이터(Generators)

파이썬 제너레이터(Generators): 효율적인 반복 처리

**제너레이터(Generators)**는 파이썬에서 반복 작업을 더 효율적으로 처리할 수 있게 도와주는 기능입니다. 제너레이터는 한 번에 하나의 값을 생성하며, 메모리를 절약하고, 대량의 데이터를 처리할 때 매우 유용합니다. 이번 글에서는 제너레이터의 기본 개념과 사용법을 예제를 통해 알아보겠습니다.

---

1. 제너레이터란 무엇인가?

제너레이터는 일반 함수와 비슷하지만, 값을 반환할 때 return 대신 yield 키워드를 사용합니다. 일반 함수는 값을 반환하면 실행이 끝나지만, 제너레이터는 값을 반환한 후에도 상태를 유지하며 계속해서 다음 값을 생성할 수 있습니다.

제너레이터의 특징:

• 한 번에 하나의 값을 반환함.
• 함수의 실행 상태를 유지함.
• 반복 작업에 매우 효율적임.
• 메모리 절약에 유리함.

 

2. 제너레이터 함수 정의하기

제너레이터 함수는 yield 키워드를 사용하여 값을 하나씩 반환합니다. 함수가 호출될 때 실행을 시작하며, yield가 호출될 때마다 해당 값이 반환되고, 그 시점에서 함수가 일시 중단됩니다. 이후 다시 호출되면 중단된 지점에서부터 실행을 재개합니다.

예시:

def simple_generator():
    yield 1
    yield 2
    yield 3

gen = simple_generator()

print(next(gen))  # 1 출력
print(next(gen))  # 2 출력
print(next(gen))  # 3 출력

위 코드에서 simple_generator() 함수는 제너레이터를 생성하며, next() 함수를 사용해 값을 하나씩 순차적으로 호출할 수 있습니다. next() 함수는 제너레이터의 다음 값을 반환하며, 제너레이터가 값을 모두 반환하면 StopIteration 예외가 발생합니다.

 

3. 제너레이터의 동작 원리

제너레이터는 lazy evaluation 방식을 사용합니다. 이는 필요한 값만 생성하여 메모리를 절약하는 방식으로, 특히 큰 데이터를 다룰 때 유용합니다. 일반적인 리스트와 달리, 제너레이터는 한 번에 하나씩 값을 생성하기 때문에 모든 값을 한 번에 메모리에 올릴 필요가 없습니다.

큰 데이터를 다룰 때 제너레이터의 장점:

def count_up_to(max_value):
    count = 1
    while count <= max_value:
        yield count
        count += 1

for number in count_up_to(1000000):
    print(number)

위 코드에서는 100만까지의 숫자를 생성하는 제너레이터를 사용했습니다. 만약 이 값을 리스트에 저장하려면 많은 메모리를 차지하지만, 제너레이터는 필요한 값만 즉시 생성하기 때문에 메모리를 크게 절약할 수 있습니다.

 

4. 제너레이터 표현식

제너레이터 표현식은 리스트 컴프리헨션과 비슷한 구문을 사용하여 제너레이터를 생성하는 방법입니다. 리스트 컴프리헨션은 리스트를 반환하지만, 제너레이터 표현식은 제너레이터 객체를 반환합니다.

리스트 컴프리헨션과 제너레이터 표현식의 차이:

• 리스트 컴프리헨션: 메모리에 모든 값을 한 번에 저장.
• 제너레이터 표현식: 값을 하나씩 생성하여 반환.

예시:

# 리스트 컴프리헨션
squares_list = [x**2 for x in range(10)]
print(squares_list)

# 제너레이터 표현식
squares_gen = (x**2 for x in range(10))
print(next(squares_gen))  # 0 출력
print(next(squares_gen))  # 1 출력

리스트 컴프리헨션은 [ ]로, 제너레이터 표현식은 ( )로 감싸서 사용합니다. 리스트 컴프리헨션은 즉시 리스트를 반환하고 메모리를 사용하지만, 제너레이터 표현식은 next()를 호출할 때마다 값을 하나씩 생성해 메모리 사용을 최소화합니다.

 

5. 제너레이터와 for 루프

제너레이터는 for 루프와 함께 자주 사용됩니다. 제너레이터는 한 번에 하나씩 값을 반환하기 때문에, for 루프는 자동으로 제너레이터에서 값을 추출하여 반복 작업을 수행할 수 있습니다.

예시:

def count_up_to(max_value):
    count = 1
    while count <= max_value:
        yield count
        count += 1

for number in count_up_to(5):
    print(number)

출력 결과:

 

1
2
3
4
5

제너레이터는 반복 작업을 효율적으로 처리할 수 있기 때문에, 특히 큰 데이터셋을 다룰 때 매우 유용합니다.

 

6. yield from 구문

파이썬 3.3부터는 yield from 구문을 사용해 중첩된 제너레이터를 쉽게 처리할 수 있습니다. 이 구문은 하위 제너레이터를 위임받아 값을 반환할 수 있도록 합니다.

예시:

def generator1():
    yield from range(3)
    yield from range(3, 6)

for value in generator1():
    print(value)

출력 결과:

 

0
1
2
3
4
5

yield from을 사용하면 복잡한 제너레이터를 더 간결하게 작성할 수 있으며, 여러 제너레이터에서 값을 쉽게 가져올 수 있습니다.

7. 제너레이터의 실용적인 예시

제너레이터는 다양한 상황에서 유용하게 사용될 수 있습니다. 특히 큰 파일을 처리하거나 네트워크 요청, 데이터 스트림을 다룰 때, 대량의 데이터를 메모리 효율적으로 처리하는 데 탁월합니다.

파일에서 한 줄씩 읽기:

def read_file(file_name):
    with open(file_name, 'r') as file:
        for line in file:
            yield line

for line in read_file("example.txt"):
    print(line, end='')

위 코드에서는 파일을 한 번에 모두 읽지 않고, 한 줄씩 읽어오는 제너레이터를 사용하여 메모리 사용을 최소화했습니다.

 

8. 제너레이터와 이터레이터의 차이

제너레이터는 **이터레이터(iterator)**의 일종입니다. 파이썬에서 이터레이터는 __iter__()와 __next__() 메서드를 구현한 객체를 말하며, 반복 가능한 객체로 취급됩니다. 제너레이터는 이터레이터 프로토콜을 자동으로 구현하므로, 별도의 이터레이터 클래스를 작성하지 않고도 쉽게 반복 작업을 처리할 수 있습니다.

---

결론

제너레이터는 파이썬에서 반복 작업을 효율적으로 처리할 수 있는 강력한 도구입니다. yield 키워드를 사용해 값을 하나씩 반환함으로써 메모리를 절약하고, 특히 대량의 데이터를 처리할 때 유용하게 사용됩니다. 제너레이터는 파일 처리, 네트워크 데이터 처리 등 다양한 분야에서 활용될 수 있으며, yield from 구문을 통해 더 복잡한 제너레이터도 쉽게 다룰 수 있습니다.

다음 글에서는 파이썬 파일 입출력에 대해 다루며, 파일을 읽고 쓰는 다양한 방법을 소개하겠습니다.