Removendo parágrafos duplicados com o Edit Pad Pro ou o Notepad ++

Eu tenho um .docx arquivo que contém mcqs que estão no formato como mostrado abaixo. O problema é que existem muitos mcqs duplicados e, portanto, gostaria de saber se um regex pode ser criado para detectar todos os mcqs duplicados.

Tenho Edit Pad Pro 7, Notepad ++, powergrep e texto sublime. e todo o regex que eu usei até agora excluiu duplicatas linha por linha, excluindo opções de outras perguntas, mesmo que as perguntas não correspondam.

Então, basicamente, o que estou dizendo é que preciso de um regex que possa excluir todos os mcqs duplicados apenas se o mcq inteiro corresponder, não linhas ou frases individuais.

Como sou novato em relação à regex, desculpe-me por qualquer inadequação.

Lichen planus occurs most frequently on the?
A.  buccal mucosa.
B.  tongue.
C.  floor of the mouth.
D.  gingiva.

In the absence of “Hanks balanced salt solution”, what is the most appropriate media to transport an avulsed tooth?
A.  Saliva.
B.  Milk.
C.  Saline.
D.  Tap water.

Which of the following is the most likely cause of osteoporosis, glaucoma, hypertension and peptic ulcers in a 65 year old with Crohn’s disease?
A.  Uncontrolled diabetes.
B.  Systemic corticosteroid therapy.
C.  Chronic renal failure.
D.  Prolonged NSAID therapy.
E.  Malabsorption syndrome.

Lichen planus occurs most frequently on the?
A. buccal mucosa.
B. tongue.
C. floor of the mouth.
D. gingiva.

resultado esperado

Lichen planus occurs most frequently on the?
A.  buccal mucosa.
B.  tongue.
C.  floor of the mouth.
D.  gingiva.

In the absence of “Hanks balanced salt solution”, what is the most appropriate media to transport an avulsed?
A.  Saliva.
B.  Milk.
C.  Saline.
D.  Tap water.

Which of the following is the most likely cause of osteoporosis, glaucoma, hypertension and peptic ulcers in a 65 year old with Crohn’s disease?
A.  Uncontrolled diabetes.
B.  Systemic corticosteroid therapy.
C.  Chronic renal failure.
D.  Prolonged NSAID therapy.
E.  Malabsorption syndrome.

• Ctrl+H
• Encontre o que: (([^?]+\?\R(?:.+\.\R)+)[\s\S]+?)\2
• Substituir com: $1
• check Wrap around
• check Expressão regular
• NÃO VERIFIQUE . matches newline
• Replace all

Explicação:

(           : start group 1
  (         : start group 2
    [^?]+   : 1 or more any character that is not "?"
    \?      : a question mark
    \R      : any kind of line break
    (?:     : start non capture group
      .+    : 1 or more any character but newline
      \.    : a dot
      \R    : any kind of line break
    )+      : end group, must appear 1 or more times
  )         : end group 2
  [\s\S]+?  : 1 or more any character, not greedy
)           : end group 1
\2          : another occurrence of group 2

Substituição:

$1          : content of group 1

Tecnicamente, na entrada fornecida, não há duplicatas como 'A. mucosa bucal. e 'A. mucosa bucal. diferem no número de espaços após 'A.'.

No entanto, a intuição sugere que esses casos devem ser detectados de alguma forma.

Como você mencionou no comentário que está usando https://regex101.com/ , usarei esta página da web para fazer as correspondências e substituições.
Selecionei flavor: javascript e defina dois sinalizadores na seção de expressões regulares: g (global) es (linha única).

Vou usar 3 padrões para lidar com essa string.

O primeiro padrão procura por ocorrências idênticas de question_and_answer. Se houver discrepâncias entre eles, eles não serão tratados como duplicados.
Se houver mais de uma duplicata, todas elas serão capturadas.

(?<=^|\n)([^\n]+)(\n)(\D{1}\.\s+[^^]+?)(\n{2})(?=[^^]*\1\n\3)

Entrada (TEST STRING):

Question 1?
A. SomeA1.
B. SomeB1.

Question 1?
A.     SomeA1.
B.     SomeB1.

Question 1?
A. SomeA1.
B. SomeB1.

Saída (SUBSTITUIÇÃO): // uma duplicata removida

Question 1?
A.     SomeA1.
B.     SomeB1.

Question 1?
A. SomeA1.
B. SomeB1.

Se apenas queremos encontrar duplicatas com base nas perguntas, esse padrão deve funcionar, mas deve ser usado apenas para fins informativos.

(?<=^|\n)([^\n]+)(\n)(\D{1}\.\s+[^^]+?)(\n{2})(?=[^^]*\1)

Entrada (TEST STRING):

Question 1?
A. SomeA1.
B. SomeB1.

Question 1?
A.     SomeA1.
B.     SomeB1.

Question 1?
A. SomeA1.
B. SomeB1.

Saída (SUBSTITUIÇÃO): // parece ok, mas é um truque e deve ser usado com cuidado

Question 1?
A. SomeA1.
B. SomeB1.

Idealmente, se soubermos que tipo de desvios podemos encontrar nos dados, podemos limpá-los antes que o primeiro padrão seja aplicado, como no exemplo a seguir, onde vários espaços são substituídos por apenas um espaço.

Localizar: (?<=\n)(\D{1}\.)(\s+)([^^]+?\n)
Substituição: \1 \3

Entrada (TEST STRING):

Lichen planus occurs most frequently on the?
A.  buccal mucosa.
B.             tongue.
C.                        floor of the mouth.
D.  gingiva.

Saída (SUBSTITUIÇÃO):

Lichen planus occurs most frequently on the?
A. buccal mucosa.
B. tongue.
C. floor of the mouth.
D. gingiva.