NO. 5-96-0611

                                  IN THE

                        APPELLATE COURT OF ILLINOIS

                              FIFTH DISTRICT
_________________________________________________________________

PROTESTANT MEMORIAL MEDICAL     )  Appeal from the
CENTER, INC., d/b/a MEMORIAL    )  Circuit Court of
HOSPITAL,                       )  St. Clair County.
                                )
     Petitioner-Appellee,       )
                                ) 
v.                              )  No. 94-MR-221
                                )
THE DEPARTMENT OF PUBLIC AID and)
ROBERT W. WRIGHT, Director of   )
Public Aid,                     )  Honorable
                                )  Robert L. Craig,
     Respondents-Appellants.    )  Judge, presiding.
_________________________________________________________________

     JUSTICE HOPKINS delivered the opinion of the court:
     Petitioner, Protestant Memorial Medical Center, Inc., doing
business as Memorial Hospital (the Hospital), sought administrative
review in the trial court of the decision of the respondents, the
Department of Public Aid (Department) and Robert W. Wright, the
Director of Public Aid, that the Hospital was overpaid $52,505.77
for outpatient services under the Illinois Medical Assistance
program (Medicaid program) and that the Department's sample used in
its audit was statistically valid.  The court determined that the
Department failed to prove that the sample it selected for
extrapolation purposes was statistically valid.  The court held
that the Department was entitled to only $3,169.59 because the
Department used an invalid sampling and extrapolation procedure. 
The Department appeals.  
     On appeal, the Department contends (1) that the Hospital was
not entitled to appeal the Department's decision to the circuit
court as the Hospital had "invited" the Department's decision,
thereby creating the error, and (2) that the circuit court's
determination that the Department used an invalid sampling and
extrapolation procedure was against the manifest weight of the
evidence.  We affirm for the reasons set forth below.
                                   FACTS
     The Hospital is a participating service provider for the
Medicaid program, a medical assistance program administered and
monitored by the Department.  See 305 ILCS 5/5-1 et seq. (West
1996).  The Department's rules and regulations require it to audit
service providers and recover excess payments made under the
program.  89 Ill. Adm. Code 140.30 (Supp. 1987).  Pursuant to its
rules, the Department conducted an audit of all outpatient services
rendered to Medicaid recipients by the Hospital during the period
of September 1, 1986, to February 29, 1988.  Following two
reaudits, the Department determined that the Hospital received
$110,477.82 in overpayments, and the Department notified the
Hospital that the Department planned to recoup this amount.  To
determine the amount of overpayment, the Department used a sample
and extrapolation method, which is allowed under the Department's
rules and regulations.  89 Ill. Adm. Code 140.30(b) (Supp. 1987).
     The Hospital disagreed with the Department's findings, and a
hearing was held before an administrative law judge (ALJ) on 46
separate days over a three-year period.  At that hearing, the
Hospital disputed the Department's determination of the amount of
overpayment for specific emergency services rendered and also
challenged the validity of the Department's sample used to
extrapolate the amount of overpayments.  Evidence regarding the
sampling and extrapolation method used by the Department in its
audit was presented through the testimony of three experts.  
     Dr. John Nosari, dean of the School of Business and Management
at Sangamon State University, testified for the Department as an
expert in auditing.  Nosari explained the Department's sample and
extrapolation method.  Nosari defined the Department's "universe"
as the number of recipients who received outpatient treatment by
the Hospital during the audit period, i.e., 6,134 recipients. 
Nosari stated that recipients were selected as the universe because
medical services are provided to the recipient and the purpose of
the audit is to determine if the services and the billing of the
services were in accordance with the Department's policies.  For
the universe, 16,958 services were rendered by the Hospital. 
     Nosari stated that "a random number generator computer
program" selected the Department's sample of 367 recipients from
the universe.  These sample recipients received 1,410 services. 
Nosari also stated that random selection is important because each
item in the population or universe has an equal chance of being
selected, thereby assuring that the sample is representative. 
Nosari agreed that it is important to relate the universe selected
to the purpose of the audit and that different aspects of a
universe have different characteristics.  Nosari did not believe
there is any method for testing the randomness of a sample, and he
was unaware of the Wald-Wolfowitz Runs Test (WW test).  
     Nosari explained that the variation of a universe's
characteristics determines the spread of the sample from the mean. 
Nosari agreed that if a sample is not representative of a universe,
that sample is not reliable and the results of the sample cannot be
projected to the entire universe.  Nosari admitted that services
could be used as the unit for the universe and that using a
stratified sample would extrapolate to the universe with more
accuracy; he stated, however, that the Department's computer is not
programmed for selecting services as the universe and sample. 
     Following the selection of the sample, auditors reviewed the
files of the sample recipients to determine if the services
rendered were appropriate and were billed properly under the
Department's policies.  If the auditors disagreed with the
Hospital's billing for a particular service, a discrepancy was
noted.  The primary area where discrepancies arose was in emergency
room services, because billing for these services varied greatly
depending on whether the Department believed the service to be a
true emergency under its guidelines.  Nosari explained that the
average discrepancy for the sample recipients, defined as the
sample mean, was found to be $18.05 per recipient.  The sample mean
was then extrapolated to the entire universe, i.e., 6,134
multiplied by $18.05, amounting to an overpayment to the Hospital
of $110,718.87.  
     Dr. Ik-Whan Kwon, chairman of the Management and Decision
Services (a division of the School of Business) at St. Louis
University, testified for the Hospital as an expert in statistics. 
Kwon reviewed the Department's audit data and determined that the
Department should have used stratified services, i.e., grouping
services into the three categories of institutional, general
medical, and pharmacy, as the unit of analysis for the universe and
the sample, rather than recipient.  Kwon based his opinion on the
fact that the audit evaluated the measurement of the payment based
upon the services received and not upon the recipient.  Kwon
explained that the unit of analysis is important because any
statistical information based on the unit of analysis will be
applied to the entire universe.  After the unit of analysis is
selected, then the size of the sample, the sampling methodologies,
the statistical tools to be employed, and the statistical
techniques to be used are selected. 
     Kwon also explained that simple random sampling, which was
used here, is an acceptable statistical method, but it is
appropriate only when the unit of analysis is homogeneous, i.e.,
when each recipient received a similar amount of either services or
payments.  If the unit of analysis is not homogeneous, then simple
random sampling of the recipients results in grossly exaggerated
variations and the randomness creates a biased result. 
Additionally, Kwon stated that a computerized random sample does
not guarantee randomness, as randomness is determined by whether a
sample is selected in the fashion that the population is
distributed.  
     Kwon explained that if the sample is not proportionate to the
universe, then the sample is not representative of the universe. 
Kwon found that the proportions of the three categories of services
in the Department's sample were not proportionate to those of the
universe.  Kwon performed a computerized WW test on the
Department's sample and population.  Kwon stated that the WW test
can be used to determine if a sample is randomly selected from a
known population.  Kwon testified that the results of the WW test
revealed that the Department's sample was not truly random and
therefore was not representative of the universe.  Similarly, the
Chi Square test Kwon performed on the Department's data revealed
that the sample did not reflect the universe.  Kwon concluded that
if a sample is not random, efficient, and representative of the
universe, or if any of these three criteria are violated, then a
sample is invalid and extrapolation is useless.  
     Dr. Donald Roberts, a professor of mathematics at the
University of Illinois, testified for the Department as an expert
in statistical auditing.  Roberts stated that the Department
applied valid statistical principles to the audit, i.e., the
Department followed all of the proper steps.  Roberts disagreed
with Kwon's assessment that the sample was invalid, and in Roberts'
opinion, the method used by the Department was valid, so the
results were also valid.  Roberts believed that Kwon confused
efficiency with validity.  Roberts agreed with Kwon about the
criteria for efficient testing, but Roberts stated that just
because one method was more efficient did not mean that another
method was invalid.  Roberts thought that the validity of a sample
was essential, but he did not believe that representativeness was
essential.  Roberts explained that if a sample was chosen under
sound principles, representativeness would be present.  Roberts
further explained that one sample may be more representative than
another sample but both may be valid samples.  
     Roberts disagreed with Kwon on the use of the WW test for
determining randomness.  Roberts' understanding of the WW test was
that it determined only whether two samples came from the same
universe.  
     Following the hearing, the ALJ found that the actual total
discrepancy was not $6,561.46 as determined by the auditors but
that the actual discrepancy was $3,169.59, when the Department's
medical policies were applied to specific cases.  The ALJ
extrapolated $3,169.59 to the universe, finding that the Department
overpaid the Hospital $52,505.57.  The ALJ determined that the
Department used a statistically valid sample in its audit.  
     Subsequently, the Department filed exceptions to the ALJ's
recommended decision.  The Hospital filed no exceptions to the
ALJ's decision.  Wright adopted the ALJ's recommended decision as
the final judgment of the Department.  The Hospital filed its
petition for administrative review in the circuit court, and as
noted previously, the circuit court determined that the Department
did not use a valid sampling and extrapolation method.  The court
awarded the Department $3,169.59, the actual amount of the
discrepancy found in the audit.  The Department appeals.  
                                 ANALYSIS
     The first issue raised by the Department is that the Hospital
was not entitled to challenge the Department's final decision on
administrative review because the Hospital, in its response to the
Department's exceptions, urged the director to accept the ALJ's
recommended decision and because the Hospital did not file any
exceptions to the ALJ's recommended decision challenging the
validity of the sample.  The Department argues that the Hospital
"invited" the decision and that, therefore, the Hospital cannot
appeal an error it helped to create.  In support of these
propositions, the Department cites People v. Miller, 120 Ill. App.
3d 495 (1983), and Pioneer Processing, Inc. v. Environmental
Protection Agency, 102 Ill. 2d 119 (1984).  Those cases are
inapposite to this case.  
     In Miller, a criminal case, the court held that an accused
cannot ask the court to proceed in a given manner at trial and then
later assert that the requested action is error.  Unlike Miller,
the Hospital did not request the ALJ to proceed in any given manner
during the administrative hearing and then disagree with the wisdom
of such advice.  The Hospital did not relinquish its right to
challenge the Department's decision simply because it responded to
the Department's exceptions.  The Hospital did not create any
error.  
     Further, in Pioneer Processing, Inc., the court determined
that a party to an administrative review could not appeal an issue
not litigated during an administrative hearing and not raised in
its exceptions to the administrative decision.  Here, at the
administrative hearing before the ALJ, the Hospital thoroughly
litigated the issue of the validity of the sample.  Additionally,
the Department's rules (89 Ill. Adm. Code 104.290 (1985)) make the
filing of exceptions to the ALJ's recommended decision
discretionary ("may file exceptions"), rather than mandatory. 
Therefore, the Hospital is not precluded from raising this issue in
administrative review.  
     The second and primary issue on appeal is whether the trial
court properly reversed the ALJ's decision that the Department used
a statistically valid sample in its audit.  Generally, the standard
on administrative review is that a court should consider whether
the findings and decision of an agency are against the manifest
weight of the evidence.  Abrahamson v. Illinois Department of
Professional Regulation, 153 Ill. 2d 76 (1992).  An agency's
decision is against the manifest weight of the evidence only if the
opposite conclusion is clearly evident.  Abrahamson, 153 Ill. 2d at
88.  The fact that an opposite conclusion is reasonable or that a
reviewing court would have ruled differently will not justify a
reversal on review, and a reviewing court cannot substitute its
judgment for that of the agency.  Abrahamson, 153 Ill. 2d at 88. 
However, if the case involves the interpretation of a statute or
rule which the agency is charged with administering, review is de
novo, and an agency's interpretation is considered relevant if the
interpretation is not unreasonable or erroneous.  Board of
Education of Community High School District No. 155 v. Illinois
Educational Labor Relations Board, 247 Ill. App. 3d 337 (1993). 
However, the agency's interpretation is not binding on a reviewing
court.  Branson v. Department of Revenue, 168 Ill. 2d 247 (1995). 
     Here, the issue is what constitutes a "statistically valid
sample" as that term is used in the Department's rules and
regulations.  89 Ill. Adm. Code 140.30(b) (Supp. 1987).  Since
this question involves a legal interpretation, this court is not
bound by the Department's interpretation or the trial court's
interpretation but can review the issue de novo.  Neither the
Department nor the Hospital has directed this court to any case
that has considered the interpretation of this phrase.  This court
notes that the statute addressing audits of emergency services,
which was newly enacted in 1992, uses a similar phrase,
"statistically valid sampling technique" (305 ILCS 5/5A-9(6) (West
1996)), but there are no cases interpreting this portion of the
statute.  
     The only interpretation of what constitutes a statistically
valid sample is provided by the expert testimony given in this
case.  Nosari determined that a simple random sample was
sufficient.  Kwon defined a valid sample as being composed of three
criteria:  randomness, efficiency, and representativeness.  Roberts
defined an invalid sample as one selected by misapplied statistical
principles.  This court finds that Kwon's definition provides the
most comprehensive, most just, and fairest legal interpretation of
the phrase "statistically valid sample."  If a sample is not
representative, efficient, and random, then it would seem that any
sample would meet the Department's rules, as long as the methods
applied to that sample are statistically sound.  It is a reasonable
inference that if the basic underlying selection of a sample does
not meet the three criteria set forth by Kwon, then no matter how
sound the statistical methods applied are, the result would be
useless and invalid upon extrapolation.  It appears that the trial
court accepted Kwon's interpretation.  In so doing, when the
evidence at the administrative hearing is considered, the trial
court's decision is not against the manifest weight of the
evidence, and the Department's determination that its sample was
statistically valid is against the manifest weight of the evidence.
                                CONCLUSION
     For the foregoing reasons, the judgment of the circuit court
of St. Clair County is affirmed.

     Affirmed.

     WELCH, P.J., and CHAPMAN, J., concur.                                      NO. 5-96-0611
                                     IN THE
                          APPELLATE COURT OF ILLINOIS
                                 FIFTH DISTRICT
___________________________________________________________________________
PROTESTANT MEMORIAL MEDICAL     )  Appeal from the
CENTER, INC., d/b/a MEMORIAL    )  Circuit Court of
HOSPITAL,                       )  St. Clair County.
                                )
     Petitioner-Appellee,       )
                                ) 
v.                              )  No. 94-MR-221
                                )
THE DEPARTMENT OF PUBLIC AID and)
ROBERT W. WRIGHT, Director of   )
Public Aid,                     )  Honorable
                                )  Robert L. Craig,
     Respondents-Appellants.    )  Judge, presiding.
___________________________________________________________________________

Opinion Filed:                   March 25, 1998
___________________________________________________________________________

Justices:      Honorable Terrence J. Hopkins, J.
                         
               Honorable Thomas M. Welch, P.J., and
               Honorable Charles W. Chapman, J.,
               Concur
___________________________________________________________________________
                         
Attorneys      James E. Ryan, Attorney General, State of Illinois, Barbara
for            A. Preiner, Solicitor General, Jerald S. Post, Assistant
Appellant      Attorney General, 100 West Randolph Street, 12th Floor, 
               Chicago, IL 60601
___________________________________________________________________________

Attorney       Daniel J. Mulvanny, 163 North Euclid Avenue, Oak Park, 
for            IL 60302
Appellee       
___________________________________________________________________________