<font size=2 face="Arial">Dear Peter,</font>

<br>

<br><font size=2 face="Arial">sorry for the late answer, but I have been

one week on holiday.</font>

<br>

<br><font size=2 face="Arial">Please note that the document is largely

auto-generated and MS Word has trouble with matching text when its in tables,

and we have a lot of tables. Hence a pure MS-Word change track checking

is misleading. Also, the CCSDS guidelines are quite vague as they call

for a new AR "if technical issues are identified in the course of

a review ..." without qualifying the type of technical issues. Indeed,

the CCSDS MO M&C Services book R3 AR had 159 RIDs of which 129 resulted

in some change to the document. Should we check if other documents under

review had "technical issues" and call for a re-review? For instance,

did the CSS Monitoring data BB had no technical issue identified out of

the RIDs raised? I have checked and it is certainly not the case.</font>

<br>

<br><font size=2 face="Arial">What I want to say is that if there are rules,

they should be clear and applied fairly to everyone. I suggest that the

CESG looks into these rules in view of making them clearer.</font>

<br>

<br><font size=2 face="Arial">Having said that, I propose to move forward

and go for the 4th Agency Review. The document to be reviewed will be the

final version submitted for publication after the 3rd AR amended with the

changes coming from the CESG review by you and Erik. You and Erik will

be provided with a version with change bars so that you can see how your

comments have been implemented. Considering that this would be the 4th

AR, I have discussed the matter with the CESG chair and we have agreed

to proceed with an expedite 4th AR. This implies:</font>

<ul>

<li><font size=2 face="Arial">No need for CESG/CMC poll for AR (allowed

by the YB)</font>

<li><font size=2 face="Arial">No/minimal re-checking of the draft document

by Tom before putting it out for review (being the 4th review, the document

should be already in the proper CCSDS format). This implies that this document

will be put on top of Tom's queue.</font>

<li><font size=2 face="Arial">1 month review time (allowed by the YB).

Please note that the review community of this document is largely within

the SM&C WG and therefore they are fully aware and in agreement of

the changes implemented.</font></ul>

<br><font size=2 face="Arial">I trust the CESG ADs will use this additional

opportunity to raise any outstanding issue so that we can have a smooth

CESG poll after the 4th AR.</font>

<br>

<br><font size=2 face="sans-serif">Regards,</font>

<br>

<br><font size=2 face="sans-serif">__Mario</font>

<br>

<br>

<br>

<br><font size=1 color=#5f5f5f face="sans-serif">From:      

 </font><font size=1 face="sans-serif">"Shames, Peter

M (312B)" <peter.m.shames@jpl.nasa.gov></font>

<br><font size=1 color=#5f5f5f face="sans-serif">To:      

 </font><font size=1 face="sans-serif">"Mario.Merri@esa.int"

<Mario.Merri@esa.int></font>

<br><font size=1 color=#5f5f5f face="sans-serif">Cc:      

 </font><font size=1 face="sans-serif">"Dan Smith"

<danford.s.smith@nasa.gov>, "Barkley, Erik J (3970)" <erik.j.barkley@jpl.nasa.gov>,

"Nestor Peccia" <Nestor.Peccia@esa.int>, "Sam Cooper"

<sam@brightascension.com>, "Secretariat@mailman.ccsds.org"

<Secretariat@mailman.ccsds.org>, "cesg@mailman.ccsds.org"

<cesg@mailman.ccsds.org></font>

<br><font size=1 color=#5f5f5f face="sans-serif">Date:      

 </font><font size=1 face="sans-serif">16/02/2017 19:17</font>

<br><font size=1 color=#5f5f5f face="sans-serif">Subject:    

   </font><font size=1 face="sans-serif">Re: CESG review

of CCSDS MO M&C Services book</font>

<br>

<hr noshade>

<br>

<br>

<br><font size=2 face="Calibri">Mario,</font>

<br><font size=2 face="Calibri"> </font>

<br><font size=2 face="Calibri">For some reason you persist in trying to

convolve the role that the Area Directors and the whole CESG is supposed

to play in ensuring the quality of CCSDS documents with that of an Agency

Review participant.  I have quoted this section of the CCSDS Organization

and Processes, A02.1-Y-4, before, but you seem to keep ignoring it.</font>

<br><font size=2 face="Calibri"> </font>

<br><font size=2 color=#0082bf face="Calibri">2.3.2.4.3 An Area Director

is responsible for the work done in his or her WGs, BOFs, and SIGs and

is <b><i>specifically responsible for the following</i></b>:</font>

<br><font size=2 color=#0082bf face="Calibri">d)  <b><i>ensuring that

CCSDS documents</i></b> are properly categorized and that they <b><i>embody

the content and quality</i></b> expected of documents of their type</font><font size=2 face="Calibri">;

</font><font size=2 face="MS Mincho"> </font>

<br><font size=2 face="Calibri"> </font>

<br><font size=2 face="Calibri">There is no part of the CCSDS Processes

that requires an AD to only submit inputs as a part of an agency review.

 That is something you have made up.  On the contrary, the requirement,

as clearly stated, is for ADs, and the CESG as a whole, for "</font><font size=2 color=#0082bf face="Calibri">identifying

“red flag” items where technical work in a proposed CCSDS document is

not of the required quality or nature<font size=2 face="Calibri">".

 I take this responsibility seriously and try my hardest to carry

out the role that has been assigned.  Given that situation, and the

effort that is involved, I do not make the choice to also participate in

Agency Reviews and to read through every document twice, or three times,

I just do not have the time.</font>

<br><font size=2 face="Calibri"> </font>

<br><font size=2 face="Calibri">You should be aware that the intended flow

of Red Book processing is that by the time they get to Agency Review they

are mature documents.  It should be the case that following an Agency

Review that the only minor changes to the document are made and that the

document is then easily prepared for final CESG and CMC review and approval.

 If a document goes through major revisions after an Agency Review

it is supposed to be sent out for another Agency Review.</font>

<br><font size=2 face="Calibri"> </font>

<br><font size=2 color=#0082bf face="Calibri"><b>6.2.5 Formal Agency Review</b></font>

<br><font size=2 color=#0082bf face="Calibri">a)       if

technical issues are identified in the course of a review, those issues

must be resolved and the review must be repeated before approval can be

sought for a change of document status; </font><font size=2 color=#0082bf face="MS Mincho"> </font>

<br><font size=2 color=#0082bf face="Calibri">c)  if substantive changes

are made to a document that has completed review without technical comment,

the Secretariat shall conduct a final review in which Agencies can approve

or reject the document but may not suggest additional changes; </font><font size=2 color=#0082bf face="MS Mincho"> </font>

<br><font size=2 face="Calibri">I must admit to being somewhat puzzled

as to why there were so many issues identified in this document that was

supposed to have been reviewed by the usual Agency Review process.  I

had the feeling that there was a lot of new material and so I asked the

Tech Editor to confirm that the document sent for Agency Review Red-3 was,

in fact, a minor revision to the one sent to the CESG.  That comparison

is attached.  I think that if you take the time to review this comparison

that you will find that there were, in fact, <b><i>many</i></b> substantive

changes made to the document between what was sent to Agency Review Red-3

and what was later sent to the CESG for final review.</font>

<br><font size=2 face="Calibri"> </font>

<br><font size=2 face="Calibri">Based on this I can only conclude that

you, as AD, and the SM&C WG, did not follow the CCSDS Procedures and

that this document, because of these substantive changes, should have been

sent out for another Agency Review.  I recommend that you and the

WG review the inputs Erik and I provided and apply as many of them as seem

acceptable before sending the document out for the next Agency Review.</font>

<br><font size=2 face="Calibri"> </font>

<br><font size=2 face="Calibri">The "Show Stopper" PID that you

requested is attached.</font>

<br><font size=2 face="Calibri"> </font>

<br><font size=2 face="Calibri">Regards, Peter Shames</font>

<br><font size=2 face="Calibri"> </font>

<br><font size=2 face="Calibri"> </font>

<br><font size=2>________________________________________________________<br>

<br>

Peter Shames<br>

CCSDS System Engineering Area Director<br>

<br>

Jet Propulsion Laboratory, MS 301-490<br>

California Institute of Technology<br>

Pasadena, CA 91109 USA <br>

<br>

Telephone: +1 818 354-5740,  Fax: +1 818 393-6871<br>

<br>

Internet:  </font><a href=Peter.M.Shames@jpl.nasa.gov><font size=2 color=blue><u>Peter.M.Shames@jpl.nasa.gov</u></font></a><font size=2><br>

________________________________________________________<br>

<br>

We must recognize the strong and undeniable influence that our language

exerts on our ways of thinking and, in fact, delimits the abstract space

in which we can formulate - give form to - our thoughts.<br>

<br>

Niklaus Wirth<br>

</font>

<br><font size=2 face="Calibri"> </font>

<br><font size=2 face="Calibri"> </font>

<br><font size=2 face="Calibri"> </font>

<br><font size=3 face="Calibri"><b>From: </b>Mario Merri <Mario.Merri@esa.int><b><br>

Date: </b>Thursday, February 16, 2017 at 1:04 AM<b><br>

To: </b>Peter Shames <peter.m.shames@jpl.nasa.gov><b><br>

Cc: Dan Smith <danford.s.smith@nasa.gov>, Erik Barkley <erik.j.barkley@jpl.nasa.gov>,

Nestor Peccia <Nestor.Peccia@esa.int>, Sam Cooper <sam@brightascension.com>,

CCSDS Secretariat <Secretariat@mailman.ccsds.org>, CCSDS Engineering

Steering Group - CESG Exec <cesg@mailman.ccsds.org><b><br>

Subject: </b>Re: CESG review of CCSDS MO M&C Services book</font>

<br><font size=3 face="Times New Roman"> </font>

<br><font size=2 face="Arial">Peter,</font><font size=3 face="Times New Roman">

<br>

</font><font size=2 face="Arial"><br>

could you please kindly reply to my note and provide the PIDs?</font><font size=3 face="Times New Roman">

<br>

</font><font size=2 face="Arial"><br>

Thanks</font><font size=3 face="Times New Roman"> <br>

</font><font size=2 face="Arial"><br>

__Mario</font><font size=3 face="Times New Roman"> </font><font size=1 color=#800080 face="sans-serif"><br>

----- Forwarded by Mario Merri/esoc/ESA on 16/02/2017 10:03 -----</font><font size=3 face="Times New Roman">

<br>

</font><font size=1 color=#5f5f5f face="sans-serif"><br>

From:        </font><font size=1 face="sans-serif">Mario

Merri/esoc/ESA</font><font size=3 face="Times New Roman"> </font><font size=1 color=#5f5f5f face="sans-serif"><br>

To:        <font size=1 face="sans-serif">"Shames,

Peter M (312B)" <peter.m.shames@jpl.nasa.gov></font><font size=3 face="Times New Roman">

</font><font size=1 color=#5f5f5f face="sans-serif"><br>

Cc:        </font><font size=1 face="sans-serif">"Dan

Smith" <danford.s.smith@nasa.gov>, "Barkley, Erik J (3970)"

<erik.j.barkley@jpl.nasa.gov>, "Nestor Peccia" <Nestor.Peccia@esa.int>,

"Sam Cooper" <sam@brightascension.com>, "Secretariat@mailman.ccsds.org"

<Secretariat@mailman.ccsds.org>, cesg@mailman.ccsds.org</font><font size=3 face="Times New Roman">

</font><font size=1 color=#5f5f5f face="sans-serif"><br>

Date:        </font><font size=1 face="sans-serif">10/02/2017

23:13</font><font size=3 face="Times New Roman"> </font><font size=1 color=#5f5f5f face="sans-serif"><br>

Subject:        <font size=1 face="sans-serif">Re:

CESG review of CCSDS MO M&C Services book</font><font size=3 face="Times New Roman">

</font>

<div align=center>

<hr noshade></div>

<br><font size=3 face="Times New Roman"><br>

</font><font size=2 face="Arial"><br>

Dear Peter,</font><font size=3 face="Times New Roman"> <br>

</font><font size=2 face="Arial"><br>

Sam will proceed as you recommended, i.e. Sam will update the document

so that you can re-re-review it, but only for the showstopper issues. </font><font size=3 face="Times New Roman"><br>

</font><font size=2 face="Arial"><br>

As done already at the last CESG in Rome, Brigitte and I would like to

voice again our discontent on your approach that repeated also on this

CESG poll. What we had agreed in Rome and agreed by the CMC was:</font><font size=3 face="Times New Roman">

<br>

</font><font size=2 color=blue face="Arial"><b><br>

Scope of conditions prior to Publication (including AD/DAD participation

in Agency Reviews)</b></font><font size=3 face="Times New Roman"> </font><font size=2 color=blue face="Arial"><br>

- CESG suggests that  AD/DAD minimize their conditions at time of

CESG book publication polls. CESG members have the opportunity to raise

technical issues prior / during Agency Review(s)</font><font size=3 face="Times New Roman">

</font><font size=2 color=blue face="Arial"><br>

...</font><font size=3 face="Times New Roman"> </font><font size=2 color=blue face="Arial"><br>

- CESG recommends to raise PIDs (Poll Item Discrepancy) at least for showstopper

conditions during polls and identify conditions that are non showstopper

as such.</font><font size=3 face="Times New Roman"> <br>

</font><font size=2 face="Arial"><br>

We believe that your 91 points raised at CESG poll for publication and

your insistence to have the document re-updated (after the already made

update that followed the Agency Review) for your own personal review are

not in line with the above agreement. <b>We repeat once more: your detailed

comments are very welcome, but they must be channelled through the Agency

Review</b>. If this is not done, the already scarce agency resources will

be wasted with work duplication and with frustrated WG members.</font><font size=3 face="Times New Roman">

<br>

</font><font size=2 face="Arial"><br>

In order to speed up the work and respect the agreement in Rome, could

you please generate asap the PIDs for those points that you consider showstoppers.

For those, Sam will provide you with the red-lined version of the document.

Please provide the PIDs by eob 14Feb17 (they should have been provided

at the closure of the CESG poll). We think that this is an acceptable compromise

at this stage. In the future, ideally this should not happen again and

your detailed comment must be raised during the agency review period.</font><font size=3 face="Times New Roman">

<br>

</font><font size=2 face="Arial"><br>

Regards,</font><font size=3 face="Times New Roman"> <br>

</font><font size=2 face="Arial"><br>

__Mario</font><font size=3 face="Times New Roman"> <br>

<br>

<br>

</font><font size=1 color=#5f5f5f face="sans-serif"><br>

From:        <font size=1 face="sans-serif">"Shames,

Peter M (312B)" <peter.m.shames@jpl.nasa.gov></font><font size=3 face="Times New Roman">

</font><font size=1 color=#5f5f5f face="sans-serif"><br>

To:        </font><font size=1 face="sans-serif">"Sam

Cooper" <sam@brightascension.com>, "Barkley, Erik J (3970)"

<erik.j.barkley@jpl.nasa.gov></font><font size=3 face="Times New Roman">

</font><font size=1 color=#5f5f5f face="sans-serif"><br>

Cc:        </font><font size=1 face="sans-serif">"Secretariat@mailman.ccsds.org"

<Secretariat@mailman.ccsds.org>, "Mario Merri" <Mario.Merri@esa.int>,

"Dan Smith" <danford.s.smith@nasa.gov>, "Nestor Peccia"

<Nestor.Peccia@esa.int></font><font size=3 face="Times New Roman">

</font><font size=1 color=#5f5f5f face="sans-serif"><br>

Date:        </font><font size=1 face="sans-serif">09/02/2017

22:41</font><font size=3 face="Times New Roman"> </font><font size=1 color=#5f5f5f face="sans-serif"><br>

Subject:        <font size=1 face="sans-serif">Re:

CESG review of CCSDS MO M&C Services book</font><font size=3 face="Times New Roman">

</font>

<div align=center>

<hr noshade></div>

<br><font size=3 face="Times New Roman"><br>

<br>

</font><font size=2 face="Calibri"><br>

Hi Sam,</font><font size=3 face="Times New Roman"> </font><font size=2 face="Calibri"><br>

 </font><font size=3 face="Times New Roman"> </font><font size=2 face="Calibri"><br>

In my viewer I see your comments stacked on top of mine and have to separate

them and view them separately.  I did that for quite a number, so

I saw what you had replied.  In some cases your notes said "Accepted"

as in this case.  In others there was some other sort of a reply that

indicated agreement, or issues.  Some of the conditions asked for

new figures or clarifications.  And with all of that there are really

a significant number of changes requested for clarifications and re-wording.</font><font size=3 face="Times New Roman">

</font><font size=2 face="Calibri"><br>

 </font><font size=3 face="Times New Roman"> </font><font size=2 face="Calibri"><br>

If there were just a few issues using the PDF document could be made to

work.  But in this case, until I see the document that is the result

of all these changes I could not possibly provide approval.  I do

not think that trying to do this as an exchange of annotations and notes

in the PDF file is going to be a good way to accomplish this, so I suggest

resorting to actually editing the document.</font><font size=3 face="Times New Roman">

</font><font size=2 face="Calibri"><br>

 </font><font size=3 face="Times New Roman"> </font><font size=2 face="Calibri"><br>

Regards, Peter</font><font size=3 face="Times New Roman"> </font><font size=2 face="Calibri"><br>

 </font><font size=3 face="Times New Roman"> </font><font size=2 face="Calibri"><br>

 </font><font size=3 face="Times New Roman"> </font><font size=3 face="Calibri"><b><br>

From: </b>Sam Cooper <sam@brightascension.com><b><br>

Date: </b>Thursday, February 9, 2017 at 12:39 AM<b><br>

To: </b>Peter Shames <peter.m.shames@jpl.nasa.gov>, Erik Barkley

<erik.j.barkley@jpl.nasa.gov><b><br>

Cc: </b>CCSDS Secretariat <Secretariat@mailman.ccsds.org>, Mario

Merri <Mario.Merri@esa.int>, Dan Smith <danford.s.smith@nasa.gov>,

Nestor Peccia <Nestor.Peccia@esa.int><b><br>

Subject: </b>Re: CESG review of CCSDS MO M&C Services book</font><font size=3 face="Times New Roman">

<br>

  <br>

Hi Peter,<br>

<br>

I would really like to acoid that situation as I would like to have consensus

on each point before making the changes, this would be in the hope of avoiding

multiple revisions (and update/review cycles).<br>

<br>

I think the problem might be the use of PDF as a review medium, although

I wonder if the PDF viewer you are using is missing some feature as I do

not see what you see:<br>

<br>

</font><img src=cid:_4_0EAFD4540EAFC43000631661C12580D6 style="border:0px solid;"><font size=3 face="Times New Roman"><br>

<br>

<br>

As you can see, my comment is located in your comment as a reply. The version

of Acrobat that I am using is:<br>

</font><img src=cid:_4_0EAFD6FC0EAFC43000631661C12580D6 style="border:0px solid;"><font size=3 face="Times New Roman"><br>

<br>

<br>

Shall we try again to use the PDF tools? It should be noted that the version

you just sent me has had the replies split, so you would have to go back

to the original I sent out before.<br>

<br>

Regards,<br>

Sam.<br>

<br>

<br>

<br>

<br>

On 09/02/2017 04:42, Shames, Peter M (312B) wrote: </font><font size=2 face="Calibri"><br>

Hi Sam,</font><font size=3 face="Times New Roman"> </font><font size=2 face="Calibri"><br>

 </font><font size=3 face="Times New Roman"> </font><font size=2 face="Calibri"><br>

In trying to follow what you propose to change using this "my note

covers your note" approach I cannot get any kind of clear picture

of what the final document is going to look like.  I suggest that

you attempt to implement the requested changes (at least those that you

agree with) and re-submit the integrated result.  I commit to reviewing

that and either concurring, or not, as seems appropriate.</font><font size=3 face="Times New Roman">

</font><font size=2 face="Calibri"><br>

 </font><font size=3 face="Times New Roman"> </font><font size=2 face="Calibri"><br>

Thanks, Peter</font><font size=3 face="Times New Roman"> </font><font size=2 face="Calibri"><br>

 </font><font size=3 face="Times New Roman"> </font><font size=2 face="Calibri"><br>

 </font><font size=3 face="Times New Roman"> </font><font size=3 face="Calibri"><b><br>

From: </b>Sam Cooper </font><a href=mailto:sam@brightascension.com><font size=3 color=#0082bf face="Calibri"><u><sam@brightascension.com></u></font></a><font size=3 face="Calibri"><b><br>

Date: </b>Thursday, January 19, 2017 at 1:21 AM<b><br>

To: Peter Shames <a href=mailto:peter.m.shames@jpl.nasa.gov><font size=3 color=#0082bf face="Calibri"><peter.m.shames@jpl.nasa.gov></a><font size=3 face="Calibri">,

Erik Barkley </font><a href=mailto:erik.j.barkley@jpl.nasa.gov><font size=3 color=#0082bf face="Calibri"><u><erik.j.barkley@jpl.nasa.gov></u></font></a><font size=3 face="Calibri"><b><br>

Cc: CCSDS Secretariat <a href=mailto:Secretariat@mailman.ccsds.org><font size=3 color=#0082bf face="Calibri"><Secretariat@mailman.ccsds.org></a><font size=3 face="Calibri">,

Mario Merri <a href=mailto:Mario.Merri@esa.int><font size=3 color=#0082bf face="Calibri"><Mario.Merri@esa.int></a><font size=3 face="Calibri">,

Dan Smith <a href=mailto:danford.s.smith@nasa.gov><font size=3 color=#0082bf face="Calibri"><danford.s.smith@nasa.gov></a><font size=3 face="Calibri">,

Nestor Peccia </font><a href=mailto:Nestor.Peccia@esa.int><font size=3 color=#0082bf face="Calibri"><u><Nestor.Peccia@esa.int></u></font></a><font size=3 face="Calibri"><b><br>

Subject: </b>CESG review of CCSDS MO M&C Services book</font><font size=3 face="Times New Roman">

<br>

  <br>

Dear Erik and Peter,<br>

<br>

Thank you for taking the time to review the specification and provide your

comments. Please find attached the WG response to your comments including

the detailed marked up copy from Peter (I have responded in the PDF like

you did Peter).<br>

<br>

Please could you let us have your response by Friday the 3rd of Feb.<br>

<br>

Best regards,<br>

Sam.<br>

<br>

<br>

<br>

<br>

<br>

</font>

<br><font size=2 face="Courier New">This message and any attachments are

intended for the use of the addressee or addressees only.</font>

<br><font size=2 face="Courier New">The unauthorised disclosure, use, dissemination

or copying (either in whole or in part) of its</font>

<br><font size=2 face="Courier New">content is not permitted.</font>

<br><font size=2 face="Courier New">If you received this message in error,

please notify the sender and delete it from your system.</font>

<br><font size=2 face="Courier New">Emails can be altered and their integrity

cannot be guaranteed by the sender.</font>

<br><font size=2 face="Courier New"> </font>

<br><font size=2 face="Courier New">Please consider the environment before

printing this email.</font>

<br><font size=2 face="Courier New"> [attachment "MO M&C

Services Input for Blue Compared to Red 3.doc" deleted by Mario Merri/esoc/ESA]

[attachment "PID SEA-522x1b0-001.txt" deleted by Mario Merri/esoc/ESA]

</font>

<br>

<PRE>This message and any attachments are intended for the use of the addressee or addressees only.

The unauthorised disclosure, use, dissemination or copying (either in whole or in part) of its

content is not permitted.

If you received this message in error, please notify the sender and delete it from your system.

Emails can be altered and their integrity cannot be guaranteed by the sender.

Please consider the environment before printing this email.

</PRE>